Facebook 2019 & ICLR 一文尽览 Google 入选论文 (facebook)

文章编号:43721 资讯动态 2024-12-09 facebookgoogleICLR

雷锋网 AI 科技评论按,近日,ICLR 2019 论文入选结果公布,各大公司和研究院纷纷在博客上公布了今年入选的论文。

其中,FaceBOOK 战果满满,一共有 23 篇论文入选。值得注意的是,2018 年图灵奖得主 Yann LeCun 是其中两篇入选论文的共同作者之一。Facebook 人工智能研究院研究员、围棋项目负责人田渊栋博士也参与了其中两篇论文的写作。

而一直备受关注的 Google 在今年也有 57 篇论文入选了 ICLR 2019,其中,oral 论文有三篇。

雷锋网 AI 科技评论整理了今年 ICLR 2019中,Facebook 和 Google 入选论文的全名单。在查看全名单之前,让我们先来看看 Yann LeCun、田渊栋参与的 4 篇论文和 Google 的3 篇 oral 论文吧~

Facebook Yann LeCun、田渊栋参与的入选论文:

标题 :基于不确定性正则化的密集交通驾驶模型预测策略学习

作者 :Mikael Henaff, Alfredo Canziani, Yann LeCun

摘要 :学习仅使用观察数据的策略是具有挑战性的事情,因为它在执行时产生的状态分布可能与训练期间观察到的分布不同。在这项工作中,我们计划训练一个策略,同时明确惩罚这两个分布之间在固定时间范围内的不匹配。我们通过使用一个已学习的环境动力学模型来实现这一点,该模型展开了多个时间步骤,并训练了一个策略网络,以最大限度地降低在这个展开的轨迹上的可区分成本。这一成本包含两种形式:代表策略寻求优化目标的策略成本,以及代表其与受训状态的差异的不确定性成本。我们建议使用有关其自身预测的动力学模型的不确定性,利用深度网络不确定性估计的最新思想来测量第二种成本。我们使用交通摄像头记录的驾驶行为的大规模观测数据集评估我们的方法,结果表明我们能够从纯粹的观测数据中学习有效的驾驶策略,而无需与环境交互。

标题 :超参数化在神经网络泛化中的作用

作者 :Behnam Neyshabur, Zhiyuan Li, Srinadh Bhojanapalli, Yann LeCun, Nathan Srebro

摘要 :尽管现有的工作是确保神经网络在尺度敏感的复杂性度量方面的泛化,如规范、边缘和锐度,但这些复杂性度量并不能解释为什么神经网络在过参数化的情况下泛化得更好。在这项工作中,我们提出了一种新的基于单位容量的复杂度度量方法,从而使两层 ReLU 网络具有更严格的泛化边界。我们与误差行为相关的的容量边界与不断增加的网络规模相关(在实验报告的范围内),并且可以部分解释过度参数化在泛化方面的改进。我们进一步提出了一个匹配的 Rademacher 复杂度下限,相比以前的神经网络容量下限,它是有所改善的。

标题 :多智能体管理强化学习

作者 :Tianmin Shu, Yuandong Tian

摘要 :先前,大多数关于多代理强化学习(MARL)的工作都是通过直接学习每个代理的策略来实现最佳协作,从而最大限度地提高公共奖励。在本文中,我们的目标是从另一个角度来解决这个问题。特别是,我们考虑的场景是,有一些自我意识的人(工人代理),他们有自己的想法(偏好、意图、技能等),并且不能听命去执行他们不想做的任务。为了实现这些代理之间的最佳协调,我们训练一个超级代理(经理),通过根据当前和过去的观察推断他们的想法来管理他们,然后发起契约,将合适的任务分配给工人,并承诺给他们相应的奖金,以便让他们同意一起工作。管理者的目标是最大限度地提高整体生产力,同时最大限度地减少向临时团队支付的费用。为了对管理者进行训练,我们提出了由智能体建模和策略学习组成的多智能体管理强化学习。我们已经在两个环境中评估了我们的方法:资源收集和制作,以通过各种任务设置和工人代理的多种设计来模拟多代理管理问题。实验结果验证了我们的方法在在线模拟工人——代理人的思维以及实现具有良好通用性和快速适应性的最佳临时团队中的有效性。

标题 :基于模型的深层强化学习理论保证算法框架

作者 :Yuping Luo, Huazhe Xu, Yuanzhi Li, Yuandong Tian, Trevor Darrell, Tengyu Ma

摘要 :基于模型的强化学习(RL)被认为是减少阻碍无模型 RL 的样本复杂性的一种有前途的方法。然而,对这些方法的思想的理论理解却相当有限。本文介绍了一种新的算法框架,用于设计和分析具有理论保证的基于模型的 RL 算法。我们设计了一个元算法,在理论上保证局部改进到期望反馈的局部最大值,该元算法根据估计的动力学模型和样本轨迹迭代地建立期望反馈的下界,然后在策略和模型上共同最大化下界。该框架将面对不确定性行为的优先探索扩展到非线性动力学模型,不需要显式地量化不确定性。通过对我们的框架进行简化,我们给出了一种基于模型的随机下界优化(SLBO) RL 算法的变体。实验证明,当一系列连续控制基准任务中允许至少一百万个样本时,SLBO 达到了世界领先水平的性能。

Google 的 3 篇 oral 入选论文:

标题 :使用 Maestro 数据集实现钢琴音乐分解的建模和生成

作者 :Curtis Hawthorne,Andriy Stasyuk,Adam Roberts,Ian Simon,Cheng-Zhi Anna Huang,Sander Dieleman, Erich Elsen,Jesse Engel & Douglas Eck

摘要 :众所周知,用神经网络直接生成音乐音频是非常困难的,因为它有时需要在许多不同的时间尺度上连贯地建模。幸运的是,大多数音乐也是高度结构化的,可以表示为乐器上演奏的离散音符事件。在本文中,我们证明了通过使用 notes 作为中间表示,可以训练一组能够在六个数量级(0.1 ms~_10 s)的时间尺度上转录、构建和合成具有连贯音乐结构的音频波形,我们称之为 Wave2Midi2Wave。我们发布了新的 MAESTRO (为同步音轨和组织编辑的 MIDI 和音频)数据集,实现了这一大进步。该数据集由超过 172 小时的虚拟钢琴表演组成,在音符标签和音频波形之间进行了精确校准(误差不超过 3 ms)。网络和数据集一起为创造新的音乐表达和可解释的神经模型提供了一种有前景的方法。

标题 :利用子尺度像素网络和多维上尺度生成高保真图像

作者 :Jacob Menick,Nal Kalchbrenner

摘要 :无条件生成高保真图像是测试图像解码器性能的一个长期的基准。用于测试图像解码器的性能。自回归图像模型能够无条件地生成小图像,但将这些方法推广到更容易评估逼真度的大图像,仍然是一个开放性问题。其中的主要挑战是对大量的上下文进行编码的能力,并且,学习保持全局语义一致性和细节精确性的分布也很困难。为了解决前一个挑战,我们提出了一种条件解码器——子尺度像素网络(SPN),它生成的图像是一系列大小相等的子图像。该方法可以捕获图像的空间相关性,并要求对内存进行细分。为了解决后一个挑战,我们建议使用多维上向缩放,通过使用不同的 SPNs,扩大图像的大小和深度。我们评估了无条件生成尺寸为 256 的 CelebAHQ 和尺寸为 32 到 256 的 ImageNet 的 SPN。我们在多个设置中实现了最先进的可能的结果,在以前未探索的设置中建立了新的基准结果,并且能够在两个数据集的基础上生成非常高保真的大规模样本。

META-LEARNING UPDATE RULES FOR UNSUPER[1]VISED REPRESENTATION LEARNING

标题 :无监督表示学习的元学习更新规

作者 :Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein

摘要 :无监督学习的一个主要目标是发现对后续任务有用的数据表示,从而不需要在训练期间访问受监督的标签。通常,这涉及到最小化替代目标,例如生成模型的负对数概率,以期对后续任务有用的表示将会产生影响。在这项工作中,我们建议通过元学习(meta-learning)直接把以后需要的任务当做目标。这是一个无监督的学习规则,它会导致对这些任务有用的表示。具体来说,我们以半监督分类性能为目标,元学习了一个算法,一个无监督的权重更新规则——它生成了对这项任务有用的表示。此外,我们将无监督更新规则约束为生物动机的神经元局部函数,使其能够推广到不同的神经网络体系结构、数据集和数据模式。我们展示了元学习更新规则产生有用的功能,它有时优于现有的无监督学习技术。进一步证明了元学习无监督更新规则推广到具有不同宽度、深度和非线性的训练网络。它还推广到随机置换输入维度的数据的训练,甚至将图像数据集类推到文本任务。

Facebook & Google ICLR 2019 入选论文全名单

Facebook 今年入选的全部论文如下:

Google 今年入选的全部论文如下:

Via:

版权文章,未经授权禁止转载。详情见 转载须知 。

一文尽览 ICLR 2019 Facebook & Google 入选论文

全局中部横幅
贝安网

贝安网:前沿科技门户网站。关注智能车电动车、新能源汽车,AR/VR虚拟现实、OpenAI人工智能,手机App应用,苹果iOS/iPadOS、鸿蒙OS、谷歌Android、微软Win11/Win10/Win7/WinXP,Office,紧盯iPhone/iPad、安卓智能设备手机,数码手表等数码潮流。

麻将小游戏,麻将小游戏大全,4399麻将小游戏全集,4399小游戏

4399麻将小游戏大全收录了国内外麻将类小游戏、北京麻将小游戏、二人麻将小游戏、打麻将小游戏、麻将小游戏下载。好玩就拉朋友们一起来玩吧!

腾讯软件中心

腾讯软件中心提拱海量免费软件安全下载,全部软件都已经过安全杀毒检测。手机、电脑客户端版应用软件大全,最新最快速的软件下载中心。

广西建筑模板厂

广西紫豹木业是一家生产建筑模板厂家,专注建筑模板,覆膜板,清水模板,建筑红板,酚醛面建筑模板,铁红面建筑模板的生产批发,公司引进国际的制胶技术和先进的生产工艺,经过二次成型,板面光滑,胶合力好,远销国内外受到客户的一致好评。

云南昆明成人高考

云南联合培训学院提供成人高考,网络教育,自学考试,高职扩招,开放教育,专升本、高升专、高升本,等学历提升服务,是云南教育局批准办学的正规成人教育培训机构,云南函授学历报名站,欢迎广大学子前来咨询老师

媒介易

媒介易是一家拥有10万+媒体资源的全媒体供应链平台,媒体资源包括新闻/软文发稿、媒体邀约、明星代言、口碑营销、短视频营销、自媒体推广等数国内媒体资源,24小时自助投放,大平台安全保障,服务电话:4000-113-968。

爱税宝大管家建筑产业园

爱税宝建筑产业园是上海拓迈财务管理咨询有限公司旗下的知识分享平台,帮助企业、包工头快速申请建筑资质,所得税税负低,可以核定征收征收的园区,办理建筑劳务,就在爱税宝!

青云英汉互译翻译网

青云在线翻译网,提供英语,荷兰语,法语,德语,希腊语,意大利语,日语,韩语,葡萄牙语,俄语,西班牙语的免费在线翻译服务。

湖北打井公司

湖北海之源钻井工程公司是专业从事50-3000米快速打井钻井工程,承接武汉打井、打降水井、打深水井、地热钻井、温泉打井、基坑降水工程、养殖场打井、打灌溉井、打养殖井等,湖北打井公司打井施工经验丰富,专业钻井设备,打井成功率高,价格合理,欢迎来电咨询。

第一金融网

第一金融网是一家财经领域的网站,第一金融网为网民提供优质的财经资讯,网站设有商业,财经等等栏目满足用户对经济资讯的需求。

【方舟天下】香港移民,香港优才计划,护照移民,海外高端定制服务引领者

方舟天下-移民尊崇品牌,专注于为移民申请者提供专业的香港移民、香港优才计划、护照移民、澳洲移民等出国服务,业务范围涵盖投资移民、技术移民、购房移民、护照移民等项目,已成功帮助数十万国内高资产人士移民海外,成功率名列行业前茅。

最新热门手游

紫蝶龙源手游网提供最全最好玩的热门手机游戏,包括安卓苹果手机游戏大全,攻略大全,随时更新,欢迎老铁收藏!

全局底部横幅