Facebook 2019 & ICLR 一文尽览 Google 入选论文 (facebook)

文章编号:43721 资讯动态 2024-12-09 facebookgoogleICLR

雷锋网 AI 科技评论按,近日,ICLR 2019 论文入选结果公布,各大公司和研究院纷纷在博客上公布了今年入选的论文。

其中,Facebook 战果满满,一共有 23 篇论文入选。值得注意的是,2018 年图灵奖得主 Yann LeCun 是其中两篇入选论文的共同作者之一。Facebook 人工智能研究院研究员、围棋项目负责人田渊栋博士也参与了其中两篇论文的写作。

而一直备受关注的 Google 在今年也有 57 篇论文入选了 ICLR 2019,其中,oral 论文有三篇。

雷锋网 AI 科技评论整理了今年 ICLR 2019中,Facebook 和 Google 入选论文的全名单。在查看全名单之前,让我们先来看看 Yann LeCun、田渊栋参与的 4 篇论文和 Google 的3 篇 oral 论文吧~

Facebook Yann LeCun、田渊栋参与的入选论文:

标题 :基于不确定性正则化的密集交通驾驶模型预测策略学习

作者 :Mikael Henaff, Alfredo Canziani, Yann LeCun

摘要 :学习仅使用观察数据的策略是具有挑战性的事情,因为它在执行时产生的状态分布可能与训练期间观察到的分布不同。在这项工作中,我们计划训练一个策略,同时明确惩罚这两个分布之间在固定时间范围内的不匹配。我们通过使用一个已学习的环境动力学模型来实现这一点,该模型展开了多个时间步骤,并训练了一个策略网络,以最大限度地降低在这个展开的轨迹上的可区分成本。这一成本包含两种形式:代表策略寻求优化目标的策略成本,以及代表其与受训状态的差异的不确定性成本。我们建议使用有关其自身预测的动力学模型的不确定性,利用深度网络不确定性估计的最新思想来测量第二种成本。我们使用交通摄像头记录的驾驶行为的大规模观测数据集评估我们的方法,结果表明我们能够从纯粹的观测数据中学习有效的驾驶策略,而无需与环境交互。

标题 :超参数化在神经网络泛化中的作用

作者 :Behnam Neyshabur, Zhiyuan Li, Srinadh Bhojanapalli, Yann LeCun, Nathan Srebro

摘要 :尽管现有的工作是确保神经网络在尺度敏感的复杂性度量方面的泛化,如规范、边缘和锐度,但这些复杂性度量并不能解释为什么神经网络在过参数化的情况下泛化得更好。在这项工作中,我们提出了一种新的基于单位容量的复杂度度量方法,从而使两层 ReLU 网络具有更严格的泛化边界。我们与误差行为相关的的容量边界与不断增加的网络规模相关(在实验报告的范围内),并且可以部分解释过度参数化在泛化方面的改进。我们进一步提出了一个匹配的 Rademacher 复杂度下限,相比以前的神经网络容量下限,它是有所改善的。

标题 :多智能体管理强化学习

作者 :Tianmin Shu, Yuandong Tian

摘要 :先前,大多数关于多代理强化学习(MARL)的工作都是通过直接学习每个代理的策略来实现最佳协作,从而最大限度地提高公共奖励。在本文中,我们的目标是从另一个角度来解决这个问题。特别是,我们考虑的场景是,有一些自我意识的人(工人代理),他们有自己的想法(偏好、意图、技能等),并且不能听命去执行他们不想做的任务。为了实现这些代理之间的最佳协调,我们训练一个超级代理(经理),通过根据当前和过去的观察推断他们的想法来管理他们,然后发起契约,将合适的任务分配给工人,并承诺给他们相应的奖金,以便让他们同意一起工作。管理者的目标是最大限度地提高整体生产力,同时最大限度地减少向临时团队支付的费用。为了对管理者进行训练,我们提出了由智能体建模和策略学习组成的多智能体管理强化学习。我们已经在两个环境中评估了我们的方法:资源收集和制作,以通过各种任务设置和工人代理的多种设计来模拟多代理管理问题。实验结果验证了我们的方法在在线模拟工人——代理人的思维以及实现具有良好通用性和快速适应性的最佳临时团队中的有效性。

标题 :基于模型的深层强化学习理论保证算法框架

作者 :Yuping Luo, Huazhe Xu, Yuanzhi Li, Yuandong Tian, Trevor Darrell, Tengyu Ma

摘要 :基于模型的强化学习(RL)被认为是减少阻碍无模型 RL 的样本复杂性的一种有前途的方法。然而,对这些方法的思想的理论理解却相当有限。本文介绍了一种新的算法框架,用于设计和分析具有理论保证的基于模型的 RL 算法。我们设计了一个元算法,在理论上保证局部改进到期望反馈的局部最大值,该元算法根据估计的动力学模型和样本轨迹迭代地建立期望反馈的下界,然后在策略和模型上共同最大化下界。该框架将面对不确定性行为的优先探索扩展到非线性动力学模型,不需要显式地量化不确定性。通过对我们的框架进行简化,我们给出了一种基于模型的随机下界优化(SLBO) RL 算法的变体。实验证明,当一系列连续控制基准任务中允许至少一百万个样本时,SLBO 达到了世界领先水平的性能。

Google 的 3 篇 oral 入选论文:

标题 :使用 Maestro 数据集实现钢琴音乐分解的建模和生成

作者 :Curtis Hawthorne,Andriy Stasyuk,Adam Roberts,Ian Simon,Cheng-Zhi Anna Huang,Sander Dieleman, Erich Elsen,Jesse Engel & Douglas Eck

摘要 :众所周知,用神经网络直接生成音乐音频是非常困难的,因为它有时需要在许多不同的时间尺度上连贯地建模。幸运的是,大多数音乐也是高度结构化的,可以表示为乐器上演奏的离散音符事件。在本文中,我们证明了通过使用 Notes 作为中间表示,可以训练一组能够在六个数量级(0.1 ms~_10 s)的时间尺度上转录、构建和合成具有连贯音乐结构的音频波形,我们称之为 Wave2Midi2Wave。我们发布了新的 MAESTRO (为同步音轨和组织编辑的 MIDI 和音频)数据集,实现了这一大进步。该数据集由超过 172 小时的虚拟钢琴表演组成,在音符标签和音频波形之间进行了精确校准(误差不超过 3 ms)。网络和数据集一起为创造新的音乐表达和可解释的神经模型提供了一种有前景的方法。

标题 :利用子尺度像素网络和多维上尺度生成高保真图像

作者 :Jacob Menick,Nal Kalchbrenner

摘要 :无条件生成高保真图像是测试图像解码器性能的一个长期的基准。用于测试图像解码器的性能。自回归图像模型能够无条件地生成小图像,但将这些方法推广到更容易评估逼真度的大图像,仍然是一个开放性问题。其中的主要挑战是对大量的上下文进行编码的能力,并且,学习保持全局语义一致性和细节精确性的分布也很困难。为了解决前一个挑战,我们提出了一种条件解码器——子尺度像素网络(SPN),它生成的图像是一系列大小相等的子图像。该方法可以捕获图像的空间相关性,并要求对内存进行细分。为了解决后一个挑战,我们建议使用多维上向缩放,通过使用不同的 SPNs,扩大图像的大小和深度。我们评估了无条件生成尺寸为 256 的 CelebAHQ 和尺寸为 32 到 256 的 ImageNet 的 SPN。我们在多个设置中实现了最先进的可能的结果,在以前未探索的设置中建立了新的基准结果,并且能够在两个数据集的基础上生成非常高保真的大规模样本。

META-LEARNING UPDATE RULES FOR UNSUPER[1]VISED REPRESENTATION LEARNING

标题 :无监督表示学习的元学习更新规则

作者 :Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein

摘要 无监督学习的一个主要目标是发现对后续任务有用的数据表示,从而不需要在训练期间访问受监督的标签。通常,这涉及到最小化替代目标,例如生成模型的负对数概率,以期对后续任务有用的表示将会产生影响。在这项工作中,我们建议通过元学习(meta-learning)直接把以后需要的任务当做目标。这是一个无监督的学习规则,它会导致对这些任务有用的表示。具体来说,我们以半监督分类性能为目标,元学习了一个算法,一个无监督的权重更新规则——它生成了对这项任务有用的表示。此外,我们将无监督更新规则约束为生物动机的神经元局部函数,使其能够推广到不同的神经网络体系结构、数据集和数据模式。我们展示了元学习更新规则产生有用的功能,它有时优于现有的无监督学习技术。进一步证明了元学习无监督更新规则推广到具有不同宽度、深度和非线性的训练网络。它还推广到随机置换输入维度的数据的训练,甚至将图像数据集类推到文本任务。

Facebook & Google ICLR 2019 入选论文全名单

Facebook 今年入选的全部论文如下:

Google 今年入选的全部论文如下:

Via:

版权文章,未经授权禁止转载。详情见 转载须知 。

一文尽览 ICLR 2019 Facebook & Google 入选论文

全局中部横幅
深圳叉车

深圳市鑫合丰叉车有限公司是龙工叉车深圳总代理,同时供应龙工叉车、内燃叉车、二手叉车、柴油叉车、电瓶叉车、电动叉车、叉车维修、叉车租赁等面向深圳的叉车服务,价格优惠,售后保障!

然妞长胖胖的所有菜谱视频

这里有所有篇,然妞长胖胖的菜谱和视频,以及所有的故事

板栗的家常做法

板栗的做法_家常板栗的做法非常简单易学。豆果美食提供的图文板栗的家常做法大全和板栗的视频,用最短的时间让你学会板栗的做法

堆垛架

东莞市丰菱物流设备有限公司是专业从事物流装备的生产、销售、安装于一体的综合性集成商-主营堆垛架、布匹架,钢托盘,钢制托盘,物流台车、铁托盘,金属托盘,仓储笼,工位器具,仓储货架,冷库货架,周转车,周转箱等设备。公司业务涉及东莞、深圳、汕头、佛山、江门、温州、绍兴、金华、南通等地。

锦推网络设备信息知识汇总

无忧专修是靠谱的设备信息与知识分享汇总网站,全方位多角度为大家提供有用的机械家电等设备知识信息,尽全力为大家排忧解难!

玻璃钢脱硫塔

山东金宝环保科技有限公司【13953669579邓兵】是一家玻璃钢设备研发生产企业,产品包括玻璃钢脱硫塔、玻璃钢罐、玻璃钢冷却塔、—体化泵站、生物箱、玻璃钢罩等几大版块。

上海代理记账服务

旌沃咨询是一家专注于上海代理记账和注册公司代理服务的财务公司,我们提供专业的财务解决方案,助您实现财务管理效益最大化。旌沃财务公司具备《代理记账许可证》资质,专注于企业登记代理、财务外包和财税咨询等服务,同时是国家商标总局核验备案的商标注册专业代理单位。

福建省安溪第一中学

福建省安溪第一中学为福建省首批示范性普通高中、福建省第一批命名的省重点中学,1924年建校,2000年通过省一级达标学校验收,学校坐落于福建省安溪县。

练字课加盟

乐优易练字是全国十佳练字品牌,集教材研发、出版,教学模式创新、整校输出,招生、宣传、教师培训、校区运营管理于一体的练字课程加盟体系,专注汉字规范书写,以独创练字法为教学核心,提供书写培训整体解决方案。

科技项目申报

河南立景合企业管理咨询有限公司专注于为河南省各类行业提供全方位的项目咨询服务。现已发展成为一家专业以科技项目申报、资质认证、知识产权代理、财务咨询、审计评估等为一体化的多元化服务机构

【粤通租车】深圳租车公司

深圳市粤通汽车租赁有限公司在汽车租赁行业规模较大并具影响力的深圳汽车租赁公司之一,为提供深圳企业租车,会议租车,港澳直通车,商务租车等服务。

全局底部横幅