ICML 2021杰出论文公布！上交大校友折桂 田渊栋rebuttal加分论文获荣誉提名 (ICML2025截稿时间)
原定于在奥地利维也纳召开的ICML 2021，受疫情影响已于近日在线上召开。根据官方消息，会议将在7月18日~7月24日内完成所有的日程。
在接收的一千多篇论文中，组委会最终挑出了四篇论文，分别颁发了 一个杰出论文奖，三个杰出论文提名奖 。
杰出论文奖由康奈尔大学博士生获得，他本科毕业于上海交通大学，研究领域是分布式优化和机器学习系统。获奖论文标题为“OpTimal Complexity in Decentralized Training”，探究了去中心化训练的极限以及如何达到这种极限。
如上三篇文章获得了杰出论文荣誉提名奖，其中论文"Understanding Self-Supervised Learning Dynamics without Contrastive Pairs"由Facebook科学家 田渊栋 担任一作，其提出了一种新方法DirectPred，它根据输入的统计数据直接设置线性预测器，而无需梯度训练。
据田渊栋学者在知乎发表的想法，我们可以得知，这篇论文原来获得过一个Weak Accept，经过他与评审rebuttal，将其改为了Accept， 这在某种程度上说明了好的rebuttal的重要性，也说明只要你有“理”，就别怕！
此外，发表在ICML 2011的论文“Bayesian Learning via Stochastic Gradient Langevin Dynamics”获得了时间检验奖，作者是来自加利福尼亚大学的 Max Welling （现在是高通荷兰公司技术副总裁）和伦敦大学学院的Yee Whye Teh（中文名字 郑宇怀 ，现在是牛津大学教授）。
值得一提的是，郑宇怀 1997年于加拿大滑铁卢大学获得计算机科学与数学学士学位，之后在多伦多大学师从Geoffery Hinton，并于2003年获得计算机博士学位。 他还是Hinton那篇划时代论文《A fast learning algorithm for deep belief nets》的署名作者之一。
杰出论文奖：去中心化训练的极限在哪里？
去中心化（Decentralization）是扩展并行机器学习系统的一种有效方法。本文提供了该方法在随机非凸环境下进行复杂迭代的下界。我们的下界表明，许多现有的分散训练算法（如D-PSGD）在已知收敛速度方面存在理论差距。通过构造并证明这个下界是合理的和可实现的，我们进一步提出了DeTAG，这是一种实用的gossip风格的去中心化算法，只需要一个对数间隔就可以达到下界。本文将DeTAG算法与其他分散算法在图像分类任务上进行了比较，结果表明，DeTAG算法比基线算法具有更快的收敛速度，特别是在非缓冲数据和稀疏网络中。
荣誉提名奖之一：离散分布的可伸缩抽样
机构：多伦多大学，谷歌大脑
本文针对离散概率模型，提出了一种通用的、可扩展的近似抽样策略。该方法利用似然函数对离散输入的梯度来更新Metropolis-Hastings采样。实验表明，这种方法在高难度设置中，要优于一般的采样器，例如伊辛模型，波特模型，受限玻尔兹曼机，隐马尔可夫模型。本文还展示了改进的采样器，用于训练基于高维离散图像数据的深层能量模型。这种方法优于变分自动编码器和现有的基于能量的模型。此外，本文提供的边界，表明该方法在更新局部的采样器类中是接近最优的。
荣誉提名奖之二：为什么非对比自监督学习效果好？
一般而言，对比自监督学习（SSL）通过最小化同一数据点（正对）的两个增强视图之间的距离和最大化不同数据点（负对）的视图来学习表征，而最近的非对比SSL（如BYOL和SimSiam）的研究表明，在没有负配对的情况下，使用额外的可学习预测器（learnable predictor）和停止梯度操作（stop-gradient operation），可以使模型性能更佳。一个基本的问题出现了：为什么这些方法没有引发崩溃的平凡的表征？
本文通过一个简单的理论研究回答了该问题，并提出了新的方法DirectPred，它不需要梯度训练，直接根据输入的统计信息来设置线性预测。在ImageNet上，它与更复杂的BatchNorm（两个线性层）预测器性能相当，在300个epoch的训练中比线性预测器高2.5%（在60个epoch中高5%）。DirectPred方法，来源于我们对简单线性网络中非对比SSL的非线性学习动力学的理论研究。这项研究提供了非对比SSL方法如何学习的概念性见解，如何避免表征崩溃，以及预测网络、停止梯度、指数移动平均数和权重衰减等因素如何发挥作用。此外，本文还提供了该方法在STL-10和ImageNet上的消融研究结果。
荣誉提名奖之三：倒向随机微分方程结合张量格式的回归型方法
机构：德国柏林自由大学，德国波茨坦大学等
高维偏微分方程的应用在经济、科学和工程等研究中普遍存在。然而，由于传统的基于网格的方法易受到维数灾难的影响，该方程在数值处理上面临着巨大的挑战。在本文中，我们认为，张量训练为抛物型偏微分方程提供了一个更合理的近似框架：将倒向随机微分方程和张量格式的回归型方法相结合，有望利用潜在的低秩结构，实现压缩和高效计算。
遵循这一范式，我们开发了新的迭代方案，包括显式和快速（或隐式和准确）的更新。实验证明，与最先进的基于神经网络的方法相比，我们的方法在精确度和计算效率之间取得了一个良好的折中。
时间检验奖：随机梯度朗格文动力学
机构（原）：加利福尼亚大学、伦敦大学学院
本文中提出了一个新的框架，在small mini-batches中迭代学习的基础上，可以用于从大规模数据集中学习。通过在标准的随机梯度优化算法中加入适量的噪声，论文证明，当anneal the stepsize，迭代将收敛到真实后验分布的样本。这种优化和贝叶斯后验抽样之间的无缝过渡提供了一个内在的保护，防止过度拟合。此外，还提出了一种实用的后验统计蒙特卡罗估计方法，它可以监控 “抽样阈值”，并在超过该阈值后收集样本。最后，将该方法应用于三种模型：高斯混合模型、逻辑回归模型和自然梯度的ICA模型。
具体而言，本文提出了一种基于大规模数据集的贝叶斯学习方法。将随机优化似然的Robbins-Monro型算法与Langevin动态相结合，Langevin动态在参数更新中注入噪声，使得参数的轨迹收敛到完全后验分布，而不仅仅是最大后验分布。由此产生的算法开始类似于随机优化，然后自动过渡到使用Langevin动力学模拟后验样本的算法。
ICML 2021大会上，香港科技大学教授、大会程序主席张潼通过一则视频展示了今年的论文收录情况。
两个月前，ICML组委会为了保证AC/SAC 接收标准和论文质量，宣布将接收论文砍掉10%。今年共接受论文1184篇，接收率21.4%，为近五年来最低。
今年的录用论文涉及深度学习、算法、应用、强化学习、隐私、理论、概率方法和社会方面等8个研究方向。
其中，算法方面的论文一枝独秀，提交的论文数量占比31%，比第二名深度学习，数量高出近一倍。排名Top3的算法、深度学习、理论三大机器学习热门方向，占据了总接收论文的50%以上。相对冷门的隐私、概率方法、社会方面等也有20%的论文被接收。
哪个领域接受率最强？理论工作32%，强化学习27%，概率方法26%，社会角度24%，优化22%，算法19%，应用和深度学习只有18%。
一篇论文往往有好几位合著者，似乎论文接收率有相关关系。据统计数据，如果一篇论文有着大于9位的作者，那么它将有1/3的概率被接收，如果仅有1位作者，论文接受率不到1/10；另外，8位作者和4位作者，虽然在人数上相差一倍，但是接受率仅相差2%。
在所有的提交论文中，有1446篇论文包含3位作者，大于或等于9位作者的论文数只有104篇；此外，还有205位作者单独提交了论文，由2位作者合写的论文数有1005篇。
经过统计，今年的ICML 2021接收的论文中，如果标题中带有这么几个词，将会有较高的接收率：强化学习、噪音、规划、Bandits、蒙特卡洛、流、隐私.......
特约稿件，未经授权禁止转载。详情见 转载须知 。
支付宝，全球领先的独立第三方支付平台，致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验，及转账收款/水电煤缴费/信用卡还款/AA收款等生活服务应用。
全国招标信息网为国内招标采购大数据共享平台，实时更新海量的招标信息，提供工程建设追踪和行业分析报告查询服务，为各级政府、招标人、投标人以及招标代理机构提供招标大数据一站式检索和订阅服务。
淘礼金免单网是专注于淘礼金免单线报收集与分享的活动线报网站。涵盖淘宝免单、京东免单、拼多多免单等活动线报，想要免单捡漏，就来淘礼金免单网。
傲蓝筑动力建材租赁软件，建材租赁行业业务财务一体化协同管理软件。全面规范管理钢管钢材、扣件、铝模板、钢板桩、爬架脚手架等建筑周材及塔吊、施工升降机、吊篮等建筑设备的租出、丢损、租入、租转售和进销存等租赁业务管理。
首页,青藤绿色建筑（广东）有限公司
金港物流,23年坚持只做好中港物流进出口,主营东莞到香港物流,散货运输到香港,中港散货出口,一般贸易拼车/包车进出口代理,香港仓储、配送、报关、清关、商检等，代办各种手续
硕软官网首页-物联网卡[企业免费试用]_话费流量充值 硕软技术公司是领先的融合通讯云服务商，成立15年来已成为华为、阿里、腾讯、京东、唯品会、高德、拼多多等通信或互联网头部企业重要的战略合作伙伴。我们连接通信运营商与客户的智能化通讯需求，融合话费、流量、短信、物联网、号卡、语音及宽带资源转变为面向广大企业客户的数智服务。
国际课程在线，专注于国际课程考试培训，致力为国内中小学考生去美国、英国、澳洲、新加坡等国家留学提供专业的培训服务，课程涵盖IB,A-Level,SAT等。
肇庆市荣坚管业有限公司是专业生产PE和PVC管材的大型厂家，拥有一支高素质的科技人才队伍和管理团队。公司拥有“荣坚”、“坚之塑”、“雄坚”三个品牌。公司是集科研生产、销售为一体的专业化企业，具有多年生产管材及异型材。公司主要产品有pe通信管、pvc给水管、建筑排水管、卫生饮用管、难燃线槽线管、电讯电力管、打井专用管、农用灌溉管道以及异型材等。
夏侯妍游戏网是面向手机游戏玩家的综合门户,提供有趣有态度新手游内容,汇聚手游社区,热门手游礼包,新游,手游排行榜,让你Get前十新手游阵容搭配
临沂市兰山区鑫山机械厂(鑫华岳)作为热压机厂家,主要生产制作数控全自动锯边机,数控全自动铺板机等系列产品,我厂成立以来,以优良的产品质量和售后服务赢得全国各地客户的青睐,在此竭诚期待广大新老客户光临惠顾,共谋发展,互赢互利.
爱链网外链交易平台提供方便、快捷、安全的外链交易服务,友情链接平台,外链买卖,出售链接,求购链接,链接打包出售,买链接,卖链接,外链打包购买,链接交易,我们坚持为广大站长推广网站服务。
古往今来，不管社会是处于动荡不安的状态还是和平的年代，人们对于吃这件事都是非常重视的，尤其是在这个餐饮行业肆意发展的时代，小吃行业嫣然已经成为我国较具智慧之选价值的项目，面对着诱人的空白的商机市场，不少企业都在蓄势待发，其中当属恒记冰室港式小吃，那么，恒记冰室港式小吃的加盟怎么样，恒记冰室加盟店条件是什么，恒记冰室其总部屹立在繁华的上...。
雷锋网消息，北京时间5月18日凌晨一年一度的GoogleI，O开发者大会再次召开，关于AR、VR领域，谷歌宣布了最新进展，雷锋网曾报道去年谷歌针对移动VR发布DaydreamVR平台，同时宣布了数家手机合作伙伴，他们将生产能支持该平台的手机，这次谷歌确认到三星GalaxyS8，S8Plus，以及LG的下一代旗舰机也将支持Daydrea...。
谁都没想到，618大促才刚刚开始，好几家手机厂商的热门产品直接被京东下架了，谈及这次618大促，在一家手机厂商电商部门任职的方宇对感叹道，对方宇来说，今年618与京东的对接可以用，噩梦，两个字形容，618预热之前，京东采销们不断对商家强调这次京东的，保利润，策略，甚至所有的计划都是按照基础补贴去制定，如果天猫大打价格战，再去随...。
修脚是汉族民间专为足疾患者修治脚部皮肤和趾甲病痛的技艺，它是中医外治的一个重要组成部分，与中医的针灸、按摩并称为中华的，三大国术，修脚工艺将中华传统医术和刀法相结合，可以为顾客有效医治各种脚病，从而重获健康生活，目前，我国的修脚师已从过去的街头、公园修脚发展到开店修脚，更有一些成熟的连锁修脚店涌现出来，修脚已经逐渐演变成一项创富事业...。
现在的家长都希望自己的孩子漂漂亮亮的，会经常购买各种风格的童装，市场需求的增大，各种童装品牌涌现市场，在满足家长们购物的同时，也为一些创业者带去商机，田田小象童装经过多年发展，是一家市场名气很大的童装品牌，多种类型童装，实惠消费价格，赢得了消费者的青睐，同时也博得一些创业者的关注，那么田田小象童装好加盟吗，需要经验吗，田田小象童装好加...。
是赛尔号没错日本动漫，火影忍者，中，哪些忍者在忍界大战后实力惨遭削弱，日本动漫，火影忍者，中，哪些忍者在忍界大战后实力惨遭削弱，在火影忍者里边，有着特别多的忍者角色，其中有不少有着极强的实力，但令人难堪的是，忍界大战完结后，有很多忍者的实力惨遭削弱，失去了巅峰实力，远远不如巅峰时间，当天呢，小编就给大家清点一下，那些惨遭削弱的几个忍者...。
外交部发言人办公室，信息，在7月12日外交部例行记者会上，中新社记者提问，日前，美国众议长约翰逊在美智库哈德逊钻研所优惠上宣称，中国是美，繁多最大要挟，，将在本届国会残余会期内，动用一切手腕反抗中国，众院将在年底前推进一揽子涉华法案，包含制裁向俄罗斯及伊朗提供物质允许的中国军工企业、限度美对华投资和无关美中经贸协作等，请问中方对此...。
水瓶男性情超准剖析水瓶男远远没有水瓶女那么夺目，但是水瓶座的女生领有的一些好处，水瓶座男生也一样有，只是在水瓶座女生身上看起来是有点的特点，到了水瓶座男生男生身上就只能算性情了，水瓶座男生身上难免显得有些猥琐，水瓶座女生能言善辩，但是水瓶座男生参与答辩就会显得宽巨大量，其实，水瓶座男生也是睿智善辩且懂得运谋生存的，水瓶男对理财没什么概...。
吉利远景共有5款在售车型，其中远景，2020款，1.5L，CVT尊贵型、亚运版、超值版3款，是装备109马力发起机的车型，NEDC百公里油耗6.1L，远景，2020款，1.5L，手动亚运版、超值版2款，是装备109马力发起机的车型，NEDC百公里油耗5.8L，吉利远景不同车型油箱容量相反，加满一箱油能跑的距离如下，装备109马力发起机...。
顺企网中山公司注册服务公司厂家大全列表，包括世腾国际商务有限公司、中山市东晟财税咨询有限公司、中山全方位企业管理咨询有限公司、广州立华财务顾问有限公司中山分公司等在内的15家中山公司注册服务公司厂家的地址电话法人代表和联系电话等信息。1页，当前显示第1页结果，按照产品多少和注册时间排名
腾讯软件中心提供2023年最新6.2.1.1官方正式版iSlide高速下载，本正式版iSlide软件安全认证，免费无插件。
源码简介AfterLab，是一个专业的域名和网站售后解决方案，基于PHPlaravel编写。它是为那些想开始他们的域名售后业务网站的人开发的。全球范围内，目前有3.673亿****。虽然这似乎是一个相当高的数字，但****量实际上逐年下降...
12月11日，电池最大的天玑9300，新机真我Neo7发布，卖点就是这么简单暴力，7000mAh单电芯，80W快充、LYT，600主摄、IP69防护，真我Neo7是天玑9300，，7700mm²单层VC，顶配是海力士LPDDR5x，三星UFS4.0闪存；7000mAh单电芯泰坦电池，80W快充，22分钟充50%，，兼容5APPS快充，...。
经历了漫长的等待，终于在今天，英伟达CEO黄仁勋在自己厨房发布了英伟达最新一代GeForceRTX30系列显卡，包括GeForceRTX3070、RTX3080和RTX3090，黄仁勋称，无论性能还是能效，安培架构GPU都是图灵架构的两倍，而英伟达基于安培架构的全新GPU在性能、能效和功耗上，均达到世界一流水平，那么，最新推出的GeF...。
4月25日，360集团创始人周鸿祎深度探馆2024北京车展，并同步直播近5小时，现场为观众，云体验，十余辆国产新能源汽车，在线观看人次破500万，有网友称周鸿祎是北京车展顶流，周鸿祎解释说，自己是一身红衣的，红流，，逛展测评是为国产新能源车助威，加电，，相信国产新能源车、智能网联车将代替国外品牌成为市场顶流，消费者首选，周鸿祎现场测评...。
RedmiPadPro在4月10日和RedmiTurbo3一同发布，骁龙7sGen2，12.1英寸120Hz的2560x1600LCD屏幕，10000mAh电池，33W快充，6，128版1499元，5G版1999元，，8，128版1599元，8，256版1799元，5G版2399元，而带上收纳袋、触控笔、双面保护壳的哈利·波特版，8...。
让人们在家就能购买到所需的物品；用手机，不用再跑服务大厅就能够办理一些政务服务；说句话就能够操控家中的电器……满足人们对于美好生活的向往，正在成为当前社会、经济、科技重要的发展方向，对于政府而言，增强人民群众的获得感、幸福感和满意度，成为了当前工作的重中之重，对于城市而言，如何为城市居民提供便利的生活设施以及公共服务，则是永远不变的使...。
