ICML 2021杰出论文公布！上交大校友折桂 田渊栋rebuttal加分论文获荣誉提名 (ICML2025截稿时间)
原定于在奥地利维也纳召开的ICML 2021，受疫情影响已于近日在线上召开。根据官方消息，会议将在7月18日~7月24日内完成所有的日程。
在接收的一千多篇论文中，组委会最终挑出了四篇论文，分别颁发了 一个杰出论文奖，三个杰出论文提名奖 。
杰出论文奖由康奈尔大学博士生获得，他本科毕业于上海交通大学，研究领域是分布式优化和机器学习系统。获奖论文标题为“Optimal Complexity in Decentralized Training”，探究了去中心化训练的极限以及如何达到这种极限。
如上三篇文章获得了杰出论文荣誉提名奖，其中论文"Understanding Self-Supervised Learning Dynamics without Contrastive Pairs"由Facebook科学家 田渊栋 担任一作，其提出了一种新方法DirectPred，它根据输入的统计数据直接设置线性预测器，而无需梯度训练。
据田渊栋学者在知乎发表的想法，我们可以得知，这篇论文原来获得过一个Weak Accept，经过他与评审rebuttal，将其改为了Accept， 这在某种程度上说明了好的rebuttal的重要性，也说明只要你有“理”，就别怕！
此外，发表在ICML 2011的论文“Bayesian Learning via Stochastic Gradient Langevin Dynamics”获得了时间检验奖，作者是来自加利福尼亚大学的 max Welling （现在是高通荷兰公司技术副总裁）和伦敦大学学院的Yee Whye Teh（中文名字 郑宇怀 ，现在是牛津大学教授）。
值得一提的是，郑宇怀 1997年于加拿大滑铁卢大学获得计算机科学与数学学士学位，之后在多伦多大学师从Geoffery Hinton，并于2003年获得计算机博士学位。 他还是Hinton那篇划时代论文《A fast learning algorithm for deep belief nets》的署名作者之一。
杰出论文奖：去中心化训练的极限在哪里？
去中心化（Decentralization）是扩展并行机器学习系统的一种有效方法。本文提供了该方法在随机非凸环境下进行复杂迭代的下界。我们的下界表明，许多现有的分散训练算法（如D-PSGD）在已知收敛速度方面存在理论差距。通过构造并证明这个下界是合理的和可实现的，我们进一步提出了DeTAG，这是一种实用的gossip风格的去中心化算法，只需要一个对数间隔就可以达到下界。本文将DeTAG算法与其他分散算法在图像分类任务上进行了比较，结果表明，DeTAG算法比基线算法具有更快的收敛速度，特别是在非缓冲数据和稀疏网络中。
荣誉提名奖之一：离散分布的可伸缩抽样
机构：多伦多大学，谷歌大脑
本文针对离散概率模型，提出了一种通用的、可扩展的近似抽样策略。该方法利用似然函数对离散输入的梯度来更新Metropolis-Hastings采样。实验表明，这种方法在高难度设置中，要优于一般的采样器，例如伊辛模型，波特模型，受限玻尔兹曼机，隐马尔可夫模型。本文还展示了改进的采样器，用于训练基于高维离散图像数据的深层能量模型。这种方法优于变分自动编码器和现有的基于能量的模型。此外，本文提供的边界，表明该方法在更新局部的采样器类中是接近最优的。
荣誉提名奖之二：为什么非对比自监督学习效果好？
一般而言，对比自监督学习（SSL）通过最小化同一数据点（正对）的两个增强视图之间的距离和最大化不同数据点（负对）的视图来学习表征，而最近的非对比SSL（如BYOL和SimSiam）的研究表明，在没有负配对的情况下，使用额外的可学习预测器（learnable predictor）和停止梯度操作（stop-gradient operation），可以使模型性能更佳。一个基本的问题出现了：为什么这些方法没有引发崩溃的平凡的表征？
本文通过一个简单的理论研究回答了该问题，并提出了新的方法DirectPred，它不需要梯度训练，直接根据输入的统计信息来设置线性预测。在ImageNet上，它与更复杂的BatchNorm（两个线性层）预测器性能相当，在300个epoch的训练中比线性预测器高2.5%（在60个epoch中高5%）。DirectPred方法，来源于我们对简单线性网络中非对比SSL的非线性学习动力学的理论研究。这项研究提供了非对比SSL方法如何学习的概念性见解，如何避免表征崩溃，以及预测网络、停止梯度、指数移动平均数和权重衰减等因素如何发挥作用。此外，本文还提供了该方法在STL-10和ImageNet上的消融研究结果。
荣誉提名奖之三：倒向随机微分方程结合张量格式的回归型方法
机构：德国柏林自由大学，德国波茨坦大学等
高维偏微分方程的应用在经济、科学和工程等研究中普遍存在。然而，由于传统的基于网格的方法易受到维数灾难的影响，该方程在数值处理上面临着巨大的挑战。在本文中，我们认为，张量训练为抛物型偏微分方程提供了一个更合理的近似框架：将倒向随机微分方程和张量格式的回归型方法相结合，有望利用潜在的低秩结构，实现压缩和高效计算。
遵循这一范式，我们开发了新的迭代方案，包括显式和快速（或隐式和准确）的更新。实验证明，与最先进的基于神经网络的方法相比，我们的方法在精确度和计算效率之间取得了一个良好的折中。
时间检验奖：随机梯度朗格文动力学
机构（原）：加利福尼亚大学、伦敦大学学院
本文中提出了一个新的框架，在small mini-batches中迭代学习的基础上，可以用于从大规模数据集中学习。通过在标准的随机梯度优化算法中加入适量的噪声，论文证明，当anneal the stepsize，迭代将收敛到真实后验分布的样本。这种优化和贝叶斯后验抽样之间的无缝过渡提供了一个内在的保护，防止过度拟合。此外，还提出了一种实用的后验统计蒙特卡罗估计方法，它可以监控 “抽样阈值”，并在超过该阈值后收集样本。最后，将该方法应用于三种模型：高斯混合模型、逻辑回归模型和自然梯度的ICA模型。
具体而言，本文提出了一种基于大规模数据集的贝叶斯学习方法。将随机优化似然的Robbins-Monro型算法与Langevin动态相结合，Langevin动态在参数更新中注入噪声，使得参数的轨迹收敛到完全后验分布，而不仅仅是最大后验分布。由此产生的算法开始类似于随机优化，然后自动过渡到使用Langevin动力学模拟后验样本的算法。
ICML 2021大会上，香港科技大学教授、大会程序主席张潼通过一则视频展示了今年的论文收录情况。
两个月前，ICML组委会为了保证AC/SAC 接收标准和论文质量，宣布将接收论文砍掉10%。今年共接受论文1184篇，接收率21.4%，为近五年来最低。
今年的录用论文涉及深度学习、算法、应用、强化学习、隐私、理论、概率方法和社会方面等8个研究方向。
其中，算法方面的论文一枝独秀，提交的论文数量占比31%，比第二名深度学习，数量高出近一倍。排名Top3的算法、深度学习、理论三大机器学习热门方向，占据了总接收论文的50%以上。相对冷门的隐私、概率方法、社会方面等也有20%的论文被接收。
哪个领域接受率最强？理论工作32%，强化学习27%，概率方法26%，社会角度24%，优化22%，算法19%，应用和深度学习只有18%。
一篇论文往往有好几位合著者，似乎论文接收率有相关关系。据统计数据，如果一篇论文有着大于9位的作者，那么它将有1/3的概率被接收，如果仅有1位作者，论文接受率不到1/10；另外，8位作者和4位作者，虽然在人数上相差一倍，但是接受率仅相差2%。
在所有的提交论文中，有1446篇论文包含3位作者，大于或等于9位作者的论文数只有104篇；此外，还有205位作者单独提交了论文，由2位作者合写的论文数有1005篇。
经过统计，今年的ICML 2021接收的论文中，如果标题中带有这么几个词，将会有较高的接收率：强化学习、噪音、规划、Bandits、蒙特卡洛、流、隐私.......
特约稿件，未经授权禁止转载。详情见 转载须知 。
西陆网是军事网站，为大国之崛起，关注军事利益，对比国际军事力量，探寻军事战略，解读军事战争历史，求索强国之路。
通过在平台上进行简单的操作批量生成广告创意，并与相应的人群、页面、天气等大数据标签匹配后实现精准投放，从而大幅提升广告展示的效率效益。
爱站网知识产权服务平台是中国商标网备案的专业代理机构,专业提供:商标注册,商标查询,商标转让,域名注册,域名购买,域名交易,专利申请,版权登记,建网站,小程序,小程序开发,企业邮箱,云服务器,云主机,SSL证书等优质一对一服务!
苏州快捷航空票务是国内领先的在线特价机票酒店预订公司之一,提供机票代理免费加盟,机票分销政策共享,国内国际打折机票预订,35000余家酒店预订,宾馆预订,酒店宾馆用户真实点评,旅游资讯,以及航班时刻表,特价打折机票查询预订,2-7折酒店超低折扣预订让您足不出户预订到经济实惠的酒店400-710-5998
木土数码咨询网_探索最新数码产品和科技趋势的专业平台。我们致力于为您提供权威的产品评测、深度的科技报道和实用的购物指南，帮助您了解并选择优质的数码产品。不论您关注智能设备、电子产品还是互联网科技，都将为您呈现全面而深入的内容
广源永盛社保连锁服务公司，成立于2012年，是最早从事社保代理、公积金代办、社保补缴、社保代缴、社保补办、社保托管的公司之一。公司以社保业务为核心，逐渐开发了企业服务包括注册公司代理记账商标代理劳务派遣五险一金代理补充医疗薪酬优化等。
豫西紧定套官网
安徽鸿效机械科技有限公司主要生产机械零部件、电器开关零部件、五金冲压件、汽车零部件、金属冲压模具、金属材料零部件、绝缘体材料零部件的研发、生产与销售，欢迎咨询：17334648117
爱部落是一本轻日记，也是一个简单干净的独立社区。在这里，您可以记录每一天的点滴琐事，沉淀每一刻的生活感悟，分享每一秒的喜怒哀乐。
来疯是中国互联网超火的视频直播平台，提供丰富精彩的视频真人生活秀。支持数万人同时在线视频直播、聊天、交友、速度流畅不卡，美女帅哥播客任你看。快来加入，一起来疯吧！
美味乐享（杭州）餐饮管理有限公司
青州鹏云飞纸业有限公司坐落于久负盛名的古九州之一——青州市。胶济铁路、青临高速、济青高速纵横市区，交通十分便利，地理位置十分优越。
鸡排作为特色的小吃类型，具有外酥里嫩的口感，还有着丰富的营养，因此一直备受广大吃货们的喜爱，在市场中的需求量不断的增加，让创业者们看到了其中广阔的发展前景，正新鸡排是一家专注于为食客们提供鸡排小吃的餐饮美食店，自2006年在市场中成立以来，已经在全国建立了两万多家连锁合作门店，在市场中拥有众多忠实的客户群体，成为了加盟商所关注的品牌，...。
生活中有些商品或许不起眼，如果你不需要很有可能都想不起来有这些东西，但也许就是这些商品是生活中不可或缺的存在，五金产品就是这样的商品，可能它在平时生活中用到的几率很小，但是当家里的水管需要维修，或许是遇到装修时，都会需要五金产品，基于这样的性质有很多人关注五金加盟连锁店如何，五金加盟店排行，可一起来了解下，五金加盟连锁店如何，五金店在...。
随着互联网对家装行业的冲击，家装主流消费越来越透明，正在进军中高端市场，并将逐步完全淘汰低端市场和出租房装修市场，将一线产品和服务用到家装产品中，并且价格更实惠，装饰加盟合理营收才能拥有市场，...。
1月最新发布的工业和信息化发展最新数据显示，2023年规模以上工业增加值同比增长4.6%，重点行业生产整体向好，41个工业大类行业中有28个保持增长，工业是综合国力的根基、经济发展的，压舱石，党的十八大以来，新型工业化建设的扎实推进，为工业经济整体向好提供了强有力的支撑，作为新一轮科技和产业变革的重要驱动力，人工智能技术与传统制造业...。
2022年9月8日，2022全球人工智能产品应用博览会，以下简称，全球智博会，新闻发布会在苏州工业园区举办，发布会详细介绍了2022全球智博会的筹备情况，并对包括，展会赛奖演，五个方面在内的嘉宾阵容、参展企业、产品等核心亮点以及三大权威奖项征集和评选的最新情况进行披露，发布会由苏州工业园区新闻中心主任单小辉主持，苏州工业园区科创委副...。
雷锋网讯，现年109岁的蓝色巨人IBM本周四宣布将分拆为两家上市公司，预计2021年底完成，此次分拆距离IBM上一次重大调整已过去了五年，IBM首席执行官ArvindKrishna，阿文德·克里希纳，表示，IBM专注于1万亿美元市场价值的混合云，客户对应用程序和基础架构服务的采购需求在不断变化，现在正是时候创建两家专注于各自优势的市...。
下载完成后，将安装包复制到U盘，在电视的，应用，标签页找到，应用管理，将U盘插到夏普4T，C65F8EA电视上，会弹窗提示，发现新外接设备，，选择，立即打开，在，U盘，标签页点击，应用，，找到当贝市场安装包，进行安装即可，当贝市场安装好之后，就可以随意在里面安装你需要的第三方点播、游戏、工具等应用，例如，哈趣影视、当贝酷狗音乐、当...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
咱们在电脑上装置了360软件管家后，想要卸载，该怎样操作呢，当天就跟大家引见一下如何卸载电脑上的360软件管家的详细操作步骤，方法11.首先关上电脑，找到桌面上的360安捍卫士软件，进入主页面后，点击上面的，配置大全，选项，2.如图，在关上的页面，点击左侧的，我的工具，选项，3.在关上的我的工具页面，点击左下角的，编辑，选项，4.如图...。
腾讯网址是https，自2003年创立以来，腾讯曾经成为一家集资讯消息、区域垂直生存服务、社会化媒体资讯和产品为一体的互联网媒体平台，腾讯的策略指标是，衔接所有，，提供社交平台和数字内容两项外围服务，腾讯官方的网址是什么腾讯官方的网址是腾讯首页，经过互联网服务优化人类生存质量是腾讯的使命，腾讯把，衔接所有，作为策略指标，提供社交...。
仙剑奇侠传3内存修改器是一款针对同名游戏所推出的辅助工具。这款仙剑奇侠传3修改器功能十分强大，支持人物属性、物品剧情、技能装备、外置坐标
植物大战僵尸OL修改器是一款植物大战僵尸OL同名游戏修改辅助软件，支持自动添加好友、种植物、浇水、施肥、回收植物、帮好友回收植物、自动世界之树施肥、自动完成任务、自动斗技场，以及自动狩猎、自动买入、卖出等等。可以快速得到经验让角色升级，快速赚金币。完美下载为您准备了“植物大战僵尸ol修改器”，欢迎大家前来下载使用
你好，我是富赚百万，刷到过情感书单号、文案号、国学号、强势文化号、胎教宝妈号、助眠号等等赚钱的方法一直都在我们身边，只是没有深入的了解过，别人做视频赚钱，你刷视频消耗时间，这就是人和人最大的区别，培养网感，在接触到未知项目的时候，我们要做的是去深入挖掘项目的本质，任何项目，只要存在，必定有着变现渠道，从0，1的研究账号的起步方式，了解...。
雷锋网消息，8月6日，理才网，daydao，宣布获得中投信联、光信资本、中南泊富基金、诚煜资本、德信基金等参投、创始人陈谏跟投的3亿元C1轮投资，本轮融资主要用于PaaS，小生态发展及HR专业管理的AI化产品研发，资料显示，理才网成立于2014年，是一家以人力资源服务为核心的企业服务厂商，深耕人资管理、招聘管理、绩效管理、薪酬福利等业...。
随着改革开放的脚步越来越快，许许多多的新式商业突飞猛进，餐饮行业本来就是竞争激烈的行业，如今更是飞速进展，外国食品更是占据了一席之地，好多朋友有心思加盟但是不太了解那些店，今天我就带大家看看果果咖喱加盟怎么样，ゴーゴー，同英语发音，GOGO，，又与日本语中数字，55，发音相同，而数字，55，正是前美国职棒大联盟纽约洋基队重炮击球手，...。
7月11日，独家获悉，腾讯CDG，企业发展事业群，正在对旗下的AMS，广告营销服务，部分职能板块进行整改优化，主要涉及从事带货运营和商业治理工作的团队，据一位接近腾讯AMS业务的刘菁纯表示，相关受影响的工作人员应该会先缓慢过渡到内部岗位，腾讯目前已经启动了岗位活水和专项绿色通道等工作，腾讯AMS线成立于2018年，主要负责腾讯广...。
下面为大家分享联想电视55E8怎么安装软件看电视直播教程，具体方法如下，准备工具，联想55E8、U盘、电脑一、先从电脑里下载好当贝市场apk，点击立即下载，并复制到U盘，然后将U盘连接联想55E8的USB接口；二、这时电视上会自动检测出外接设备，选择文件管理，或者在联想电视55E8主页选择，文件管理，；三、进入文件管理后，打开，可移动...。
