ICML 获奖者陆昱成 去中心化机器学习的理论极限在哪里? (icmc比赛含金量)
如何高效训练大规模数据,一直是机器学习系统面临的重要挑战,当下互联网时代,数十亿用户每天生产着百亿级规模的数据,作为AI炼丹的底层燃料,这些海量数据至关重要,然而,由于训练数据和模型规模的增大,机器之间的通信成本越高,机器学习系统经常会出现高延迟、低负载的现象,2004年,谷歌首次提出并行算法Mapreduce,通过将大规模数据分发给...。
神经机器翻译的混合交叉熵损失函数 (神经机器翻译的单词错误减少了)
作者,李浩然、陆巍本文提出了一个新的损失函数,混合交叉熵损失,,用于替代在机器翻译的两种训练方式,TeacherForcing和ScheduledSampling,里常用的交叉熵损失函数,CE,,计算开销基本和标准的CE持平,并且在多个翻译数据的多种测试集上表现优于CE,这篇文章我们简要介绍MixedCE的背景和一些主要的实验结果,...。
ICML 2021杰出论文公布!上交大校友折桂 田渊栋rebuttal加分论文获荣誉提名 (ICML2025截稿时间)
作者,维克多、琰琰原定于在奥地利维也纳召开的ICML2021,受疫情影响已于近日在线上召开,根据官方消息,会议将在7月18日~7月24日内完成所有的日程,在接收的一千多篇论文中,组委会最终挑出了四篇论文,分别颁发了一个杰出论文奖,三个杰出论文提名奖,杰出论文奖由康奈尔大学博士生获得,他本科毕业于上海交通大学,研究领域是分布式优化和机器...。