学术界重在 工业界追求 how why MXNet作者李沐 (学术界工作)

文章编号:46366 资讯动态 2024-12-10 李沐MXNet亚马逊TensorFlow谷歌

雷锋网AI科技评论按:在旧金山参加 AAAI 期间,经余凯老师的引荐,AI 君来到了位于 Palo Alto 的亚马逊AWS 办公室与李沐见了一面。从百度少帅到 CMU 博士再到 MXNet, 李沐的履历俨然自带距离感。但当穿着耐克灰色套头衫和牛仔裤的李沐坐在我们面前侃侃而谈时,AI 君在会面前的担心一扫而光。

严格来说这并不是一次采访,更像是朋友间的闲聊。经李沐老师的同意,我们整理出了下面这篇文章,其中涉及的内容仅代表他的个人观点,特此声明。

MXNet作者李沐:工业界追求“how”,学术界重在“why” | AAAI  见闻201702/58a6650820ce3.png" src="http://www.gpxz.com/zdmsl_image/article/20241210003405_11715.jpg" loading="lazy">

MXNet作者 李沐

2015 年的最后一天,李沐在朋友圈自嘲:

在这一年里,他为社区做出了 1580 个贡献,最长连续参与了 39 天。

在接下来的几个小时,他和小伙伴在 CMU 的机房跨了年。

当时的他说,2016 年有更多更多需要完成的重要的事情。

的确,李沐在刚刚过去的 2016 年完成了学业爱情事业的三丰收:准备 CMU 博士毕业答辩、步入婚姻殿堂、迎接儿子的诞生……而 MXNet 在 2016 年 11 月被亚马逊选为官方开源平台,无疑是其作者李沐在过去一年无法忽视的、浓墨重彩的一笔。

MXNet:“多谈技术,少做对比”

在知乎问答 「如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台?」 中,李沐个人觉得,不管是亚马逊还是其它公司,第一点首先还是要听从用户的声音(listen to the customer),基于社区驱动导向的 MXNet 实际上需要带给用户的不是别的,而是「爽」。

当用户只需要关心数据量和运算量、写好数学公式、把数据交给云并用花钱租算力;而不需要关心如何有效实现利用硬件、不需要关心自动求导是如何训练、云端如何优化的时候,用户才能够真正把精力放在自己想做的事情上。「AWS 最关心的是用户体验,然后是买资源赚钱。这里最保险的是支持所有流行的 DL 框架。」李沐曾经在一个知乎问答中这样总结道。

在提及这一点的时候,李沐也向雷锋网AI科技评论表达了他自己的看法,他认为亚马逊看重的是「有与无」的问题,而不是「谁」的问题。

「亚马逊靠的是机器时间(machine hour)赚钱,而不是靠软件与平台。因此,做社区的目的主要是为了把用户量积累起来,而上面用的是什么开源平台,其实并不重要。」

当然,亚马逊不会傻到为谷歌做嫁衣裳而选择 Tensorflow,因此它亟需的是找寻一个能够属于自己的开源平台。实际上这桩合作的促成,背后的「二传手」Alex SmOLA 功不可没。

Smola 是李沐在 CMU 的两位博士导师之一,于 15 年从 CMU 重返工业界,加入亚马逊 AWS 担任机器学习总监。此前在雷锋网AI科技评论报道过的 AAAI 2017 大会上,Smola 也以 MXNet 做了主题分享,而在演讲开始的感谢环节,李沐的名字赫然在目。

在 AAAI 的演讲中,Smola 拿 MXNet 的运行速度与其它开源平台做对比,而在谈话中李沐表示,自己并不愿意这样简单粗暴地做对比,他也告诉员工们,如果其它公司邀请你们做分享,一般不要做对比,只谈技术就好。

「我很理解大家爱看对比类的文章,但这是一个有偏见(biased)的做法。我们比别人快一两倍,不是我们想表达的东西,而为什么快,做了哪些优化,离我们的理想状态还有哪些差距,这样的总结可能对我来说更有价值一些。」

但不论李沐如何避免对比,MXNet 还是经常会被拿来与 TensorFlow 相提并论,他在谈话过程中也时常提及后者。在知乎上,他索性将机器学习的发展历史写成了一篇武侠小传,将修真世界里的 MXNet 比喻为「散修小团体」,而 TensorFlow 则是「最大流派平台」。

诚然,不论是开始时间还是平台特性,MXNet 都是与 Tensorflow 最为接近的一个:完整的多语言前端、全系统模块化、编译依赖小、适合快速开发的特性。虽然吃瓜群众们津津乐道的无非是哪家更强、优缺点是什么、两家如何自处竞争这样的问题,甚至还会八卦两家之间的关系。但李沐表示,其实他们与 TensorFlow 并不是想象中那种剑拔弩张的状态,相反,几个朋友每个星期都会碰头交流,讨论技术问题。

而更重要的一点在于,李沐认为所谓的「不同」纯粹是设计理念(design choice)的差异所导致的。

「谷歌想做的是一个完完整整的语言,跟 python 无关,自己就能成为一门语言 TF。」这样的策略能让谷歌从底层到上层拥有绝对控制权,像安卓一样,用户只要在上层做东西,底层全交给谷歌。虽然大体量势必会带来优化的困难,但这是谷歌的生态圈和战略所决定的。而 MXNet 选择的是轻量化的设计路线,毕竟这个平台一开始也只是 DMLC 抱着纯粹的热情做起来的兴趣项目,希望能降低深度学习的门槛。

「算法是科学。框架不是。它涉及的是设计者自己的审美观、哲学等主观理念,如果要用基于不同设计理念的表现性能来评论这个平台的好坏,我觉得意义不大。」

是的,基因——李沐用这个词来形容再恰当不过了。不论是亚马逊选择了 MXNet,抑或是谷歌做出了大而全的 TensorFlow,都是公司骨子里的基因在起着决定性的作用。

李沐觉得,框架的融合(merge)会是未来的趋势,系统各自为政的时代会被更多的兼容与支持取代。但不论 AI 潮流会是惊涛骇浪或是风平浪静,李沐坚信前端的用户驱动导向总是不会改变的。

学术界的“why”与工业界的“how”

初为人父的李沐在 2017 年初又实现了一个小目标。在 2 月初,他顺利完成了 CMU 的博士论文答辩。

在旁人看起来难如登天的答辩环节,对于李沐而言却只是「走走流程」般的轻松及「了却一件事」般的易如反掌。更何况,这场答辩汇集了全球顶尖科技公司的大牛们:谷歌、苹果、亚马逊深度学习项目的 Jeff Dean,Ruslan Salakhutdinov,Alex Smola,还有 CMU 机器学习助理教授 Barnabas Poczos。

虽然毫无悬念地被问到了「比较下 MXNet 和 TensorFlow」,但李沐在微博中调侃称,「最后大家并没有打起来」。

记得有位朋友这样评价李沐,「他是少有的在工业界和学术界都有着深厚积累的人。」微软亚洲研究院、百度少帅、谷歌实习生再到亚马逊,任何一份工作放在别人身上都是闪闪发光的经历,然而李沐一人占全了。即使有着令人艳羡的工作,李沐还是选择了到 CMU 读博。

在美国深造五年的李沐也目睹了深度学习火得一塌糊涂的全过程,不少企业也开始涉足这一领域。在他看来,普通民众更多的关注点是在强 AI,而学术界甚至都不会用「AI」这个词。在美国的 Top 学校里,做纯 ML 的其实不多,就连 MIT 这样的学校也是新近才招募了专门教授机器学习的老师。

而李沐认为深度学习突然火起来的原因,其实是门槛太低的结果。「你不需要懂数学。它就是一种语言,神经网络的层是不同的句子,每个人都可以通过这个语言描述你对问题的理解,链接不同层构造一个程序。框架可以帮你完成计算,更何况计算量和数据都不缺,必然导致大家会慢慢进来。」

鉴于学术界与工业界的交互越来越频繁,也有不少企业也会与大学研究院进行合作发表应用性强的论文,但这些论文往往拿不到 Best 或 Oral Paper,也是因为评审标准的出发点不同所致。作为在工业界与学术界都待过的大牛,李沐虽然现在对于两个领域的研究侧重颇有心得,但在四年前,他在投递论文时也吃过不少亏,NIPS、IJCAI、JMLR、UAI、KDD连续被拒绝的他,心情非常郁闷。2013 年 8 月,他在微博上无奈地写道:

后来回顾这段历程时,李沐感慨道:

「做产品和做学术研究是完全不同的东西。产品的导向是解决问题的 how,效果好、简单好用、通用性强、资源消耗低、便于实践,也就是东西要 work(应用)。不同公司的侧重点可能有些差异,比如百度对广告的精准性要求高一些,腾讯可能需要产品简单一些。而做学术研究时要写清楚的是 why,最重要的是想法(idea),第二点是洞察(insight), 也就是你能把这个事情做出深层的解释,再接下来才是结果好不好。」

但李沐在实践的时候,还是会把应用放在第一位。他在带实习生的时候,就要求对方首先要做一个至少能跑得起来(work)的东西,然后再在其中提炼想法。在他的理解中,没有实践基础的理论就是空中楼阁。

在 CMU 博士论文答辩之后,李沐从匹兹堡回加州的飞机上 写就了一篇随想录 。他笑着对雷锋网AI科技评论说,这篇文章本来设想了两种写法,一种是说自己有多牛多牛(李沐说,文中列举的只有一半)。「但后来想了一下,第一种写法虽然看上去很厉害,但对别人没有意义。反过来,我写自己做过了什么,哪些失败了,原因是什么。其实这五年做的大部分事情是失败的,如果不总结一下,错误总是一直在犯。」

文章写就之后,李沐感悟最深的一点在于每个人都应该走自己的路。「每个人在文章中都看到了不同的东西,很多人看到工业界有钱,有的人看到技术方面的一些思考,也有的人看到我最后一段的情怀,但并不代表着你一定要跟着我走的路去走。如果只是因为这篇文章觉得鸡血满满,转头去读了个博士,可能也会后悔。我的背景决定了自己能做什么,每个人也都是如此。」

CMU的答辩结束之后,家庭暂时成为了李沐生活的重心,但这并不会持续很久。原来只有 Smola 和李沐两个人的办公室,现在已经满满当当。李沐说,他们很快就要搬进不远处的新办公室,并计划再招 300 个人,准备让 MXNet 变得更好用一些。

雷锋网AI科技评论后记:AI君一开始的文章标题其实并非长这样,但李沐老师在看完文章之后,却希望能换个低调一些的标题,他说自己并不希望靠上“亚马逊”、“CMU”这样的标签。细想也是,以李沐老师的存在感,似乎也不需要吧。

封面与正文图片由李沐本人提供,特此感谢。

原创文章,未经授权禁止转载。详情见 转载须知 。

MXNet作者李沐:工业界追求“how”,学术界重在“why” | AAAI  见闻

全局中部横幅
短链接生成器

爱短链——企业级在线短链接生成器,专注高速跳转短网址短链接制作,批量短链接网址生成等,支持自定义域名短链接数据统计等,链接缩短的同时,支持高并发、防劫持,爱短链在线生成短链接工具,靠谱!

包双龙运势网

包双龙运势网(www.yunshi.com.cn)是由著名易学大师“包双龙”老师驻站主持推出的专业风水学、八字命理、教学视频及在线问答等易学文化知识交流学习平台。

薄片吸塑

重庆市海尊电子科技有限公司,壁山工业园区,技术先进的生产,销售,吸塑,包装材料,PVC,PET,PS,PETG,PP导电,抗静电,真空罩,托盘,咨询热线:18983100577

手机软件下载

1333玩手游网为用户免费提供手机游戏和手机应用软件的高速下载,提供各种app的分类排行,让用户知道最热门的app和手机游戏,以及最新APP专题合集推荐等,为用户带来了各种app教程,手游攻略资讯等。

深圳市雅韩视科技有限公司/Airhans

雅韩视|Airhans|电动牙刷|吸奶器|无线充电|医疗设备|MCU开发|单片机开发|蓝牙2.4G|加热设备|加湿器|PLCC控制器|成人用品电路设计|消费类电子PCBA|

本木设计

高品质生活,从拥有一个花园开始!本木景观_昆明景观设计_昆明酒店景观设计_昆明会所设计_昆明样板区设计_昆明民宿设计_昆明景观施工_昆明景观设计公司_昆明花园设计_昆明屋顶花园_昆明户外家具_昆明私家庭院_昆明别墅庭院_昆明烧烤炉_昆明豪宅设计_昆明室内设计_昆明别墅设计_昆明家装设计_昆明景观施工_昆明景观设计公司_昆明花园设计_昆明屋顶花园_昆明户外家具_昆明私家庭院_昆明别墅庭院_昆明烧烤炉_昆明豪宅设计_昆明室内设计_昆明别墅设计_昆明家装设计

探秘创意潮流

探秘创意潮流,汇聚个性表达是一个聚焦潮流动态、独特创意和先锋文化的平台,为用户提供涵盖新兴趋势、个人观点、以及跨领域洞见的丰富内容。这里是潮流引领者、创意探索者和思维碰撞者的集结地,让每位用户都能找到属于自己的声音和视角。无论是分享前卫理念、讨论新锐观点,还是展示独特作品,这里都将成为展示个性和开拓新知的理想之地。

贝云

贝云是以云财务软件为基础,融合CRM、进销存等核心功能,形成的业财一体化经营协作平台。让企业从进货、仓管、销售、财务记账可以一站式协同处理。无须再单独采购CRM软件、进销存软件、财务软件等,让企业低成本高效率管货、管客户、管销售、管财务。适用于普通企业、代账公司、兼职代账会计、会计培训机构、

豆花文学

豆花文学,女性向小说原创社区。提供彩虹、言情、二次元、同人等不同题材的小说、小故事(微小说)在线阅读服务。

全局底部横幅