学术界重在 工业界追求 how why MXNet作者李沐 (学术界工作)
雷锋网AI科技评论按:在旧金山参加 AAAI 期间,经余凯老师的引荐,AI 君来到了位于 Palo Alto 的亚马逊AWS 办公室与李沐见了一面。从百度少帅到 CMU 博士再到 MXNet, 李沐的履历俨然自带距离感。但当穿着耐克灰色套头衫和牛仔裤的李沐坐在我们面前侃侃而谈时,AI 君在会面前的担心一扫而光。
严格来说这并不是一次采访,更像是朋友间的闲聊。经李沐老师的同意,我们整理出了下面这篇文章,其中涉及的内容仅代表他的个人观点,特此声明。
MXNet作者 李沐
2015 年的最后一天,李沐在朋友圈自嘲:
在这一年里,他为社区做出了 1580 个贡献,最长连续参与了 39 天。
在接下来的几个小时,他和小伙伴在 CMU 的机房跨了年。
当时的他说,2016 年有更多更多需要完成的重要的事情。
的确,李沐在刚刚过去的 2016 年完成了学业爱情事业的三丰收:准备 CMU 博士毕业答辩、步入婚姻殿堂、迎接儿子的诞生……而 MXNet 在 2016 年 11 月被亚马逊选为官方开源平台,无疑是其作者李沐在过去一年无法忽视的、浓墨重彩的一笔。
MXNet:“多谈技术,少做对比”
在知乎问答 「如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台?」 中,李沐个人觉得,不管是亚马逊还是其它公司,第一点首先还是要听从用户的声音(listen to the customer),基于社区驱动导向的 MXNet 实际上需要带给用户的不是别的,而是「爽」。
当用户只需要关心数据量和运算量、写好数学公式、把数据交给云并用花钱租算力;而不需要关心如何有效实现利用硬件、不需要关心自动求导是如何训练、云端如何优化的时候,用户才能够真正把精力放在自己想做的事情上。「AWS 最关心的是用户体验,然后是买资源赚钱。这里最保险的是支持所有流行的 DL 框架。」李沐曾经在一个知乎问答中这样总结道。
在提及这一点的时候,李沐也向雷锋网AI科技评论表达了他自己的看法,他认为亚马逊看重的是「有与无」的问题,而不是「谁」的问题。
「亚马逊靠的是机器时间(machine hour)赚钱,而不是靠软件与平台。因此,做社区的目的主要是为了把用户量积累起来,而上面用的是什么开源平台,其实并不重要。」
当然,亚马逊不会傻到为谷歌做嫁衣裳而选择 TensorFlow,因此它亟需的是找寻一个能够属于自己的开源平台。实际上这桩合作的促成,背后的「二传手」Alex Smola 功不可没。
Smola 是李沐在 CMU 的两位博士导师之一,于 15 年从 CMU 重返工业界,加入亚马逊 AWS 担任机器学习总监。此前在雷锋网AI科技评论报道过的 AAAI 2017 大会上,Smola 也以 MXNet 做了主题分享,而在演讲开始的感谢环节,李沐的名字赫然在目。
在 AAAI 的演讲中,Smola 拿 MXNet 的运行速度与其它开源平台做对比,而在谈话中李沐表示,自己并不愿意这样简单粗暴地做对比,他也告诉员工们,如果其它公司邀请你们做分享,一般不要做对比,只谈技术就好。
「我很理解大家爱看对比类的文章,但这是一个有偏见(biased)的做法。我们比别人快一两倍,不是我们想表达的东西,而为什么快,做了哪些优化,离我们的理想状态还有哪些差距,这样的总结可能对我来说更有价值一些。」
但不论李沐如何避免对比,MXNet 还是经常会被拿来与 TensorFlow 相提并论,他在谈话过程中也时常提及后者。在知乎上,他索性将机器学习的发展历史写成了一篇武侠小传,将修真世界里的 MXNet 比喻为「散修小团体」,而 TensorFlow 则是「最大流派平台」。
诚然,不论是开始时间还是平台特性,MXNet 都是与 Tensorflow 最为接近的一个:完整的多语言前端、全系统模块化、编译依赖小、适合快速开发的特性。虽然吃瓜群众们津津乐道的无非是哪家更强、优缺点是什么、两家如何自处竞争这样的问题,甚至还会八卦两家之间的关系。但李沐表示,其实他们与 TensorFlow 并不是想象中那种剑拔弩张的状态,相反,几个朋友每个星期都会碰头交流,讨论技术问题。
而更重要的一点在于,李沐认为所谓的「不同」纯粹是设计理念(design choice)的差异所导致的。
「谷歌想做的是一个完完整整的语言,跟 python 无关,自己就能成为一门语言 TF。」这样的策略能让谷歌从底层到上层拥有绝对控制权,像安卓一样,用户只要在上层做东西,底层全交给谷歌。虽然大体量势必会带来优化的困难,但这是谷歌的生态圈和战略所决定的。而 MXNet 选择的是轻量化的设计路线,毕竟这个平台一开始也只是 DMLC 抱着纯粹的热情做起来的兴趣项目,希望能降低深度学习的门槛。
「算法是科学。框架不是。它涉及的是设计者自己的审美观、哲学等主观理念,如果要用基于不同设计理念的表现性能来评论这个平台的好坏,我觉得意义不大。」
是的,基因——李沐用这个词来形容再恰当不过了。不论是亚马逊选择了 MXNet,抑或是谷歌做出了大而全的 TensorFlow,都是公司骨子里的基因在起着决定性的作用。
李沐觉得,框架的融合(merge)会是未来的趋势,系统各自为政的时代会被更多的兼容与支持取代。但不论 AI 潮流会是惊涛骇浪或是风平浪静,李沐坚信前端的用户驱动导向总是不会改变的。
学术界的“why”与工业界的“how”
初为人父的李沐在 2017 年初又实现了一个小目标。在 2 月初,他顺利完成了 CMU 的博士论文答辩。
在旁人看起来难如登天的答辩环节,对于李沐而言却只是「走走流程」般的轻松及「了却一件事」般的易如反掌。更何况,这场答辩汇集了全球顶尖科技公司的大牛们:谷歌、苹果、亚马逊深度学习项目的 Jeff Dean,Ruslan Salakhutdinov,Alex Smola,还有 CMU 机器学习助理教授 Barnabas Poczos。
虽然毫无悬念地被问到了「比较下 MXNet 和 TensorFlow」,但李沐在微博中调侃称,「最后大家并没有打起来」。
记得有位朋友这样评价李沐,「他是少有的在工业界和学术界都有着深厚积累的人。」微软亚洲研究院、百度少帅、谷歌实习生再到亚马逊,任何一份工作放在别人身上都是闪闪发光的经历,然而李沐一人占全了。即使有着令人艳羡的工作,李沐还是选择了到 CMU 读博。
在美国深造五年的李沐也目睹了深度学习火得一塌糊涂的全过程,不少企业也开始涉足这一领域。在他看来,普通民众更多的关注点是在强 AI,而学术界甚至都不会用「AI」这个词。在美国的 Top 学校里,做纯 ML 的其实不多,就连 MIT 这样的学校也是新近才招募了专门教授机器学习的老师。
而李沐认为深度学习突然火起来的原因,其实是门槛太低的结果。「你不需要懂数学。它就是一种语言,神经网络的层是不同的句子,每个人都可以通过这个语言描述你对问题的理解,链接不同层构造一个程序。框架可以帮你完成计算,更何况计算量和数据都不缺,必然导致大家会慢慢进来。」
鉴于学术界与工业界的交互越来越频繁,也有不少企业也会与大学研究院进行合作发表应用性强的论文,但这些论文往往拿不到 Best 或 Oral Paper,也是因为评审标准的出发点不同所致。作为在工业界与学术界都待过的大牛,李沐虽然现在对于两个领域的研究侧重颇有心得,但在四年前,他在投递论文时也吃过不少亏,NIPS、IJCAI、JMLR、UAI、KDD连续被拒绝的他,心情非常郁闷。2013 年 8 月,他在微博上无奈地写道:
后来回顾这段历程时,李沐感慨道:
「做产品和做学术研究是完全不同的东西。产品的导向是解决问题的 how,效果好、简单好用、通用性强、资源消耗低、便于实践,也就是东西要 work(应用)。不同公司的侧重点可能有些差异,比如百度对广告的精准性要求高一些,腾讯可能需要产品简单一些。而做学术研究时要写清楚的是 why,最重要的是想法(idea),第二点是洞察(insight), 也就是你能把这个事情做出深层的解释,再接下来才是结果好不好。」
但李沐在实践的时候,还是会把应用放在第一位。他在带实习生的时候,就要求对方首先要做一个至少能跑得起来(work)的东西,然后再在其中提炼想法。在他的理解中,没有实践基础的理论就是空中楼阁。
在 CMU 博士论文答辩之后,李沐从匹兹堡回加州的飞机上 写就了一篇随想录 。他笑着对雷锋网AI科技评论说,这篇文章本来设想了两种写法,一种是说自己有多牛多牛(李沐说,文中列举的只有一半)。「但后来想了一下,第一种写法虽然看上去很厉害,但对别人没有意义。反过来,我写自己做过了什么,哪些失败了,原因是什么。其实这五年做的大部分事情是失败的,如果不总结一下,错误总是一直在犯。」
文章写就之后,李沐感悟最深的一点在于每个人都应该走自己的路。「每个人在文章中都看到了不同的东西,很多人看到工业界有钱,有的人看到技术方面的一些思考,也有的人看到我最后一段的情怀,但并不代表着你一定要跟着我走的路去走。如果只是因为这篇文章觉得鸡血满满,转头去读了个博士,可能也会后悔。我的背景决定了自己能做什么,每个人也都是如此。」
CMU的答辩结束之后,家庭暂时成为了李沐生活的重心,但这并不会持续很久。原来只有 Smola 和李沐两个人的办公室,现在已经满满当当。李沐说,他们很快就要搬进不远处的新办公室,并计划再招 300 个人,准备让 MXNet 变得更好用一些。
雷锋网AI科技评论后记:AI君一开始的文章标题其实并非长这样,但李沐老师在看完文章之后,却希望能换个低调一些的标题,他说自己并不希望靠上“亚马逊”、“CMU”这样的标签。细想也是,以李沐老师的存在感,似乎也不需要吧。
封面与正文图片由李沐本人提供,特此感谢。
原创文章,未经授权禁止转载。详情见 转载须知 。