与李沐师徒官宣创业 Alex 入大模型 舍亚马逊 Smola

文章编号:46000 资讯动态 2024-12-09 大模型AlexSmola李沐
消息:近日,亚马逊机器学习部门原杰出科学家/VP Alex Smola与首席科学家李沐师徒二人已从亚马逊离职,并且确立新去向: 进军大模型方向创业。
此前两个月,与接近李沐师徒二人的 AI 行业人士交谈,获悉二人有离职打算。但直到今天,二人动态才最终确定。
据微信公众号“亲爱的数据”消息,Alex Smola于2023年2月从亚马逊离职后公布了新的创业项目——一家人工智能公司Boson.ai,担任首席执行官兼联合创始人。其Linkedin资料也更新了新的公司信息。
Alex Smola 与李沐师徒官宣创业:舍亚马逊,入大模型
而其弟子李沐这次也再次追随了导师的脚步。

从李沐到卡内基梅隆大学Alex Smola门下读博开始,这两位顶级AI科学家师徒的轨迹就高度重合。2016年两人就曾在深度学习落地潮中一同创业,如今在ChatGPT引起的新一轮AI大模型热潮之际,两人抓住机遇从大厂离职创业,新事业令人期待。

关于Boson.ai这家新公司,目前的公开资料还不多,Alex Smola简短透露称:“我们正在做一件大事……请保持关注。如果您想从事可扩展基础模型方面的工作,请联系我。”官网目前也在建设中,页面显示其创业方向为大模型。

Alex Smola 与李沐师徒官宣创业:舍亚马逊,入大模型

李沐的公开资料还尚未显示其最新动向,但他已在Github上亲自创建了新公司的项目:
Alex Smola 与李沐师徒官宣创业:舍亚马逊,入大模型




深度学习框架开创者李沐

Alex Smola 与李沐师徒官宣创业:舍亚马逊,入大模型

ACM 班的“沐神”传说
李沐的大学本科在上海交通大学ACM班度过。ACM班由总教头俞勇领衔,旨在培养计算机科学家,汇聚了一群最聪明的年轻人。
李沐2004年入学,在吕宝粮教授的实验室学习,开始接触人工智能。从大一开始,李沐就被周围同学尊称为“沐哥”,据他的室友李佐凡回忆,李沐有一股难以压制的领袖气场从内而外地散发出来,让人不禁仰视。
2007年夏,李沐去微软亚洲研究院实习,在互联网搜索与挖掘组(WSM)和搜索技术中心(STC)受 Steve Macbeth指导(现在亚马逊任CE技术总监)。这是李沐与工业界的初次接触。
毕业后,李沐并没有直接去业界找工作,当时计算机虽是社会上的热门专业,但IT公司还没有那么厉害,尤其是AI方面的技术还没那么强。所以在2009年8月,李沐作为访问学生到香港科技大学继续深造,之后在那里继续担任研究助理。
初去百度做广告系统
2011年,李沐尝试申请了一次美国的博士项目,但当时拿到的offer里并没有特别合适的导师。所以李沐选择留在了国内,北上投奔师兄戴文渊,在百度做广告方面的工作。
在百度的一年,李沐的主要工作是利用广告数据训练能够预测用户点击广告率的模型。李沐从中积累了不少工业界经验,也为他后来开发机器学习系统的长久事业开了一个头。李沐后来在回顾百度的这段经历时也说到,在百度“遇到的很多问题成为了之后研究方向的来源,当时深度学习刚出来,冥冥中觉得应该是大规模机器学习的未来”。
一年后,李沐决定再次踏上求学之路。在百度的经历让他清楚了自己的研究短板,而当时国内的机器学习系统并不发达,选择他选择了CMU和MIT两所美国学校,把之前的博士申请材料重新寄了一遍,结果很顺利地拿到了CMU的offer。
某次,李沐在百度的食堂与余凯、张潼一同就餐,谈到去CMU读博,余凯和张潼就建议他去Alex Smola教授门下,并写了一封推荐信过去。
百度少帅与MXNet
李沐去CMU读博的前半年,Alex还在谷歌工作,由于经费不足,就找来另一位做分布式系统的教授Dave Andersen一同指导李沐。
在博士第一年结束的暑假,李沐去谷歌实习,主要在研究内部代码和文档,了解了谷歌的基础架构,开了眼界。当时Google Brain成立不久,李沐在那里见识了Jeff Dean、Geoffrey Hinton等大牛。
博士第二年,李沐实现了一个通用的分布式机器学习框架,即Parameter Server(论文:Parameter Server for Distributed Machine Learning)。该框架一开始的目的是为了做实验更方便,李沐花了大量时间去设计接口,做了多个版本实现,还做了一些工业界级别的大规模实验。最后,这项工作发表在了机器学习系统领域的顶会OSDI上。Parameter Server后来还合并到了MXNet项目中。
李沐对深度学习的接触并非起于在CMU的博士研究,而是在国内的百度见证了深度学习的火热。时任百度深度学习研究院(IDL)副院长的余凯是他的引路人。当时,余凯正在百度推动深度学习,启动了“少帅计划”以吸引优秀的年轻AI人才。李沐入选该计划,并“入坑”深度学习。也是在余凯的建议下,李沐开始酝酿做一个深度学习开源平台。
回到CMU,李沐先是继续做Parameter Server项目,写了许多代码,并帮助用户使用这些代码。但遇到不少困难,比如由于忽视代码的易读性,导致只有少部分人能理解代码从而做一些开发,再者,没有人能一起审核代码接口,导致这些接口个人风格强烈,但很难做到对所有人都简单明了。
幸运的是,李沐发现了当时在华盛顿大学读博的陈天奇,当时陈天奇在做XGBoost项目。两人交流以后,发现很多基础部件是可以多个项目共同使用的,而不是每个项目都造一个轮子。于是,李沐与陈天奇在Github上创建了DMLC(Distributed Machine Learning Community)组织。
MXNet项目也在这个组织中很快启动。李沐将三个不同的开源项目合并到了一起,分别是由在美国的陈天奇的CXXNet,张铮及其学生王敏捷牵头的Minerva,以及颜水成学生林敏牵头的purine2,最终创建了MXNet框架,并于2015年年底开源。




“参数服务器之父”Alex Smola

Alex Smola 与李沐师徒官宣创业:舍亚马逊,入大模型

Alex Smola于1996年在慕尼黑工业大学获得硕士学位,曾在慕尼黑科技大学、帕维亚大学和霍姆德尔的AT&T 研究院学习物理学。1998年,他获得柏林工业大学的计算机科学博士学位,先后去往柏林GMD 软件工程和计算机体系结构研究所和澳大利亚国立大学信息科学与工程研究院工作。2004年,他在NICTA的统计机器学习项目中担任高级首席研究员和项目负责人,2008年起入职雅虎研究院。
2012年春至2014年底,Alex Smola在谷歌研究院工作,中间从2013年起,他开始担任CMU的教授,指导李沐,后来于2016年加入AWS。




李沐师徒的亚马逊往事
2016年李沐准备从CMU博士毕业,那段时期深度学习的落地十分火热,科学家纷纷从学术界去往工业界,各种巨资收购初创公司不断。当时李沐在国内的许多好友都纷纷创业,如余凯离开百度创立地平线,戴文渊从华为离开、创立第四范式。
李沐也跃跃欲试,与两位导师Alex和Dave以及Ash Munshi一起,创立了公司MarIanas Labs,李沐出任CTO。
中途,Dave离开公司,去了谷歌与Jeff Dean一起做Tensorflow。之后,公司的项目果然被一个小上市公司看中,就将公司卖了出去。但后来他们认为这家公司不靠谱,就考虑不再合作,另做打算。当时的Alex在阳谷县(SunnyVale)买了房,有还贷的经济压力,于是选择去了亚马逊,担任AWS副总裁级别科学家(Distinguished Scientist),从CMU重返工业界。
所以,这次短暂的、并不算很成功的创业之旅就此终止,李沐也总结了一些教训和经验:团队和技术强是一方面,更重要的是要把产品做好。
在这时,李沐收到了Jeff Dean从谷歌抛来的橄榄枝。机会很诱人,但李沐考虑到MXNet的后续发展,觉得去亚马逊是更好的选择,“自己挖的坑,总是要自己填的”。李沐便追随导师Alex,以兼职的身份去了亚马逊,直接向Alex汇报,带着一些人做MXNet的开发和AWS上深度学习的应用。
随后,李沐完成博士学位后,于2016年7月正式加入亚马逊AWS。亚马逊的人工智能部门彼时刚刚成立,对深度学习框架正有着强烈的需求。李沐的新目标不再仅仅是深度学习框架的研发,还包括让框架更好地服务用户。在他看来,分布式系统最难的不是如何让每个机器计算的多快,而是机器之间的通讯,如何减少通讯提升交互效率,对系统来说也至关重要。
2016年11月,MXNet被亚马逊选为官方开源平台,这对于MXNet和李沐而言是一次重大胜利。
起初李沐因为想要填MXNet的“坑”而追随导师加入亚马逊,六年多来也主要围绕MXnet展开工作,如今看来他已找到了待发掘的“新坑”。而对于Alex Smola而言,上一次的短暂创业因为背负房贷压力而终止,这次他与弟子再次创业,想必房贷的经济压力早已解决,也有足够的资本来投身烧钱的大模型领域。
当下大模型的火热对人才的吸引力巨大,AI 科学家离开大厂、创业入局ChatGPT已成趋势,期待李沐与Alex Smola师徒在这一赛道上的新动作。

Alex Smola 与李沐师徒官宣创业:舍亚马逊,入大模型

Alex Smola 与李沐师徒官宣创业:舍亚马逊,入大模型

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

版权文章,未经授权禁止转载。详情见 转载须知 。

Alex Smola 与李沐师徒官宣创业:舍亚马逊,入大模型

全局中部横幅
电影网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

绍兴志成风机有限公司

专业从事专用风机、通用风机、消防排烟通风设备及防火阀、排烟阀、消声器、静压箱等暖通成套设备的研发、制造和销售并提供专业售后服务的行业骨干企业。

降霾除尘系统

郑州林德科技有限公司是专业从事降霾除尘系统、高空除霾降尘设备、城市空气污染治理系统生产、销售及安装的厂家,设备净化范围大、能耗低,电话:18538135279

群众新闻网

群众新闻网是陕西日报为进一步组织群众、宣传群众、凝聚群众、服务群众,不断提升传播力、引导力、影响力、公信力而打造的新媒体平台。

专业智慧消防解决方案运营商

青岛峻海物联科技有限公司是一家专业提供物联网解决方案的高新技术企业,以致力于为客户提供专业的物联网解决方案为己任,业务涵盖:智慧消防、应急管理、民政养老、轨道交通、卫健安全等业务。

电子秤

上海帅华是国内专业的电子秤供应商,具有完善生产研发资质,承接各类标准与非标衡器生产与订制,提供最新地磅,汽车衡,电子天平型号技术参数,欢迎新老用户前来咨询!

注册美国商标

平克曼知识产权服务是由国家商标局官方备案机构!我们服务包括全球商标注册,商标出售,专利申请,版权登记,亚马逊账号申诉等,平克曼知产汇集全球商标,千元可购买商标,亚马逊包备案,不成功全额退款!

电梯销售,安装,维保,老旧电梯改造

【江苏东奥电梯】专业从事电梯销售、安装、维保以及改造服务,拥有电梯安装资质许可证,优选经久耐用、性价比高的电梯品牌,部分家用电梯可提供十年质保服务。

武汉保镖公司

远德武汉保镖公司是远德保镖公司的分支机构,是武汉十大保镖公司.远德武汉保镖公司专门为企业提供高端私人保镖服务,武汉保镖公司主要服务于武汉及武汉周边大型企业,武汉保镖公司排名10强前列.

日本竹中TAKEX授权代理

日本TAKEX竹中(TAKENAKA)企业集团,是日本最早生产传感器的企业。针对不同产品类别,集团下属多个子公司。主要产品有工业电子传感器,安防保全用传感器,工业相机,激光投影器等产品。产品以过硬的品质迎得行业的好评,畅销世界各地。在钢铁,造纸,LCD/LED面板,医疗,特种安防方面更是鲜有竞争对手。 上海益万自动化设备有限公司,作为竹中公司在中国区的授权代理商,致力于竹中产品在中国的推广销售和服务。本公司本着“益万努力,为您满意”的服务宗旨,期待与您合作,共赢未来!

广州华帝热水器售后服务

【华帝热水器售后服务热线020-3848-8852】专业从事“华帝热水器售后,华帝燃气灶售后,华帝油烟机售后,华帝消毒柜售后”等华帝售后维修服务,华帝售后竭诚为您服务!

全局底部横幅