揭秘iPhone里的Transformer：基于GPT-2架构|MIT校友出品|苹果|唱片|mit|ios|古典乐|安全密钥|macos|蒂姆·库克|iphone|ER(关西杰尼斯8单曲)
用微信扫码二维码
分享至好友和朋友圈
鱼羊发自凹非寺量子位|公众号QbitAI
苹果Transformer的“秘密”，让发烧友给扒出来了。
大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。
比如，在今年的WWDC上，苹果就已宣布，船新版本的iOS和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。
苹果官方没有透露更多信息，但技术爱好者们可坐不住了。
一位名叫JackCook的小哥，就把macOSSonomabeta翻了个底朝天，结果，还真挖出不少新鲜信息：
更多细节，一起来看。
先来回顾一下苹果基于Transformer的语言模型能在iPhone、MacBook等设备上实现怎样的功能。
主要体现在输入法方面。语言模型加持下的苹果自带输入法，可以实现单词预测和纠错的功能。
JackCook小哥具体测试了一下，发现这个功能主要实现的是针对单个单词的预测。
模型有时也会预测即将出现的多个单词，但这仅限于句子语义十分明显的情况，比较类似于Gmail里的自动完成功能。
那么这个模型具体被装在了哪里？一通深入挖掘之后，Cook小哥确定：
我在/System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle中找到了预测文本模型。
进而，小哥根据unilm_joint_cpu中描述的网络结构，推测苹果模型是基于GPT-2架构打造的：
主要包含tokenembeddings、位置编码、解码器块和输出层，每个解码器块中都有类似gpt2_transformer_layer_3d这样的字眼。
根据每层大小，小哥还推测，苹果模型约有3400万参数，隐藏层大小是512。也就是说，它比GPT-2最小的版本还要小。
小哥认为，这主要是因为苹果想要一种不太耗电，但同时能够快速、频繁运行的模型。
而苹果官方在WWDC上的说法是，“每点击一个键，iPhone就会运行模型一次”。
不过，这也就意味着，这个文本预测模型并不能很好地完整续写句子或段落。
模型架构之外，Cook小哥还挖出了分词器（tokenizer）的相关信息。
他在unilm.bundle/sp.dat里发现了一组数量为15000的token，值得关注的是，其中包含100个emoji。
尽管此Cook非彼库克，小哥的博客文章一发出，还是吸引了不少关注。
基于他的发现，网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。
回到JackCook本人，他本科和硕士毕业于MIT的计算机专业，目前还在攻读牛津大学的互联网社会科学硕士学位。
DOTA2刀塔官方网站，DOTA2资讯，DOTA2英雄资料，DOTA2活动发布官方阵地。DOTA2国服代理商完美世界，为你带来全球经典电竞大作DOTA2，进入刀塔畅享公平竞技体验。
奔宝迪每天更新最新奔驰,宝马,奥迪保时捷,特斯拉最新资讯
71CMS创先云提供智慧党建平台、党建大数据、党建App、党建小程序、开源智慧党建等多种形式党建系统，系统依托于互联网为桥梁，将党务学习、考核与党员发展密切关联，建立完备的信息化数据统计，提供三会一课、两学一做的新模式，开启党建工作的智慧时代。
中国十大pos正规品牌,正规一清机pos,目前好的POS机品牌，我们只推荐可靠正规的pos机品牌，pos一机一户解决刷卡问题；银联报备的pos机品牌，POS机个人免费申请，费率低，可秒到账！
北京天地迅达信息技术开发中心首页
一卡数控是一家专注于自动化木工设备及数控设备研发、制造、销售、售后服务于一体的高新技术企业，主营产品：数控开料机、覆膜机、封边机、侧孔机等板式家具生产线。
洛阳培训网是洛阳市专业的培训招生信息平台,洛阳培训网咨询电话:13663886737QQ:504476920,洛阳培训网致力于为洛阳市及省内各类教育培训机构提供专业的宣传、招生解决方案.为求学者提供全面、优惠的培训学校课程信息.打造快捷便利的求学绿色通道
快捷吊车出租网为人们专业提供：吊车出租、吊车租赁、吊车起重机出租等吊车出租服务，热烈欢迎各位需求吊车业务的用户来电咨询，我们快捷、热诚、上门为您解决吊装难题。
志道优学
安徽格瑞恩园林工程有限公司
智诚达项目管理咨询有限公司原名新疆智诚达建设工程招标代理有限公司（2009年5月变更公司名称），公司于2004年7月成立，按照《中华人民共和国招标投标法》的相关规定，于2005年4月依法取得新疆建设厅批准颁发的建设工程招标代理暂定乙级资格证书，2006年6月取得新疆建设厅批准颁发的建设工程招标代理
感官教育在蒙特梭利教育体系中占有重要的地位，并成为她的教育实验的主要部分，在她的著述中，有大量篇幅专门论述感官教育训练、运动训练与智力发展以及感官教育与纪律教育、知识、技能的培养的关系和密切的联系，她认为感官教育的主要目的是训练儿童的注意、比较、观察和判断能力，使儿童的感受性更加敏捷、准确、精练，在蒙特梭利看来，学前阶段的儿童各种感觉...。
抖音怎样加入吃喝玩乐榜，抖音软件里有超多同城的圈子，小伙伴们可以加入圈子里就可以感受更多的榜单，还有各种吃喝玩乐的美食，非常的方便，那么怎么加入呢，还不清楚的用户就一起来看看吧！...。
发表在综合交流大区2024，1，1812，54投影仪CPU芯片是如今家用智能投影仪的重要配件，强大的CPU芯片可以提供高效的运算处理能力，确保系统的运行更为流畅丝滑，那么2024投影仪芯片哪个性能强呢，下面就为大家分享2024投影仪CPU芯片排行榜，看看哪些投影仪搭载了高性能处理芯片，一、2024投影仪CPU芯片品牌盘点，MTK，联发...。
肩膀上的痣含意如下，1、肩膀有痣，有能担大任，挑重任的意思，肩膀上有痣的人，以后须要操心的事件肯定不少，她们是一种不怕苦不怕累的人，她们是女中俊杰，是巾帼英雄，而且她们的长相往往也很出彩，与这种女人结婚，会让男人感觉很省心，娶到肩膀有痣的女人，男人在家轻松，出门也倍有体面，2、女人左肩膀有痣的话，说明她们在结婚以后会成为一个好妻子、好...。
苹果手机装置pp助手的方法如下，首先，须要在苹果设施上关上Safari阅读器，而后访问pp助手的官方网站，在官方网站上，可以找到实用于iOS设施的pp助手装置文件，接上去，点击装置文件并依照页面上的批示启动操作，理论，装置环节会要求用户确认下载并装置pp助手，在装置环节中，或者须要输入设施的明码以启动确认，装置实现后，可以在苹果设施的...。
1、而车身尺寸方面，饿海马7X长宽高区分为4815*1874*1720mm，轴距2860mm，这样的数据只管不是特意的杰出，但咱们置信它还是可以提供较为温馨的乘坐空间的尾部局部，新车的尾部外型较为规整，档次感也十分的丰盛，尾灯与前大灯相，2、作为一名汽车技术钻研人员，团体以为安保是相对的，在10万级七座车畛域，相比七座面包七座SUV，...。
1、关上58同城，点击底部颁布；2、点击发职位找人才；3、输入要颁布的详细职位，点击职位；4、选用全职或许兼职；5、输入招聘消息，点击颁布即可，如何下载58同城招聘网要下载58同城招聘网的运行，可以返回手机的运行商店，如苹果AppStore或安卓各大运行商店，，搜查，58同城，或，58同城招聘，，找到对应的运行后点击下载并装置即可，以...。
明锐1.6为每缸5气门的发起机，只管没有什么先进技术，但牢靠，耐用，实践体现不错，最大功率为77kw最大扭矩155N.M明锐2.0为每缸2气门设计，是上世纪80年代的产物，最大功率85kw，最大扭矩170N.M两款车在数据上差异不是很大，实践驾驶时会发现2.0的稍微有力气一点，这是由于2.0这款发起机着重于低转速下的能源，也就是说以中...。
802.11acwlanadapter驱动程序是一款针对该同款型号无线网卡所推出的驱动安装程序。
荒野枪巫修改器是该同名游戏的一款修改工具，由一修大师制作分享，具有不用换弹、物品不减、混沌时间不减等修改功能
JavaScript如何实现页面平滑滚动功能？在Web开发中，页面滚动功能是经常使用的一项技术。尤其是当我们点击导航链接或滚动条时，页面可以平滑滚动到指定的位置，为用户提供良好的浏览体验。在本文中，我们将介绍如何使用JavaScript来实现页面平滑滚动功能，并提供具体的代码示例。首先，我们需要在HTML文件中添加一个按钮或链接，作为触发滚动的元素。例如：
大部分人天生不用面对的困难，都在这里,公益,艺术,罕见病
鼠标的作用说大不大，说小也不小，市面上的鼠标款式虽然花样百出，却也都是换汤不换药，没有太大的突破……加拿大的一家创业公司近日在Kickstarter上推出了一款新型鼠标Gestor，不同于传统鼠标的样子，它看上去更像是一根巧克力棒或者是短笛，更为神奇的是，它并不依赖于一个平面，凌空就能操作！棒式鼠标手感&，功能超酷炫Gestor...。
ECCV是计算机视觉领域世界三大顶级会议，CVPR，ICCV，ECCV，之一，每两年举办一次，ECCV的论文投稿量近五年来持续增长，根据ECCV官方网站数据，2022年ECCV收到有效投稿论文8170篇，评审通过接收1629篇，评审不通过拒稿6541篇，接收率不到20%，反映出AI视觉技术在工业界和学术界的创新热情继续高涨，但创新难度...。
只能狠下心让她经历挫折，如果她真的一身公主病，那应该很容易，，最重要的是大人不再去真的收拾烂摊子，可以表面上积极处理，表现十分困难，愁眉苦脸，最后让她去经受挫折，受挫后安慰，纯语言安慰，如果她不接受，那就看你们能不能受得了了，如果还小，就直接培养独立能力，最好一个唱红脸一个唱白脸，比较好适应，但帮她做的事都不能做，，如果比较大，就只...。
发表在当贝投影仪2021，5，2610，55阔别1、2、3、4...个月，当贝F1系统终于更新了，确实距离上一次当贝F1系统更新已经有很长一段时间了，果然当贝投影仪的产品和研发憋了一个大招，当贝F1系统更新2210版，全新长辈模式上线，牵手长辈更好的融入智慧生活，且此版本系统更稳定，下面就一起来看看当贝OS新增的长辈模式吧，版本，当贝...。
加盟一个品牌是众多创业人员首先的一种创业方式，特别是在餐饮业这个行业里，因为餐饮业很多的消费者都会去吃一些有名的品牌，而加盟一个好的品牌，是可以让创业者少走很多的弯路的，而猪蹄是很多美食爱好者比较喜欢吃的一个特色美食，同时也让是众多的创业者想要加盟的一个品牌，但是市面上的特色猪蹄店很多，加盟那个是很多人不知道的，下面为大家介绍一下特色...。
