揭秘iPhone里的Transformer：基于GPT-2架构|MIT校友出品|苹果|唱片|mit|ios|古典乐|安全密钥|macos|蒂姆·库克|iphone|ER(关西杰尼斯8单曲)
用微信扫码二维码
分享至好友和朋友圈
鱼羊发自凹非寺量子位|公众号QbitAI
苹果Transformer的“秘密”，让发烧友给扒出来了。
大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。
比如，在今年的WWDC上，苹果就已宣布，船新版本的iOS和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。
苹果官方没有透露更多信息，但技术爱好者们可坐不住了。
一位名叫JackCook的小哥，就把maCOSSonomabeta翻了个底朝天，结果，还真挖出不少新鲜信息：
更多细节，一起来看。
先来回顾一下苹果基于Transformer的语言模型能在iPhone、MacBook等设备上实现怎样的功能。
主要体现在输入法方面。语言模型加持下的苹果自带输入法，可以实现单词预测和纠错的功能。
JackCook小哥具体测试了一下，发现这个功能主要实现的是针对单个单词的预测。
模型有时也会预测即将出现的多个单词，但这仅限于句子语义十分明显的情况，比较类似于Gmail里的自动完成功能。
那么这个模型具体被装在了哪里？一通深入挖掘之后，Cook小哥确定：
我在/System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle中找到了预测文本模型。
进而，小哥根据unilm_joint_cpu中描述的网络结构，推测苹果模型是基于GPT-2架构打造的：
主要包含tokenembeddings、位置编码、解码器块和输出层，每个解码器块中都有类似gpt2_transformer_layer_3d这样的字眼。
根据每层大小，小哥还推测，苹果模型约有3400万参数，隐藏层大小是512。也就是说，它比GPT-2最小的版本还要小。
小哥认为，这主要是因为苹果想要一种不太耗电，但同时能够快速、频繁运行的模型。
而苹果官方在WWDC上的说法是，“每点击一个键，iPhone就会运行模型一次”。
不过，这也就意味着，这个文本预测模型并不能很好地完整续写句子或段落。
模型架构之外，Cook小哥还挖出了分词器（tokenizer）的相关信息。
他在unilm.bundle/sp.dat里发现了一组数量为15000的token，值得关注的是，其中包含100个emoji。
尽管此Cook非彼库克，小哥的博客文章一发出，还是吸引了不少关注。
基于他的发现，网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。
回到JackCook本人，他本科和硕士毕业于MIT的计算机专业，目前还在攻读牛津大学的互联网社会科学硕士学位。
此前，他曾在英伟达实习，专注于BERT等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。
相关资料：txt下载、doc下载、文章搜索、网址搜索、百度搜索、好搜搜索、搜狗搜索
本文链接：http://www.gpxz.com/article/79020fc70d5eb826d6f2.html
迈可优官方网站
56之家网是一个优秀的免费发布信息,免费发布信息网站等中小企业供求信息平台的网上贸易平台，汇集大量优秀的广大企业用户，海量的信息让您得到无限的商机，是网络推广必备的B2B电子商务平台！
家居建材网站排名,根据网站的综合值按照不同的家居建材网站进行筛选排名结果,通过筛选家居建材网站可以看到每个家居建材网站里面的网站排名优质的网站是哪些
分类信息网站排名,根据网站的综合值按照不同的分类信息网站进行筛选排名结果,通过筛选分类信息网站可以看到每个分类信息网站里面的网站排名优质的网站是哪些
-商贸-管理运营网址
徐小明_新浪博客,徐小明,徐小明：周四操作策略,徐小明：7月4日盘中即时直播,徐小明：继续等,徐小明：周三操作策略,徐小明：7月3日盘中即时直播,徐小明：指数分化,徐小明：周二操作策略,徐小明：7月2日盘中即时直播,徐小明：等钝化,徐小明：周一操作策略
广东天安消防:15992779977主要验收内容,总平面布局和平面布置中涉及消防安全的防火间距,消防车道,消防水源等;建筑的外墙保温材料类别和耐火等级;建筑防火防烟分区和建筑构造;安全疏散和消防电梯;消防给水和自动灭火系统;防烟;排烟和通风;空调系统;消防电源及其配电;火灾应急照明
豆果美食为华人美食菜谱社区，提供各种美食、菜谱大全、食谱大全、精选的家常菜谱大全，用户通过图文形式记录生活的点滴，社区每天产生数万次的笔记曝光，内容覆盖时尚、护肤、美食、旅行、影视、读书、健身等各个生活方式领域。与千万会员一同分享的人生！
周末游,推荐攻略,私家团,自驾游
安全风险管理产业互联网平台，深度贯彻“撮合交易、综合赋能、深度服务”的理念，致力于以“安责险”为纽带的社会化安全生产服务体系，使优质的第三方安全服务商与保险公司安责险事故预防业务深度匹配，并通过专业的安全风险管理师队伍、行业领先的智慧SaaS风控工具，实现企业“全生命周期”安全风险管理，有效筑牢企业安全生产根基，解决安全生产最后0.5公里难题。
江盟磁性科技成立于2003年香港九龙，专注于工字型电感编带,色环色码电感贴片编带,插件电感功率贴片色环,小尺寸大电流电感工型,高感量贴片电感CD,环形共模电感,磁环电感共模,贴片电感CD功率,立式扼流电感,磁珠串珠编带双胞胎等线圈产品的研发与生产，且通过ISO9001、ISO14001质量环境体系认证；产品广泛应用于网卡、路由器、交换机、MODEN、玩具、机顶盒、电源、通讯、照明以及小家电等行业，产品远销欧美、东南亚以及珠、长三角。
{{lay.base.description}}
形状方面，性能方面，1、依据查问太平洋汽车网显示，形状方面，普瑞维亚中东版外型时兴，线条流利，内饰繁复，性能丰盛，温馨性较高，而中规只是不时间断以前的形状，没有翻新，2、性能方面，普瑞维亚中东版的发起机是国外出口的最新版，性能好，而中规是国产的，性能差，丰田普瑞维亚怎样样啊新款丰田普瑞维亚，1、要说普瑞维亚如今的出名度和能见度，还不必...。
魅影是劳斯莱斯的跑车，幻影是劳斯莱斯的大型奢侈轿车，这两款车经常使用不同的发起机、不同的车身尺寸、不同的多少钱和不同的外观设计，幻影是苹果6.7升双涡轮增压v魅影驳回6.6升双涡轮增压发起机v12发起机，幻影发起机具有571马力和900牛米的最大扭矩，该发起机的最大功率转速为每分钟5000转，最大扭矩转速为每分钟1700转，该发起机装...。
如今是58同城是上市公司吗，是一家，上市公司在美国挂牌上市的谁知道乌鲁木齐58同城的客服电话啊58同城暂不提供客服电话，请经常使用在线客服以上消息通过网络安保认证，未经网络认证的结果或者存在虚伪、坑骗内容官方客服消息请点击，网络揭示您，为了保证您的人身财富安保，请审慎别离未经网络认证的客服电话...。
丰田威驰两厢多少钱是在711万左右，有一万左右活动1丰田威驰在同级别的车型中算是不错的，口碑性能都要优于同级车辆2外观犀利动感，极具共性，相比我的2014款威驰，外观愈加保守和锐利内饰则是繁复大气3丰田，元元，以拉萨市为例，目前该地没有什么活动假设全款购置的话，再加上商业险4950元，上牌费用500元，置办税，丰田威驰两厢车优缺陷1好...。
作为德国汽车制作业巨头欧宝个人旗下的中型轿车品牌，欧宝雅特自问世以来就备受生产者青眼，不只仰仗其杰出的外观设计，更是靠着持重的性能体现和极致的温馨奢侈体验，成为同级别车型中的佼佼者，而其三厢版本更是由于出众的空间性能以及完美的驾驶体验而备受关注，外观外型，大气的前脸，流利线条下的弧形车顶以及明显可见的线条感，都为欧宝雅特三厢的外观外型...。
18款速腾智能温馨1.6登录车机导航的方法是，1、18款速腾智能温馨1.6不允许安卓，用苹果数据线链接即可，2、18款速腾智能温馨1.6关上手机的蓝牙性能与车载导航系统的蓝牙性能，成功配对互联，在车载导航的界面上会显示自身的称号与配对明码，就可以登录车机导航了，2017款公众速腾1.6智能温馨型性能1.6L110马力L4发起机，6挡手...。
据边肖引见，许多车友对一些汽车疑问了解不多，他们在用车时经常会遇到一些小疑问，那么咱们就来看看双龙莱斯特是一款什么样的车型，和感兴味的好友一同看吧，说不定对你有协助，双龙莱斯特是双龙汽车的一款中型SUV，有两个版本，一个五座，一个七座，柴油版和汽油版，能源方面，双龙莱斯特推出了两款能源车型，区分搭载2.2T涡轮增压柴油发起机和2.0T...。
1、关上58同城，点击底部颁布；2、点击发职位找人才；3、输入要颁布的详细职位，点击职位；4、选用全职或许兼职；5、输入招聘消息，点击颁布即可，如何下载58同城招聘网要下载58同城招聘网的运行，可以返回手机的运行商店，如苹果AppStore或安卓各大运行商店，，搜查，58同城，或，58同城招聘，，找到对应的运行后点击下载并装置即可，以...。
1、首先关上并解锁手机，在手机桌面找到并点击<，设置>，配置，2、进入设置界面后，可依据团体需求点击无线局域网或蜂窝移动网络，启动网络衔接，3、衔接网络成功后，进入手机桌面找到并关上AppStore，4、进入AppStore界面后，点击右下角的搜查，5、而后进入搜查界面，在搜查框内输入网络客户端的文字内容，点击搜查，6、这时会...。
每种类型的音乐、视频、文件都会发生各种格局，格局之间的转换是无法防止的，咱们在经常使用文件的时刻，关于不同格局的操作十分不繁难，所以不缺格局转换工具，当天，我我给大家分享六款低劣的文件格局转换工具，宿愿能协助你极速实现格局转换，提高上班效率，01x媒体记载一个视频转换器，允许数十种视频格局，包含DVD，AVI，MP4，3GP，WMV，...。
以苹果7为例子，步骤一、手机关上苹果商店，如下图所示，步骤二、进入苹果商店界面，如下图所示，步骤三、搜查收费WIFI万能钥匙，点击下载，如下图所示，步骤四、下载好之后前往手机桌面点击APP即可，如下图所示，步骤五、如图所示，wifi万能钥匙在哪下载在菜单主界面找到，appstore，点击关上，点击进入该运行的首页，在下方的，搜查，中点...。
很道歉，但我不可生成HTML代码，以下是装置Mac苹果电脑版爱奇艺万能播放器的步骤，1.关上阅读器并访问爱奇艺官网网站，2.在网站上找到并点击，下载，按钮，理论会有一个专门用于Mac电脑的下载选项，3.确保你从官网网站下载，以确保你失掉的是正版软件，4.下载实现后，双击装置文件以启动装置程序，5.追随装置程序的批示启动装置，6.装置实...。
1、首先登陆网络，搜查输入法称号，比如搜查，网络输入法，2、其次点击下载，选用下载位置，3、而后装置即可，QQ是腾讯公司推出的一款基于互联网的即时通讯平台，允许在线聊天、即时传送语音、视频、在线，离线，传送文件等全方位基础通讯配置，iPhoneQQ输入法怎样装置iPhone装置QQ输入法手机上的输入法特意多，有系统自带的，也有第三方...。
△外地时期5月28日，美国前总统特朗普的，封口费，案庭审在曼哈顿刑事法庭启动，外地时期5月30日，担任美国前总统特朗普，封口费，案的陪审团成员作出判决，宣判特朗普在此案中的34项伪造商业记载的重罪指控所有成立，纽约州检察官指控，特朗普2016年竞选美国总统时期，委托科亨向艳星丹尼尔斯，本名斯蒂芬妮·克利福德，支付13万美元，封口费，，...。
兰博基尼sian是一款十分杰出的奢侈跑车，多少钱引见如下，1、该品牌共有2款系列6款车型，多少钱区间在298.00，458.00万元之间，外观方面，兰博基尼sian少量援用了之前概念车的设计元素，同时还启动了愈加保守的细节设计，例如尖利的车身线条，让它看起来更具进攻性，有着十分剧烈的运动感，2、在尺寸方面，兰博基尼sian的车身长度为...。
李雨晴妈妈是什么梗？最近肯定有很多小伙伴在网上见过这个梗，但是肯定有些不知道这个梗的小伙伴看到后一头雾水，完全不知道是什么意思。下面小编给大家带来李雨晴妈妈什么意思介绍，感兴趣的小伙伴们一起看看吧。李雨晴妈妈是什么梗【梗的出处】【李雨晴妈妈】这个梗出自抖音，一位自称是李雨晴妈妈的博主是一位家庭条件优越、颜值出众、身材姣好、打扮精致的
你好像有那个大病是什么意思？该梗出自抖音视频作者迷人的大反派，“你好像有那个大病”是他的口头禅。。今天小编就给大家带来了抖音短视频你好像有那个大病热梗含义出处分享，感兴趣的小伙伴一起看看吧。
