揭秘iPhone里的Transformer：基于GPT-2架构|MIT校友出品|苹果|唱片|mit|ios|古典乐|安全密钥|macos|蒂姆·库克|iphone|ER(关西杰尼斯8单曲)
用微信扫码二维码
iphone里的Transformer">分享至好友和朋友圈
鱼羊发自凹非寺量子位|公众号QbitAI
苹果Transformer的“秘密”，让发烧友给扒出来了。
大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。
比如，在今年的WWDC上，苹果就已宣布，船新版本的iOS和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。
苹果官方没有透露更多信息，但技术爱好者们可坐不住了。
一位名叫JackCook的小哥，就把macOSSonomabeta翻了个底朝天，结果，还真挖出不少新鲜信息：
更多细节，一起来看。
先来回顾一下苹果基于Transformer的语言模型能在iPhone、MacBook等设备上实现怎样的功能。
主要体现在输入法方面。语言模型加持下的苹果自带输入法，可以实现单词预测和纠错的功能。
JackCook小哥具体测试了一下，发现这个功能主要实现的是针对单个单词的预测。
模型有时也会预测即将出现的多个单词，但这仅限于句子语义十分明显的情况，比较类似于Gmail里的自动完成功能。
那么这个模型具体被装在了哪里？一通深入挖掘之后，Cook小哥确定：
我在/System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle中找到了预测文本模型。
进而，小哥根据unilm_joint_cpu中描述的网络结构，推测苹果模型是基于gpt-2架构打造的：
主要包含tokenembeddings、位置编码、解码器块和输出层，每个解码器块中都有类似gpt2_transformer_layer_3d这样的字眼。
根据每层大小，小哥还推测，苹果模型约有3400万参数，隐藏层大小是512。也就是说，它比GPT-2最小的版本还要小。
小哥认为，这主要是因为苹果想要一种不太耗电，但同时能够快速、频繁运行的模型。
而苹果官方在WWDC上的说法是，“每点击一个键，iPhone就会运行模型一次”。
不过，这也就意味着，这个文本预测模型并不能很好地完整续写句子或段落。
模型架构之外，Cook小哥还挖出了分词器（tokenizer）的相关信息。
他在unilm.bundle/sp.dat里发现了一组数量为15000的token，值得关注的是，其中包含100个emoji。
尽管此Cook非彼库克，小哥的博客文章一发出，还是吸引了不少关注。
基于他的发现，网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。
回到JackCook本人，他本科和硕士毕业于MIT的计算机专业，目前还在攻读牛津大学的互联网社会科学硕士学位。
此前，他曾在英伟达实习，专注于BERT等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。
WifiSmartControl,无线智控,wifiautogate,深圳市蓝创达科技有限公司,wifialarm,WIFI自动门，WIFI防盗系统，定制开发，研发设计红外对射工厂，多制式报警主机，被动红外探头，电子围栏
深圳市德航智能技术有限公司是一家专业从事工业平板电脑、工控一体机、三防平板电脑、加固手持平板、防爆平板、车载平板、医疗平板、工业嵌入式工控机、网络整机、嵌入式工业主板、高等级加固计算机等产品的研发、生产、销售为一体的高新技术企业也获得国军标武器装备科研生产单位认证.
优品体育全方位为您提供欧洲杯、nba、五大联赛等最新体育资讯。
山东筑立建材工程有限公司，混凝土、玻璃钢化粪池，蓄水池厂家，消防水池厂
星空体育·（中国）官方网站_StarSkySports简称“星空体育”是亚洲顶级的在线游戏平台，星空体育平台官网面向全世界平台、登录、网站、网址、娱乐。选择星空体育，体验前所未有的体育盛宴。
山东天岳管业有限公司是专业的PERT地暖管生产厂家，我们地暖管厂生产的pert地暖管价格价格合理，欢迎来地暖工厂考察参观。
krramel棵沐,沐浴花,速干帽,
为极限金商的所有用户提供一个问题反馈，帮助指导，软件相关知识获取的窗口-PoweredbyJosunsoft
台州市黄岩奥杰模塑股份有限公司
北斗环保炭化机可通过环保检测,炭化机,垃圾炭化机,木材炭化机,果壳炭化机,该产品可将麻杆,木屑,锯末,稻壳,果壳,竹子,椰壳,生活垃圾等物料充分(碳)炭化,订购炭化机请拨打:13015519788,15039062088
中云数赢
武汉鑫瑞威玻璃钢制品有限公司_玻璃纤维_玻璃钢制品武汉鑫瑞威玻璃钢制品有限公司，年产玻璃纤维2500吨、玻璃钢制品300吨。技术力量雄厚，拥有高、中级职称的技术人员十余人，玻璃钢作为一种结构材料，由于它有许多优异性能，如：轻质、高强度、耐短时高温、良好的绝缘性能和介电性能以及透微波、耐腐蚀、易成型等特点，经过多年来的应用、推广、发展，日前已逐渐进入常规材料的领域。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为Rakuten广告联盟，日本，专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在Rakuten广告...。
用料熟面粉1000g怡糖200g白糖200g花生芝麻碎适量食用油少许龙须酥龙须糖教程做法制作方法的做法花生糖怎么做材料花生，白糖，芝麻做法1.把花生微波烤熟，也可以炒熟，去皮压碎，2.锅内加入白糖用水化开，熬至微黄起大泡，3.把碎花生和芝麻倒入，用筷子快速搅匀，倒在之前涮上油的盘中压平，4.晾凉后即可食用，最好冷藏更脆，小诀窍熬糖时感...。
12月11日，泡泡玛特，上市首日收涨79.22%，股价开盘翻倍，市值超1100亿港元，这背后得益于三个因素，年轻人、IP以及盲盒，泡泡玛特以年轻化产品以及表达方式，获得了年轻人的关注和喜爱，并成功出圈，范围扩大至新消费市场，近年来，随着消费场景及内外部环境的转变，，年轻化，成为各大品牌绕不开的话题，大家都在寻求更符合当代用户习惯的产...。
陪陪，是由深圳市土人科技有限公司开发的一款社交类手机软件，有iOS和安卓两个版本，在各大应用市场均已上线，基本参数大小，21.8MB支持系统，Android，iOS收费形式，免费行业，社交基本简介陪陪，是一款陌生人情感陪护交友APP，扩展资料，软件功能角色设定，双方角色自行编辑；搜索爱豆，输入爱豆名称，即可找到TA；互动聊天，发给爱豆...。
中国风力资源十分丰富，根据国家气象局的资料，我国离地10米高的风能资源总储量约32.26亿千瓦，其中可开发和利用的陆地上风能储量有2.53亿kW，50米高度的风能资源比10米高度多1倍，约为5亿多kW，近海可开发和利用的风能储量有7.5亿kW，我国风能资源的分布与天气气候背景有着非常密切的关系，从我国风能资源分布图上可以清楚看出，我国...。
意大利汽车生产集中分布在北部地区的原因主要是该地区具备更有利的工业基础、交通网络、经济条件和人力资源，首先，从工业基础的角度来看，意大利北部地区，尤其是都灵、米兰等城市，拥有悠久的工业历史和强大的制造业实力，这些地区早在工业革命时期就开始发展重工业，包括汽车制造，因此，这里的汽车产业链相对完善，从零部件供应到整车生产，再到销售和售后服...。
陪陪，是由深圳市土人科技有限公司开发的一款社交类手机软件，有iOS和安卓两个版本，在各大应用市场均已上线，基本参数大小，21.8MB支持系统，Android，iOS收费形式，免费行业，社交基本简介陪陪，是一款陌生人情感陪护交友APP，扩展资料，软件功能角色设定，双方角色自行编辑；搜索爱豆，输入爱豆名称，即可找到TA；互动聊天，发给爱豆...。
上海久多文化传播有限公司昆山花桥分公司是2016，11，16在江苏省注册成立的有限责任公司分公司，注册地址位于昆山市花桥镇花安路169号中寰广场1025、1031号房，上海久多文化传播有限公司昆山花桥分公司的统一社会信用代码，注册号是MA1N028KXC，企业法人钱凯，目前企业处于开业状态，上海久多文化传播有限公司昆山花桥分公司的经营...。
国内年轻人的十大潮牌包括，Supreme、BAPE、STAGE、CLOT、NICISCOMING、CRZ、Subcrew、TheThing、态度和Palace，以下是各品牌的简介，1.STAGESTAGE，全称为StageHyalineofWorld，世界透明的舞台，，成立于2006年，该品牌以创新和突破性的原创理念为核心，致力于潮流...。
陪陪，是由深圳市土人科技有限公司开发的一款社交类手机软件，有iOS和安卓两个版本，在各大应用市场均已上线，基本参数大小，21.8MB支持系统，Android，iOS收费形式，免费行业，社交基本简介陪陪，是一款陌生人情感陪护交友APP，扩展资料，软件功能角色设定，双方角色自行编辑；搜索爱豆，输入爱豆名称，即可找到TA；互动聊天，发给爱豆...。
主料，柠檬2个、白砂糖200克，调料，水100毫升，做法步骤，1、柠檬一个对半切，2、将柠檬汁挤出，3、白砂糖200克，水100ml，中火煮至糖溶化，4、将柠檬汁倒入，小火慢熬45分钟，5、放凉后密封即可，怎么熬红糖小火加热把糖倒入此外什么都不加用铲子搅拌放置一会儿糖变色可能会冒小泡泡或者像是一片沫一样然后再翻炒几下关火我看过我爸爸这...。
陪陪，是由深圳市土人科技有限公司开发的一款社交类手机软件，有iOS和安卓两个版本，在各大应用市场均已上线，基本参数大小，21.8MB支持系统，Android，iOS收费形式，免费行业，社交基本简介陪陪，是一款陌生人情感陪护交友APP，扩展资料，软件功能角色设定，双方角色自行编辑；搜索爱豆，输入爱豆名称，即可找到TA；互动聊天，发给爱豆...。
外地期间11月6日下午，美国现任副总统、独裁党总统候选人哈里斯在华盛顿特区的霍华德大学宣布讲话，哈里斯示意，她接受输掉选举的结果，并将协助特朗遍及其团队以敌对的模式实现权势交接，当日早些时刻，哈里斯与特朗个别话，祝贺其胜选，央视记者曹健，此前报道哈里斯与特朗个别话祝贺其胜选，央视资讯，外地期间11月6日，美国现任副总统、独裁党总统候...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
外地期间14日，以色列国防军颁布通报称，以军和以色列安保局，辛贝特，依据关系情报，判定一所位于加沙中部努赛赖特难民营中的联结国近东巴勒斯坦难民救援和工程处的学校，被武装人员作为藏身和发起对以袭击的据点，因此对该学校发起空袭，以军称其经常使用了准确制导导弹等增加对平民损伤的措施，...。
导读，经常会听到老人会念叨，金木水火土，，其实这个就是所谓的五行，这是依据每团体的出世时候推算而来的，有的缺土，有的缺水，而有的缺金，关于五行缺失不同的孩子来说，咱们取名决定的字也会不同，由于每个字的五行也不同，因此驳回相对属性的字取名刚好可以补偿五行缺失的无余，那你知道五行属木的字1000个有哪些吗?上方就一同来看看这五行中属木的字...。
可以经过电视机、官方网站、移动端APP或在线直播平台看CCTV5，1、电视机假设有电视机，可以间接在CCTV5频道上观看直播，须要购置一台允许接纳卫星电视信号的卫星机顶盒，并订阅相应的卫星电视服务，2、官方网站可以在CCTV官方网站，上观看CCTV5的直播，在网站首页点击，直播，按钮，选用CCTV5频道即可观看，3、移动端APP可以...。
