AndrejKarpathy：大模型有内存限制，这个妙招挺好用|速度|序列|token|karpathy
用微信扫码二维码
分享至好友和朋友圈
AndrejKarpathy用通俗易懂的语言介绍了speculativeexecution。
「如今，LLM（大语言模型）并不是单点突破的——而是需要多个重要组件有效协同工作的系统。Speculativedecoding是帮助我们从系统角度思考的一个很好的例子。」爱丁堡大学博士生符尧表示道。
人形机器人公司1XTechnologies的AI副总裁EricJang评价道：「Karpathy很好的解释了LLM的speculativeexecution。其他自回归模型可能会以类似的方式加速。连续（扩散）模型可能从K步中获益较少（可能在第1步后偏离猜测），但可以将其应用于VQ-latents的离散代码。」
看完上述评价，我们大概也了解了，Karpathy说的「Speculativeexecution」，这是优化技术的一类，采用这个技术的计算机系统会根据现有信息，利用空转时间提前执行一些将来可能用得上，也可能用不上的指令。如果指令执行完成后发现用不上，系统会抛弃计算结果，并回退执行期间造成的副作用（如缓存）。
为了让大家更好的理解Karpathy的内容。我们先介绍一下「Speculativedecoding」方法，对后续理解更加有益，其主要用于加速大模型的推理。据了解，GPT-4泄密报告也提到了OpenAI线上模型推理使用了它（不确定是否100%）。
关于「Speculativedecoding」，已有几篇重要文献可供参考，这也是Karpathy为了写这则推特所参考的论文，包括谷歌今年1月发表的论文《FastInferencefromTransformersviaSpeculativeDecoding》、DeepMind今年2月发表的论文《AcceleratingLargeLanguageModelDecodingwithSpeculativeSampling》，以及谷歌等机构2018年的论文《BlockwiseParallelDecodingforDeepAutoregressiveModels》。
简单来说，「Speculativedecoding」使用两个模型：一个是原始目标模型称为大模型，另一个是比原始模型小得多的近似模型称为小模型。主要思想是先让小模型提前解码多个token进行猜测，并将它们作为单个batch输入到一个大模型中进行审核修正，其效果和直接用大模型解码等价。如果小模型猜测的不准确，那么大型模型会放弃小模型预测的token，继续使用大型模型进行解码。
由于小模型计算量小，从而大大减少了内存访问需求。
介绍完「Speculativedecoding」，我们再回到Karpathy的推特。Karpathy是针对下面内容回复的。
Karpathy表示：对于LLM来说，「Speculativeexecution」是一种极好的推理—时间优化方法。
它取决于以下方面：在单个输入token上分发LLM所花费的时间与在批处理中分发K个输入token所花费的时间一样多。产生这样的原因是因为采样严重受内存限制：模型运行时的大部分工作不是在做计算，而是从VRAM读取transformer的权重到片上缓存进行处理。如果你要做的工作是来读取这些权值，你可以把它们应用到一整批输入向量上。
但是我们不能一次性采样一批K个token，因为每N个token都取决于我们在第N-1步采样的token。由于存在串行依赖性，因此基线实现只是从左到右逐一进行。
这种方法起作用的原因在于，很多「草稿」token都会被接受，因为它们很容易，所以即使是更小的草稿模型也能得到它们。当这些简单的token被接受时，我们会跳过这些部分。大模型不同意的hardtoken会回落到原始速度，但由于一些额外的工作，实际上速度会慢一些。
Karpathy表示，这个奇怪的技巧之所以有效，是因为LLM在推理时受到内存限制，在对单个序列进行采样的batchsize=1设置中，很大一部分本地LLM用例都属于这种情况。因为大多数token都很「简单」。
手机喵星进化论在线玩,喵星进化论h5游戏在线玩是一款玩法类似2048的休闲益智类合体消除h5游戏，很好玩的是，游戏画面十分有趣，音乐音效十分欢快，整体设置也是比较有爱的，休闲时间要找一款这样的游戏玩玩还是十分上瘾的。;您可以免费在线玩。
年度资料片“万灵当歌”今日公测！旗舰画质beta登陆正式服，全新门派“万灵山庄”同步上线！还有更多新资料片内容以及老秘境地图重制亮相，快来一起领略全新的大美江湖吧！
重庆市烟草专卖局（公司）成立于1983年，实行“统一领导、垂直管理、专卖专营”的烟草专卖管理体制。市局（公司）主要履行对国有资产经营、管理、监督；专卖执法、打假打私；负责卷烟营销、烟叶生产经营、物流配送；负责财务、人力资源、薪酬分配管理等职能。
鹰牌改造家是鹰牌集团旗下的整装局部改造品牌，专注服务老社区旧改翻新和新社区精装优化，实现48小时环保焕新交付，解决旧改翻新时间长、噪音大、污染重等问题，让装修变得更简单、更环保、更省心，即装即住焕新家，全方位打造理想的健康人居环境。
名人百科平台版权服务中心，为全国工艺美术领域从业者提供作品版权登记、维护、维权的服务平台。无论你是演员、国画、油画、书法、诗歌艺术家还是剪纸、石木玉雕、核雕、陶艺、瓷器手艺人这里尽情为你推广服务。
SAWTX锯天下专注带锯条29年，差异化服务1000多家中外优质企业，直供双金属带锯条，硬质合金锯条，金钢石锯条...
立友脱水筛厂家为你说明一下脱水筛和直线筛其实就是一种脱水筛机,扩展名有振动脱水筛,泥浆脱水筛,尾矿脱水筛,矿用脱水筛,高频振动脱水筛.请致电13782587121了解脱水筛价格.
天资整形网uisweb.com是一个为您量身定做的医美管家型网站。天资整形网加大微整形知识普及力度，紧跟时代步伐，更新热门美容资讯，让您的美丽与时俱进；另外邀请医美专家提供一对一的问答，有针对化的给予整形建议，让您的漂亮与众不同！
广州冠浩机械专业液体灌装机有限公司,专业生产各种全自动液体灌装机,半自动液体灌装机,是广东知名液体灌装机生产厂家.专业液体灌装机网站,给您展示最新最详细的液体灌装机信息.
实力定制厂家[齐荣煊]专注设计,研发定制及销售纱线,纺纱,色纺纱,混纺纱,棉纱线,特种纱线,竹节纱,段染纱,段彩纱,彩点纱,ab纱,本着“让特种纱线定制化快捷简单”的经营理念,1对1量身定制,20分钟快捷检测分析并报价.定制热线电话:0571-8211672717867859495
科大讯飞推出的移动互联网智能交互平台，为开发者免费提供：涵盖语音能力增强型SDK，一站式人机智能语音交互解决方案，专业全面的移动应用分析；
格润智能装备（深圳）有限公司.点胶机自动点胶机厂家，提供全自动焊锡机,AOI检测设备与品牌.格润智能成立于2006年，是专注于自动化装联和半导体设备的国家高新技术企业。秉承着“助力智能制造、振兴民族品牌”的使命和“让中国制造享誉世界”的愿景，格润智能布局了3C电子、新能源、半导体三大领域。
来看这速度！潘展乐从第7追到了第2北京期间8月2日，巴黎奥运会男女4×100米混合泳接力预赛，徐嘉余、唐钱婷、张雨霏、潘展乐联手游出3分42秒26，排名预赛第3，晋级决赛，潘展乐体现优秀，从第7追到了第2，本场预赛，中国队与劲旅美国队一同在第二组出场，第一棒仰泳由此前夺得女子100米仰泳银牌的徐嘉余负责，他最终以第三名交棒，尔后两棒，...。
游出中国速度，，中国飞鱼，勇闯泳坛！潘展乐的100米自在泳冠军含金量有多高，全环球的游泳静止员都在应战一个指标，游得更快！而被称为泳池中的，百米飞人大战，的100米自在泳，就是最能表现人类可以游得多快的名目，1896年，来自匈牙利的豪约什·奥尔弗雷德以1分22秒02的效果，摘下了现代奥运会历史上首枚女子百米自在泳金牌，其后降生的27块...。
[文，观察者网刘程辉]随着国常会核准五个核电名目，中国核电树立进入新一轮减速期，为什么中国核电机组老本低于法国，法新社8月25日以此为题刊文说，得益于日益成熟的工业和取得优先投资的时机，中国正继续以环球上无可比较的速度开展核电，而中国的这两大长处，恰是法国目前开展核电所不足的，在这样的状况下，，国度声援疑问是欧洲核工业未来的外围，...。
据俄罗斯，生意人报，网站8月6日报道，中国，磁悬浮列车提速不含混，报道说，中国成功测试了，高速飞车，，它相似于埃隆·马斯克设想的，超级环，名目，据报道，这种超高速客运列车在2公里长的低真空管道中启动实验，这一列车的指标速度为每小时1000公里，它比民航飞机更快，被称作超高速低真空管道磁浮交通系统，它不与低空轨道接触，而是经过列车自身...。
央视资讯客户端信息，资讯联播，往年是西部陆海新通道总体布局实施五周年，海关最新数据显示，往年1—10月，全国经西部陆海新通道进进口1.15万亿元，同比增长8.8%，西部陆海新通道外贸继续发力，据统计，五年来，西部陆海新通道已构成铁海联运、国内铁路联运、跨境公路班车三种运输模式，由重庆起始，向南经广西、云南等沿海沿边口岸通达世界120...。
全体拍卖，北京180栋别墅七折拍卖，起拍价14.11亿元，涉泰禾团体19亿元债务2024，11，1208，59，52小杨历史内蒙古投诉0分享至0，00，0，00速度洗脑循环Error，Hlsisnotsupported.视频加载失败申明，取材网络、审慎甄别小......。
这种人的完成带给年轻人的启发是什么假设学历高攀不能完成了，假设出身低微就不能完成了，那上海要启发什么谋开展，大专院校调配那会儿，上海作为过后最强经济市辨别的毕业生也不少吧，更南的深圳渔村能调配到多少，而深圳的开展速度不如上海了，杨逾越，初中学历，是有点低，但在明星这块，高学历能有几成，既然初中生能成为企业家谋得完成，那杨不因自己学历高...。
译自，simpleflying波音公司的ecoDemonstrator，环保验证机，方案经过将有后劲的技术从实验室中带出并启动空中测试来处置航空公司，乘客和环境面对的的理想应战，从而放慢翻新速度，每年经常使用一架不同的飞机作为航行实验平台，以评价可改善整个航空生态系统的名目，名目范围从提高安保性，缩小燃料经常使用，排放和噪音的技术到使...。
阶跃星辰生图模型上线，国风意境绝美，隐藏咒语曝光！,古风,文生,生图,国风,陶渊明,大模型,阶跃星辰
独家对话生成式AI之父：中国将在几年内缩小差距,中国,胡贝尔,施密德,机器人,大模型,人工智能,ai之父,独家对话生成式
7月15日晚接到的一笔订单，抵达上车点后期待超时后再次期待近三分钟，男的才看着我的车走两步停一步晃晃悠悠的上来，由于下雨，我也是出于善意多等了会，要不然早给敞开了，上车后我就掉头，我一贯掉头速度快，难道还一点点晃晃悠悠掉吗，别的车辆不得急死，乘客就认为我激恼了，还问我如同没等多久吧，我回复你超时三分钟，乘客倒激恼了，口吐脏话，骂人，搞...。
2021，03，04退款连着定金一同退2021，03，04别听潭州瞎忽悠2021，03，01不要被洗脑，不要被满腔热血的劲头冲昏了头脑，他们最快的速度就是发给你付款码的速度，2021，02，18一切能咨询潭州的人都咨询上不要听他们没有权限的鬼话！2021，02，07基本就是给你洗脑，诱导你去交钱，说这好那好，说到退款的疑问，就各种转移...。
前夫醉酒打我，六岁儿子也拿板凳一起打我，当时我就决定不要他了,晚晚,一心,林青,许欢,前夫,醉酒,板凳,小太阳,好儿子
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
野花txt选集小说附件已上行到网络网盘，点击收费下载，野花曾通过网络安保检测，安心下载野花电子书txt选集下载野花txt选集小说附件已上行到网络网盘，点击收费下载，野花曾通过网络安保检测，安心下载风险爱变革不乖野花电子书txt选集下载风险爱变革不乖野花txt选集小说附件已上行到网络网盘，点击收费下载，风险爱变革不乖野花曾通过网络安保检...。
宝马x3提价2023宝马x3还会提价，有着许多车企都在启动让利活动中，目标是为了考查各品牌在外地的活动政策与行情信息，2022款宝马X3车型，目前该车在外地的活动高达4.4万开售，裸车价低至34.88万起，宝马x3三十万能落地吗宝马2020款xDrive25i奢侈套服官网网参考价38.9八万元，现阶段广州地域最大3.5六万的减价特惠，...。
操作步骤如下，1、关上车辆的后备箱，找到刹车灯的后盖，后盖位于后备箱内侧，接近刹车灯的位置，2、经常使用螺丝刀或扳手等工具，拧下后盖上的螺丝或固定螺母，螺丝或螺母是顺时针方向拧紧的，3、拆下后盖后，将看到刹车灯的插座衔接器，微微按下衔接器上的卡扣或按键，解锁衔接器，4、解锁衔接器后，可以小心肠将衔接器从刹车灯上插入，5、可以微微扭动或...。
