AndrejKarpathy：大模型有内存限制，这个妙招挺好用|速度|序列|token|karpathy
用微信扫码二维码
分享至好友和朋友圈
AndrejKarpathy用通俗易懂的语言介绍了speculativeexecution。
「如今，LLM（大语言模型）并不是单点突破的——而是需要多个重要组件有效协同工作的系统。Speculativedecoding是帮助我们从系统角度思考的一个很好的例子。」爱丁堡大学博士生符尧表示道。
人形机器人公司1XTechnologies的AI副总裁EricJang评价道：「Karpathy很好的解释了LLM的speculativeexecution。其他自回归模型可能会以类似的方式加速。连续（扩散）模型可能从K步中获益较少（可能在第1步后偏离猜测），但可以将其应用于VQ-latents的离散代码。」
看完上述评价，我们大概也了解了，Karpathy说的「Speculativeexecution」，这是优化技术的一类，采用这个技术的计算机系统会根据现有信息，利用空转时间提前执行一些将来可能用得上，也可能用不上的指令。如果指令执行完成后发现用不上，系统会抛弃计算结果，并回退执行期间造成的副作用（如缓存）。
为了让大家更好的理解Karpathy的内容。我们先介绍一下「Speculativedecoding」方法，对后续理解更加有益，其主要用于加速大模型的推理。据了解，GPT-4泄密报告也提到了OpenAI线上模型推理使用了它（不确定是否100%）。
关于「Speculativedecoding」，已有几篇重要文献可供参考，这也是Karpathy为了写这则推特所参考的论文，包括谷歌今年1月发表的论文《FastInferencefromTransformersviaSpeculativeDecoding》、DeepMind今年2月发表的论文《AcceleratingLargELAnguageModelDecodingwithSpeculativeSampling》，以及谷歌等机构2018年的论文《BlockwiseParallelDecodingforDeepAutoregressiveModels》。
简单来说，「Speculativedecoding」使用两个模型：一个是原始目标模型称为大模型，另一个是比原始模型小得多的近似模型称为小模型。主要思想是先让小模型提前解码多个token进行猜测，并将它们作为单个batch输入到一个大模型中进行审核修正，其效果和直接用大模型解码等价。如果小模型猜测的不准确，那么大型模型会放弃小模型预测的token，继续使用大型模型进行解码。
由于小模型计算量小，从而大大减少了内存访问需求。
介绍完「Speculativedecoding」，我们再回到Karpathy的推特。Karpathy是针对下面内容回复的。
Karpathy表示：对于LLM来说，「Speculativeexecution」是一种极好的推理—时间优化方法。
它取决于以下方面：在单个输入token上分发LLM所花费的时间与在批处理中分发K个输入token所花费的时间一样多。产生这样的原因是因为采样严重受内存限制：模型运行时的大部分工作不是在做计算，而是从VRAM读取transformer的权重到片上缓存进行处理。如果你要做的工作是来读取这些权值，你可以把它们应用到一整批输入向量上。
但是我们不能一次性采样一批K个token，因为每N个token都取决于我们在第N-1步采样的token。由于存在串行依赖性，因此基线实现只是从左到右逐一进行。
这种方法起作用的原因在于，很多「草稿」token都会被接受，因为它们很容易，所以即使是更小的草稿模型也能得到它们。当这些简单的token被接受时，我们会跳过这些部分。大模型不同意的hardtoken会回落到原始速度，但由于一些额外的工作，实际上速度会慢一些。
Karpathy表示，这个奇怪的技巧之所以有效，是因为LLM在推理时受到内存限制，在对单个序列进行采样的batchsize=1设置中，很大一部分本地LLM用例都属于这种情况。因为大多数token都很「简单」。
南京鼓楼医院
-文学-小说下载网址
梦之江门窗五金公司致力于各种门窗五金系统的研发与制造，产品涵盖了塑钢推拉门窗配件系列，塑钢平开门窗配件系列，塑钢平开上悬门窗配件系列，铝合金平开门窗配件系列，铝合金平开上悬门窗配件系列等。
乐斯化学有限公司现拥有染料、农药和医药三大产业.
巴格蒂雅（上海）文化发展有限公司是土库曼斯坦“BagtyyarDostlar”旅游公司（注册商标“Trawelco”）在中国的分部，专注为境内外游客提供土库曼斯坦旅游邀请函申请，签证办理，酒店预订，机票预订，接机，租车，经验丰富的导游和翻译等一条龙服务，为您的旅途提供安全，专业，细致，周到，温馨的全方位服务。
新氧是一款高人气医美整形网站和手机App，为你推荐地区的整形项目、整容机构、整形医生，在这还有海量整形美容日记，专业医美先搜新氧
中国人民大学文化科技园孵化器-企业信息管理平台
中山医科大学《家庭医生》健康中心有限公司,业务包括有健康管理服务,综合养老管理服务,健康随行,健康有约,健康大讲堂等。
颂量国际验证码是一家专业的国际短信平台,为企业提供国际短信、国际语音、邮件群发等服务,业务范围覆盖全球,99.99%高到达率，致力于为客户提供优质的短信接口,短信通道,企业短信接口等服务。
赵氏农牧是一家高速成长企业。是国家大力鼓励的新技术创新朝阳行业。以公司平台化，客户利益最大化的发展思路，快速增长。公司成立20个销售部，企业年销售以同期30%的速度连年递增。 2019年公司通过以技术创新为先导的自主研创模式，深度开发，迭代创新妙靓新型多元调水剂。
eve手游网为广大用户提供各种类型的手机软件、手机游戏下载，在这里你可以看到新鲜的手游资讯第一时间了解到游戏动态，同时还有精品攻略、手机教程等，为玩家提供丰富多彩的游戏体验。
layuimini基于layui的轻量级前端后台管理框架，最简洁、易用的后台框架模板，面向所有层次的前后端程序,只需提供一个接口就直接初始化整个框架，无需复杂操作。
火锅餐品有着庞大的受众群体，其多年来一直保持着较高的市场热度，各地每年新开的火锅店更是数不胜数，在一众火锅店品牌中，季季红火锅凭借矫矫不群的优势出现在大众视野中，这不禁引起业内外人士的广泛关注，慕名前往品牌店用餐的顾客人数源源不断，公司销售额以较快的速度增长着，为向各位读者推荐该项目，本文将就季季红火锅加盟费多少的话题进行解答，给有需...。
广大市民在日常的生活中使用到的电子产品越来越多，大大小小的电子产品丛出不穷，款式不一、功能不一的电子产品为消费者带来不一样的使用体验，让人们的工作和学习变得更加快捷，颇受当下消费者的喜爱，从而也加速电子加工厂行业的发展速度，不少创业者发现该行业中存在的巨大发展空间，想要从中大赚一笔，但是不知道电子加工厂加盟费是多少，下文中小编为大家介...。
烧烤是人们意识中，十分诱人的美食，具有麻辣劲爽的口感，男女老少都爱吃，近年来，餐饮行业发展速度加快，也推动的烧烤行业的发展速度，很多品牌不断的出现，其中串意十足烧烤店非常的受欢迎，因为店内的产品种类齐全，而且味道很好，所以受到无数消费者的追捧，也提升品牌的发展速度，很多创业者看到这个项目的市场前景，所以想要在加盟之前，清楚的了解串意十...。
米粉作为经典的小吃类型，凭借着实惠的价格、快捷的出餐速度，在市场中始终保持着很高的销量，让不少的创业者看到了其中的商机，黎江村桂林米粉是行业中有名的品牌，专注于为消费者们提供新鲜制作的米粉，凭借着不错的米粉风味俘获了众多吃货的芳心，成为了加盟商所关注的品牌，那么加盟黎江村桂林米粉好不好，加盟费多少，加盟黎江村桂林米粉好不好，加盟黎江村...。
鞋包加盟市场如何，相关资料显示，我国2010年人均鞋类消费超过2.5双，是世界很大的鞋类消费国，而美国每年鞋类零售额约600亿美元，消费者每年共购买22亿多双鞋子，即平均每人约7双，与之相比，中国鞋类消费市场潜力巨大，现在，中国包饰消费每年以33%的速度递增，在2005年，创造的产值高达2300多个亿，而2006年中国消化掉了126亿...。
加盟炸鸡行业是一个很有市场的创业项目，在大陆的市场上炸鸡产品十分的畅销，庞大的市场消费群体加速炸鸡行业发展的速度，于是成为一个全新的致富商机，市面上炸鸡店品牌数不胜数，每个品牌在产品味道、产品工艺、价格档次等各方面都有很大的差距，相同之处是每家炸鸡店的生意都十分红火，炸鸡叔叔炸鸡作为行业内具有代表性的品牌，每年的业绩一直都比较稳定，是...。
快递行业是当下比较火热的创业项目，不管是城市地区，还是农村地区，都可以见到快递站的身影，足以可见其发展速度，对于创业者来说，经营快递分店，还是有许多准备工作要做的，下面就先来看看，怎样在农村开快递分店，无论在哪里选择经营快递分店，都要做好当地的市场考察工作，尤其是农村地区，经济发展水平有限，人们的需求也不及一二线大城市，交通也会受到一...。
药店在现在市场上发展速度越来越快，多种药品系列，品质保真，满足不同人群的药品需求，随着人们健康养生意识越来越强烈，对药品的需求量是越来越大，因此也就带动药房在市场上的发展，百草堂拥有多年发展经验，线上购药，线下配送的服务模式，赢得了人们的认可与信赖，那么加盟百草堂需要多大的门店，加盟百草堂需要多大的门店公司从推出市场以来，以丰富产品，...。
眼部护理对于现在很多家庭孩子或者年轻人来说都有很大的需求，也在市场不断的增加品牌，让创业者选择空间更大，也有很好的发展前景，眼部护理加盟品牌，儿童眼部护理加盟品牌有哪些，下面就给大家推荐几个不错品牌，公司自从创办以来，在短短的时间内发展速度很快，能够把产品质量作为自己的研究根本，推出更多新的产品，满足人们对视力的需求，公司能够给顾客提...。
重庆文具加盟店近些年的发展速度令人惊叹，在行业的高速扩张下，涌现了不少年轻的创业者，他们纷纷踏入这个行业，想要以此分得一杯羹，但是，大部分人又不知道将店开在哪里才有生意，今天就跟着万朗商业彩萱文具店一起来了解一下，究竟文具店开在哪些位置才能生意好，重庆开文具店选址要考虑哪些因素，有3个选址因素首先，要有稳定且人流量大的目标消费群体，比...。
茶文化对于影响是深远的，虽然在新时代曾经到来之际，遇到过市场经济寒冬，但是随着相关政策推行，茶吧的同比增长率在不断的提高，发展趋势合格，有利于各个创业者跻身于茶吧加盟经营中去，在利好的政策下，开个休闲茶吧怎么样，随着茶文化的推行，休闲茶吧的发展速度也愈来愈快，那现在开设一家休闲茶吧怎么样，其实决定休闲茶吧发展前景的与好几个因素挂钩，政...。
手机作为主流的电子通讯产品，随着社会整体经济水平的飞速发展，现已成为人手必备的重要工具，市场需求较为旺盛，而其更新速度也令人咋舌，有不少年轻群体都成为高新技术产品的实力拥护者，力求追求时下较为新颖的手机产品，这势必会造成二手机的泛滥，因而有利推动了旧手机行业的旺盛发展，不少有长远眼光的创业者都将目光转移到该行业，希望借此实现事业抱负，...。
有部了不起的英国纪录片，一个导演可能是想验证在英国社会阶级是很难逾越的——富人的孩子依然是富人，穷人的孩子依然是穷人，于是他选择了14个不同阶层的孩子进行跟踪拍摄，每七年记录一次，从7岁开始，14岁，21岁，28岁，35岁，42岁，49岁，一直到56岁，几十年过去，还是那个导演——从青年到老年，还是那群人——从儿童到老年，2012年，...。
钻研元宇宙营销，虚构人，AR，VR，内容生产趋向、短视频、营销技术，游戏，泛资讯，美国流媒体及影视为企业开展探求方向，建设行业内的思维指导力联结传媒类院校、行业相关、党媒独特展开研讨、优惠等...。
中储粮旗下食用油品牌金鼎的淘宝和京东旗舰店已下架关系产品，7月9日半夜，记者发现，在京东APP，以金鼎、金鼎食用油等为主要词搜查，已不可搜查到金鼎官网旗舰店或自营旗舰店消息，也没有其余店铺在售消息，记者经过上午的阅读记载可以看到，多款食用油产品显示下架或无货，进入金鼎食用油旗舰店商品页面仅显示一款无货的食用油，在淘宝APP，以金鼎、金...。
1、十一去北京要办进京证吗当地车限行吗国庆节前去北京的游客必需会有十分多，基本上国庆节是不限行的，然而大家知道是北京机动车不限行，当地车去北京会有限行吗?上方就是关系的信息，大家可以参考，当地车限行吗国庆节时期北京机动车不限行，不限号，依据规则，9月27日、10月1日至8日、10月10日，本市机动车，不受任务日高峰时段区域限行交通治理...。
你都说PS图了，当然是Photoshop了，PS就是这个软件的缩写photoshop的软件有哪些哦?上方这个网址有photoshop视频教程，上方这个网址有photoshop下载，宿愿对你有协助，如今最晦涩的photoshop软件就叫，photoshopCS3.还有photoshop7.0，8.0，9.0，10.0之类的，你要学就把握...。
