AndrejKarpathy：大模型有内存限制，这个妙招挺好用|速度|序列|token|karpathy
用微信扫码二维码
分享至好友和朋友圈
AndrejKarpathy用通俗易懂的语言介绍了speculativeexecution。
「如今，LLM（大语言模型）并不是单点突破的——而是需要多个重要组件有效协同工作的系统。Speculativedecoding是帮助我们从系统角度思考的一个很好的例子。」爱丁堡大学博士生符尧表示道。
人形机器人公司1XTechnologies的AI副总裁EricJang评价道：「Karpathy很好的解释了LLM的speculativeexecution。其他自回归模型可能会以类似的方式加速。连续（扩散）模型可能从K步中获益较少（可能在第1步后偏离猜测），但可以将其应用于VQ-latents的离散代码。」
看完上述评价，我们大概也了解了，Karpathy说的「Speculativeexecution」，这是优化技术的一类，采用这个技术的计算机系统会根据现有信息，利用空转时间提前执行一些将来可能用得上，也可能用不上的指令。如果指令执行完成后发现用不上，系统会抛弃计算结果，并回退执行期间造成的副作用（如缓存）。
为了让大家更好的理解Karpathy的内容。我们先介绍一下「Speculativedecoding」方法，对后续理解更加有益，其主要用于加速大模型的推理。据了解，GPT-4泄密报告也提到了OpenAI线上模型推理使用了它（不确定是否100%）。
关于「Speculativedecoding」，已有几篇重要文献可供参考，这也是Karpathy为了写这则推特所参考的论文，包括谷歌今年1月发表的论文《FastInferencefromTransformersviaSpeculativeDecoding》、DeepMind今年2月发表的论文《AcceleratingLargELAnguageModelDecodingwithSpeculativeSampling》，以及谷歌等机构2018年的论文《BlockwiseParallelDecodingforDeepAutoregressiveModels》。
简单来说，「Speculativedecoding」使用两个模型：一个是原始目标模型称为大模型，另一个是比原始模型小得多的近似模型称为小模型。主要思想是先让小模型提前解码多个token进行猜测，并将它们作为单个batch输入到一个大模型中进行审核修正，其效果和直接用大模型解码等价。如果小模型猜测的不准确，那么大型模型会放弃小模型预测的token，继续使用大型模型进行解码。
由于小模型计算量小，从而大大减少了内存访问需求。
介绍完「Speculativedecoding」，我们再回到Karpathy的推特。Karpathy是针对下面内容回复的。
Karpathy表示：对于LLM来说，「Speculativeexecution」是一种极好的推理—时间优化方法。
它取决于以下方面：在单个输入token上分发LLM所花费的时间与在批处理中分发K个输入token所花费的时间一样多。产生这样的原因是因为采样严重受内存限制：模型运行时的大部分工作不是在做计算，而是从VRAM读取transformer的权重到片上缓存进行处理。如果你要做的工作是来读取这些权值，你可以把它们应用到一整批输入向量上。
但是我们不能一次性采样一批K个token，因为每N个token都取决于我们在第N-1步采样的token。由于存在串行依赖性，因此基线实现只是从左到右逐一进行。
这种方法起作用的原因在于，很多「草稿」token都会被接受，因为它们很容易，所以即使是更小的草稿模型也能得到它们。当这些简单的token被接受时，我们会跳过这些部分。大模型不同意的hardtoken会回落到原始速度，但由于一些额外的工作，实际上速度会慢一些。
Karpathy表示，这个奇怪的技巧之所以有效，是因为LLM在推理时受到内存限制，在对单个序列进行采样的batchsize=1设置中，很大一部分本地LLM用例都属于这种情况。因为大多数token都很「简单」。
云酒楼影视论坛发布绝版国产怀旧电视剧,港台电影修复版下载,日韩动画下载,欧美国配译制片下载,国产老电影网盘下载,4K高清电影下载,BT电影之家资源分享,无损音乐资源免费下载。
北起院是一家国有大型科技型企业，是具有索道工程甲级设计证书的企业，专业从事索道,缆车设计，索道设备制造，提供各类索道工程项目调研、工程地质勘查和测量、设备设计制造、安装调试及验收等一体化服务。
英语翻译网是一个在线中英文互译的网站，中文翻译成英文，英文翻译成中文。中文词组用英语怎么说，英语单词是什么意思，非工具，如果你想找某个单词，可以使用网站的搜索功能。
自1987年成立以来，翠欧一直致力于高品质运动控制器的研发和生产，并建立了控制高达128轴的伺服电机、步进电机，压电马达和气动/液压伺服缸的综合产品链。
深圳市天创微科技有限公司成立于2013年，位于深圳市龙华新区，是一家专注于矽力杰半导体、芯圣、拓尔微电子等全球知名品牌的电子元器件原厂授权代理商。公司经过多年经营发展，现已成为深圳市电子元器件经销行业的知名企业之一。24小时服务热线：755-28129715！
火眼甄芯（www.iczhenxin.com）是国内新兴的电子元器件供应商信息服务平台，置身国内电子市场。火眼甄芯提供免费注册会员服务，为电子行业生产制造商、销售商、贸易商以及网络用户提供真实企业信息及评价信息。
重庆seo,重庆网站优化,重庆SEO优化,重庆百度排名,重庆快速排名优化,大量真实案例,让您快速了解网站关键词排名规则,降低网站获客成本。
caimogu.cc,踩蘑菇游戏社区是资深硬核玩家的互动交流社区,聚集了非常多的游戏圈的技术大佬制作各种游戏的MOD和工具,踩蘑菇还提供ps4,ps5,Switch,steam等各平台游戏发售表,以及推荐最新的游戏打折信息,推荐近期的热门游戏等
新乡帕菲特定制生产轨道平车,RGV轨道车,低压电动轨道平车,蓄电池自动引导小车,拖电缆轨道平车,滑触线轨道车,过跨地平车生产厂家制造商,研发定制升降,自动化功能搬运模具,钢卷,钢包,钢结构,汽车,车间内物料,欢迎咨询！
写作秦网Flash主页
河南富鑫新材料科技有限公司是一家提供彩色防滑路面,陶瓷颗粒防滑路面,沥路力彩色防滑路面,水性聚合物彩色路面,现浇金刚盲道,现浇聚合物盲道,彩色手工微表处的环保企业。公司提供从材料生产、项目施工、到后期维护的全流程彩色路面解决方案。
工品标件网|永年镀锌厂|永年恒创镀锌厂电话|永年物流|永年物流信息电话大全|
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
见了一年的投资人和客户，大家上来就问，你们做不做预标注，能不能用预标注解决所有问题，在类GhatGPT大模型爆火的当下，预标注技术似乎已成为自动驾驶数据标注赛道上的致胜金牌，一家年轻的自动驾驶数据服务公司——恺望数据在近日举办的闭门交流会上给大热的预标注技术，浇冷水，恺望数据产品项目VP张鹏表示，目前自动驾驶预标注技术仅能处理6...。
AI对芯片的高算力以及大数据处理的需求，让冯诺依曼架构的电子芯片面临着巨大的挑战，这也让量子计算、神经拟态计算、光子计算这些前沿技术受到了越来越广泛的关注，其实，业界对这些技术的研究都已经有几十年的历史，但出于各种因素，至今都还未大规模应用，光子计算在三种前沿计算技术中关注度较低，不过情况正在改变，准确率接近电子芯片，完成矩阵乘法所用...。
6月中旬，智源研究院旗下的FlagEval大模型评测平台发布最新榜单，在有标准答案的，客观评测，中，GPT，4以76.11分在闭源大模型中排名第一；Doubao，Pro，豆包大模型，以75.96分排名第二，同时也是得分最高的国产大模型；其后依次是ERNIE4.0、Baichuan3、Moonshot，v1，在开放问答等，主观评测，中，...。
消息，2022年1月25日，百度研究院发布了2022年十大科技趋势，涵盖了AI核心技术、交叉学科与跨领域研究、AI的产业及社会价值三个层面，同时，这十大科技趋势分别涉及了预训练大模型、AIforScience，人工智能应用于科学研究，、基于AI的生物计算、隐私计算、量子软硬一体化、自动驾驶、深空探测、人机共生、绿色AI和普惠AI...。
在现代化的机场候机楼、医院大楼、办公楼、运动场、大学校园和零售商店中，方便易用的室内导航应用程序的市场日益扩大，根据MarketWatch，道琼斯旗下的新闻网站，的一份报告，预计到2022年，这一需求可望以30%的速度增长，而智能手机中磁力计、加速计和陀螺仪等先进传感器的出现将加速这一需求，为了满足这一需求，IBM爱尔兰研究院建立了一...。
OpenAI前首席科学家、联合创始人IlyaSutskever曾在多个场合表达观点，只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能，AGI，虽然，下一token预测已在大语言模型领域实现了ChatGPT等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型，如StableDiffusion，和组合方...。
字幕组双语原文，时间卷积网络，时间序列的下一场革命，英语原文，TemporalConvolutionalNetworks，TheNextRevolutionforTime，Series?翻译，雷锋字幕组，君思，这篇文章回顾了几个最新的基于TCN的解决方案，我们首先介绍运动检测的案例研究，并简要回顾一下TCN架构及其相对于传统方法，如卷...。
自各家芯片厂商开始将芯片微缩制程作为发展重点开始，业内关于，摩尔定律是否就快走到尽头，的讨论就未停止过，中国工程院院士许居衍曾就下一波芯片技术前瞻主题，针对CMOS和新器件、冯·诺伊曼架构和新兴架构列举了四类技术方向，一类是硅CMOS技术与冯·诺依曼结合的，硅·冯，范式；一类是能进入跟CMOS雷同的二值开关，新器件与冯·诺伊曼架构的结...。
雷锋网消息，3月14日，雅观科技在上海举办了，AI，悟及物，柔，生万屋，2019雅观科技新品发布会，发布了空间智能化操作系统Akeeta、空间智能化柔性服务技术中台Matrix，以及基于两者开发的雅观智慧社区1.0平台，雅观科技作为AIoT时代智能家居领域的平台厂商，基于AI、大数据、云计算，为地产业提供一站式全屋智能解决方案，据官...。
2019年5月15日，西门子首席运营官兼首席技术官博乐仁在，2019西门子中国创新峰会，上强调了企业数字化转型中的，速度和规模，；时隔四个月，在9月12日的，西门子粤港澳大湾区论坛，上，西门子与与会企业及单位签署了14份战略合作协议，涵盖西门子熟门熟路的能源、工业、交通三大领域，此外，西门子今年4月新成立的物联网服务事业部也拿下了与横...。
消息3月20日，以，安全即服务进阶AI引领未来实战，为主题的360安全大模型3.0发布会在京举行，360集团首席科学家兼360数字安全集团CTO潘剑锋在发布会上提到，，我们参考了人类大脑的运行逻辑，构建360安全大模型3.0框架，实际应用中，在多个专业任务效果上超过GPT4，360集团首席科学家兼360数字安全集团CTO潘剑锋...。
曾以一己之力将网易、阿里游戏，拎，起来的詹钟晖，花名，叮当，，决心从阿里离开了，随着，老首长，俞永福一起，叮当也对外公告即将在3月末，从灵犀互娱离任，将接力棒交给，三国志·战略版，的制作人周炳枢，花名，饼叔，邮件中，叮当写道，随着人才梯队日渐完善，灵犀的年轻人们成长迅速，已能担当带领灵犀继续发展的重任，到这个财年末，我和老陈、春娇...。
自古以来一直都是民以食为天，食物对于人们来说，一直都是必需品，食物为人们补充能量，尤其是早餐对人的重要性，现在人们在吃早餐的时候，想要吃的营养又健康，同时希望以经济实惠的价格享受这些美食，有智慧之选者了解消费者的消费心理，智慧之选1优惠自助早餐店，消费者只需要花费十元，可以自由消费，1元自助早餐店也成为当下很多智慧之选者智慧之选的项目...。
AOKZOEA2Ultra版游戏掌机在4月14日正式发布，其搭载英特尔第十四代酷睿Ultra7155H处理器，64GBLPDDR5X6467MHz内存，7英寸1920x1200的屏幕，价格暂未公布，AOKZOEA2Ultra版重666g，屏幕是7英寸1920x1200，16，10，全贴合，高铝玻璃盖板，机身两侧有霍尔摇杆，霍尔线性扳机...。
发表在专业问答2024，11，2114，28展示机型信息，品牌型号，当贝F7Pro系统版本，当贝OS5.0投影仪连接外置音箱可以通过有线连接或者蓝牙连接的方式实现，总共可以分为三步，下面为投影仪如何连接外置音箱的详细步骤做具体说明，投影仪如何连接外置音箱方法一，有线连接1.连接投影音响通过音频线连接投影仪和回音壁音箱的音频接口；2.打...。
开设托管机构是一项为家长提供便利的服务，同时也是一项商业运作，那托管班的到底挣不挣钱呢，答案是肯定的，小学生托管市场的前景非常乐观！随着现代社会节奏的加快，很多家庭中的父母不得不在工作中投入更多的时间和精力，父母工作时间增加，就导致他们需要一个可信赖的地方来照顾他们的孩子，尤其是放学后的时间，小学生托管机构提供了一个安全、有监督和学习...。
