AndrejKarpathy：大模型有内存限制，这个妙招挺好用|速度|序列|token|karpathy
用微信扫码二维码
分享至好友和朋友圈
AndrejKarpathy用通俗易懂的语言介绍了speculativeexecution。
「如今，LLM（大语言模型）并不是单点突破的——而是需要多个重要组件有效协同工作的系统。Speculativedecoding是帮助我们从系统角度思考的一个很好的例子。」爱丁堡大学博士生符尧表示道。
人形机器人公司1XTechnologies的AI副总裁EricJang评价道：「Karpathy很好的解释了LLM的speculativeexecution。其他自回归模型可能会以类似的方式加速。连续（扩散）模型可能从K步中获益较少（可能在第1步后偏离猜测），但可以将其应用于VQ-latents的离散代码。」
看完上述评价，我们大概也了解了，Karpathy说的「Speculativeexecution」，这是优化技术的一类，采用这个技术的计算机系统会根据现有信息，利用空转时间提前执行一些将来可能用得上，也可能用不上的指令。如果指令执行完成后发现用不上，系统会抛弃计算结果，并回退执行期间造成的副作用（如缓存）。
为了让大家更好的理解Karpathy的内容。我们先介绍一下「Speculativedecoding」方法，对后续理解更加有益，其主要用于加速大模型的推理。据了解，GPT-4泄密报告也提到了openAI线上模型推理使用了它（不确定是否100%）。
关于「Speculativedecoding」，已有几篇重要文献可供参考，这也是Karpathy为了写这则推特所参考的论文，包括谷歌今年1月发表的论文《FastInferencefromTransformersviaSpeculativeDecoding》、DeepMind今年2月发表的论文《AcceleratingLargeLanguageModelDecodingwithSpeculativeSampling》，以及谷歌等机构2018年的论文《BlockwiseParallelDecodingforDeepAutoregressiveModels》。
简单来说，「Speculativedecoding」使用两个模型：一个是原始目标模型称为大模型，另一个是比原始模型小得多的近似模型称为小模型。主要思想是先让小模型提前解码多个token进行猜测，并将它们作为单个batch输入到一个大模型中进行审核修正，其效果和直接用大模型解码等价。如果小模型猜测的不准确，那么大型模型会放弃小模型预测的token，继续使用大型模型进行解码。
由于小模型计算量小，从而大大减少了内存访问需求。
介绍完「Speculativedecoding」，我们再回到Karpathy的推特。Karpathy是针对下面内容回复的。
Karpathy表示：对于LLM来说，「Speculativeexecution」是一种极好的推理—时间优化方法。
它取决于以下方面：在单个输入token上分发LLM所花费的时间与在批处理中分发K个输入token所花费的时间一样多。产生这样的原因是因为采样严重受内存限制：模型运行时的大部分工作不是在做计算，而是从VRAM读取transformer的权重到片上缓存进行处理。如果你要做的工作是来读取这些权值，你可以把它们应用到一整批输入向量上。
但是我们不能一次性采样一批K个token，因为每N个token都取决于我们在第N-1步采样的token。由于存在串行依赖性，因此基线实现只是从左到右逐一进行。
这种方法起作用的原因在于，很多「草稿」token都会被接受，因为它们很容易，所以即使是更小的草稿模型也能得到它们。当这些简单的token被接受时，我们会跳过这些部分。大模型不同意的hardtoken会回落到原始速度，但由于一些额外的工作，实际上速度会慢一些。
Karpathy表示，这个奇怪的技巧之所以有效，是因为LLM在推理时受到内存限制，在对单个序列进行采样的batchsize=1设置中，很大一部分本地LLM用例都属于这种情况。因为大多数token都很「简单」。
云酒楼影视论坛发布绝版国产怀旧电视剧,港台电影修复版下载,日韩动画下载,欧美国配译制片下载,国产老电影网盘下载,4K高清电影下载,BT电影之家资源分享,无损音乐资源免费下载。
本站专注于提供最新、最全的AI工具导航，包括各类人工智能应用、智能软件和技术工具，汇集了各类常用、精选和优质的网址资源，包括新闻、娱乐、购物、学习等多个领域。方便您快速找到所需网站，节省搜索时间，助您轻松探索、选择和使用各类AI工具，提高工作效率，创造更多价值。
亚贝智能装备有限服务于哈巴焊机,脉冲热压机,墨盒芯片再生热压机,光模块器件焊接机,电子行业高密度FPC、FFC与PCB、SFP、XFP、QSFP等高速线束连接器之间的热压焊锡,PCB分板机,LED灯条分板机,FPC冲床分板机,冲压分板机,FPC分板机,铡刀式分板机等,服务电话:13528582360
中科（辽宁）实业有限公司成立于2014年1月，原名辽宁中科环境监测有限公司，注册资金4000万元，公司总部座落于辽宁省鞍山市高新区越岭路257号，建筑面积2400平方米,其中实验室面积1800平方米。公司旨在致力于环境检测，包括地表水、地下水、生活饮用水、生活污水、工业废水、环境空气、污染源废气、环境噪声、社会生活噪声、工业企业噪声、铁路噪声、建筑施工噪声、公共场所卫生、土壤等权威的第三方专业环境检测机构。公司具有专业的技术服务团队，公司现有员工11人，中级工程师共7名，技术人员大多毕业于环境工程、应用化学
深圳市鹏深冷暖设备有限公司主营：防爆空调、防爆除湿机、防爆加湿机、船用空调、全新风防爆空调、直膨屋顶式中央空调、防爆冰箱冷柜、防爆冷库机组、防爆机房空调、防爆直膨式风管式空调,防腐船用空调、石化,电力,军用系列产品齐全
国际空间设计大奖——艾特奖，极具国际影响力的设计大奖。艾特奖聚集了当代顶尖建筑师、设计师及产业资源，是粤港澳大湾区最重要的设计平台之一，也是众多境外建筑师、设计师参与中国建设的重要桥梁。
【天翼云节点】天翼云是一个运营商级别的一站式信息服务门户，云计算产品主要包含云主机、云服务器、云存储、对象存储、CDN、内容分发、大数据、云桌面、大数据分析、云主机租用、云主机试用等。（天翼云科技有限公司分公司）
广西正为生物科技有限公司前身为创建于1986年的广东省廉江县横山卫星肥皂厂，于2016年将总部迁移至广西壮族自治区首府南宁，公司研发部及无尘车间位于南宁国家经济技术开发区通源路8号2栋204#。公司团队专注洗涤洁护产品研发生产30多年，主要从事个人护理产品、居家洁净产品及汽车护理产品的制造与销售。
吉林市专业的石棉瓦厂家――吉林市龙潭区哈达湾瓦厂是采用原松江石棉瓦工艺。主要生产吉林石棉瓦、松江石棉瓦。联系电话：13804416469、联系人：姜经理。
山东水泊智能装备股份制造有限公司(SHUIPO)，专注于专用车智能装备，并提供全面的产线解决方案和完善的系统集成。水泊，立足于设计研发，打造专用车生产柔性化、多样性生产模式。依托视觉应用，成熟焊接工艺，拓展高度自动化产线；利用专机(环缝自动焊机焊接设备、自动焊、切割机、旋压机、旋边机、挤压机等)经验、机器人焊接工作站集成拓展产线业务；智能装备、环缝自动焊机焊接设备、切割机、旋压机、自动焊专机、机器人焊接工作站、工装等模块化工位衔接，提升产线流水线效率，定制专用车生产线“一站式配套服务”；使企业的生产柔性化、定制化、模块化，将用户的需求体现在生产过程中，实现客户柔性生产、灵活生产。水泊(SHUIPO)-多方位服务于专用车行业,拓展机器人焊接工作站落地应用！
巴洛仕集团为您提供专业的油罐拆除,储罐拆除,加油站拆除等服务。油罐拆除施工方案,油罐拆除公司资质_储罐加油站拆除公司就找巴洛仕油罐拆除一站式解决方案提供者。
找防水工程公司，首选优久防水，联系电话18583141914，我们有专业防水施工队伍，做防水补漏工程就应该找专业防水堵漏公司，优久防水工程有限公司绝对是你的不二选择！
11月1日，哔哩哔哩，以下简称B站，2024年超级科学晚在北京举办，超级科学晚被称为国内科学界的，春晚，，在每年11月左右公布年轻人最关注的年度科学领域热点，并根据这些科学热点邀请对应领域的专家学者、大咖UP主进行科学理论讲解与趣味实验秀，今年超级科学晚以，科学证明存在，为主题，周忠和、何积丰、浦慕明、王军强等多位专家学者、OpenA...。
独家消息，微软云中国区或将于2024财年底，今年6月底，前后进行一次较大的组织架构调整，调整对象主要聚焦于微软大中华区一号位侯阳领导下的700多人的销售团队，据多位知情人透露，此次调整方式或为，在各细分行业销售线中，将具有相似职能的小团队整合在一起，以降低多头对接、分兵散打带来的沟通内耗和作业低效，具体来说，侯阳此前已在数字原生...。
今日，科大讯飞官方宣布引入智慧医疗领域顶级人才陶晓东博士，加入讯飞高管团队，担任科大讯飞智慧医疗事业部总经理一职，进一步开拓AI，医疗市场，陶晓东的研究方向为医学影像，是美国约翰霍普金斯大学博士，电子电气工程师学会，IEEE，高级会员，曾服务于美国通用电气公司，GE，从事医学影像研究，并在飞利浦医疗放射解决方案担任首席架构师，2017...。
准备工作，小柚盒子、电脑、U盘一、首先在电脑上下载好当贝市场apk，点击立即下载，并复制到U盘；二、打开小柚盒子将U盘连接小柚盒子，GX，1218，的USB接口；三、选择系统自带的，TVS应用商店，，进入后打开管理—文件管理—sda1，找到U盘内的当贝市场apk并按遥控器菜单键，复制，；四、返回打开，本地磁盘，，选择，全部文件，打开，...。
只要说到肉类的食物，很多人们都是不自觉的流下了口水，有关肉类分为很多种，多吃又不会发胖的，就是牛肉了，而且牛骨头是牛肉行业中比较受欢迎的种类，那么对于牛骨头加盟店哪个品牌好，相对于其他的行业来说，餐饮行业加盟所需要的费用会更为合理一些，而且选择加盟餐饮行业，在未来的市场发展上会获得更好的结果，具体加盟什么样的品牌，看看下面的介绍吧，首...。
不少的人在选择加盟品牌的时候，都在慎重的进行筛选，在当今发展快速的时代，什么样的加盟行业才是具有好的额发展空间的，还有具备时间久的一个发展趋势的呢，纵观国内的市场发展，不得不说甜品的市场是在稳定的发展着，尤其是来自香港的一些甜品品牌的开设，更具有好的发展前景，玛丽莲港式甜品在国内已经运行有一段时间了，并也获得了人们的认可和选购，那玛丽...。
三三物色，新栏目，开箱大吉，第一期，一箱开启全全球的新颖好物，前段阵子，金主爸爸旺仔看到了，10种旺仔牛奶の神仙暗藏吃法，让你忘掉那个仔！，这一期，就勾结了咱们，寄来了满满当当的一箱新品，那咱们人造也要展现一下教科书级别的开箱哈，这一期，旺仔给咱们投喂来了7种新品，有吃有喝、有虾片有拌面，让咱们看看除了牛奶、米饼和碎碎冰外，还有什么...。
射手座男人看待恋情环球上没有坚无法摧的恋情，没有人可以以为她的某段恋情是必需会走到最后的，感情是很软弱的东西，它只能是两团体之间的契约，而且任何打草惊蛇都能带来恋情的塌房，而守护恋情的人永远都是能够扛得住千军万马的那一gè，每团体永世都不只会意动一次性，在你糊涂期开局，就对，青睐，这个词有了必定的认知，你开局青睐某一团体，他第一句话，...。
通田阁萝、江南精灵，奥拓快乐王子生高轮胎尺寸是145\u002F70R12，通田阁萝、江南精灵两款车型雷同经常使用的事该型号的轮胎，普通汽车轮胎外径尺寸都有国际规范的轮胎代号；表述方式为，轮胎类型代号，轮辋直径，英寸，，例如，145，70R145代美轮胎宽度是145MM，70示意轮胎断面的扁平比是70%，即断面高度是宽度的70%，轮辋...。
中国气候局当天，4日，召开资讯颁布会，对我国6月份天气状况启动剖析，并对7月天气情势做出预测，依据中国气候局监测数据显示，在刚刚过去的6月里，全国暖湿特征显著，全国平均气温为21.0℃，较终年同期偏高0.7℃，河北、山东、西藏为历史同期最高；全国平均降水量为115.0毫米，较终年同期偏多11.9%，6月份，我国南边地域区域性的暴雨环节...。
哈哈哈没想到中文语言竟然来自的文心一言谷歌中文疑似套壳百度文心一言最近知名博主阑夕发称在平台上对进行了一个测试问它你是谁上来就回答我是百度文心大模型谷歌中文疑似套壳百度文心一言人工智能百度谷歌微新闻第张谷歌中文疑似套壳百度文心一言人工智能百度谷歌微新闻第张在问你的创始人是谁回复竟然是李彦宏谷歌中文疑似套壳百度文心一言人...
2022蚂蚁庄园9月19日今日支付宝蚂蚁庄园每日一题庄园小课堂今日问题：小鸡宝宝考考你：大自然中的棉花都是白色的吗？关于这方面的知识内容很多人都不是太了解，下面就为大家公布蚂蚁庄园小课堂今日问题正确答案。,蚂蚁庄园9月19日今日答案小鸡宝宝考考你大自然中的棉花都是白色的吗
近日，由&，新智驾主办的第四届，全球智能驾驶峰会，在深圳正式召开，峰会之上，同济大学汽车学院教授朱西产带来了题为，自动驾驶与辅助驾驶的边界及自动驾驶汽车安全的技术挑战，的精彩演讲，今年，智能汽车赛道大热，除了蔚小理这三家造车新势力，今年又有很多新玩家加入造车，朱西产认为，这在很大程度上与资本的流向有关——特斯拉和蔚小理的市...。
万众期待的苹果iPhone13系列今天凌晨正式发布了，对于这次新品外界褒贬不一，虽然有消费者认为外观上还是同样的配方，但整体配置还是以正向评价为主，全新配色、高刷以及价格都成为，十三香，的，主力，卖点，而在苹果发布会结束后，荣耀CEO赵明第一时间发布了一条微博，表示苹果是，强大而令人尊重的对手！行业需要不断的创新和超越，作为科技企业，...。
人类具有巨大的系统复杂性，制造机器人具有更高的难度，机器人的制造需要吸纳、整合并扩展多学科的经验，包括工程学、计算机和材料科学、机器人学、神经系统科学以及仿生学，这些学科为人工智能、人造组织和纤维、人工视觉，以及语音合成等技术的发展提供了强大的推动力，随着科技的进步，机器人的能力将不断提高，并且变得越来越灵活，很可能被用来满足家用和商...。
远程银行、视频尽调、全媒体客服、路演直播……近年来，音视频技术支撑下的非接触式金融服务，成为了金融机构数字化转型和探索服务创新的重要方向，12月21日，腾讯云正式发布升级版金融级音视频解决方案，新方案在架构、安全和特性上进行全面升级，除了提供更加满足合规要求的新一代混合云架构外，还全面提升了安全能力，同时升级了视频编解码器、高清虚拟背...。
百年后的生活场景难以想象，但百年前的生活，还是可以看到的，近日，微博用户，大谷Spitzer，利用AI技术进行上色、修复帧率、扩大分辨率，修复了人民日报四年前发布的一段拍摄于100年前的北京生活影像，网友称其为，一百年前的vlog，，并且还贴心了取了个颇有现代vlogfeel的名称——有内味儿了！100年前的北京，酷不酷，视频是由加拿...。
