token Emu3 预测 智源 证明多模态模型新范式 只需基于下一个 (tokenexpired)
OpenAI前首席科学家、联合创始人Ilya Sutskever曾在多个场合表达观点：只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能（AGI）。
虽然，下一token预测已在大语言模型领域实现了 ChatGPT 等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型（如Stable Diffusion）和组合方法（如结合 CLIP视觉编码器和LLM）所主导。
2024年10月21日，智源研究院正式发布原生多模态世界模型Emu3。该模型只基于下一个token预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。
Emu3在图像生成、视频生成、视觉语言理解等任务中超过了 SDXL 、LLaVA、OpenSora等知名开源模型，但是无需扩散模型、CLIP视觉编码器、预训练的LLM等技术，只需要预测下一个token。
图注：在图像生成任务中，基于人类偏好评测，Emu3优于SD-1.5与SDXL模型。在视觉语言理解任务中，对于12 项基准测试的平均得分，Emu3优于LlaVA-1.6。在视频生成任务中，对于VBench基准测试得分，Emu3优于OpenSora 1.2。
Emu3提供了一个强大的视觉tokenizer，能够将视频和图像转换为离散token。这些视觉离散token可以与文本tokenizer输出的离散token一起送入模型中。与此同时，该模型输出的离散token可以被转换为文本、图像和视频，为Any-to-Any的任务提供了更加统一的研究范式。而在此前，社区缺少这样的技术和模型。
此外，受益于Emu3下一个token预测框架的灵活性，直接偏好优化（DPO）可无缝应用于自回归视觉生成，使模型与人类偏好保持一致。
Emu3研究结果证明，下一个token预测可以作为多模态模型的一个强大范式，实现超越语言本身的大规模多模态学习，并在多模态任务中实现先进的性能。通过将复杂的多模态设计收敛到token本身，能在大规模训练和推理中释放巨大的潜力。下一个token预测为构建多模态AGI提供了一条前景广阔的道路。
目前Emu3已开源了关键技术和模型。（开源模型和代码地址在文末）
Emu3一经上线便在社交媒体和技术社区引起了热议。
有网友指出，“这是几个月以来最重要的研究，我们现在非常接近拥有一个处理所有数据模态的单一架构。”
“Emu3 是一种非常新颖的方法（至少在我看来是这样），它有机会将多模态合并为一，只需将它们都视为token即可。虽然还处于初期，但展示效果很不错。想象一下，我们可以无限扩展视频和生成多种模态。”
甚至有网友评价：“也许我们会得到一个真正开放的 OpenAI v2？”
对于Emu3的意义和影响，有评论指出：“Emu3 将彻底改变多模态AI领域，提供无与伦比的性能和灵活性。”
“Emu3在各行各业的广泛适用性和开源灵活性将为开发者和企业解锁人工智能创新能力的机会。”
“对于研究人员来说，Emu3意味着出现了一个新的机会，可以通过统一的架构探索多模态，无需将复杂的扩散模型与大语言模型相结合。这种方法类似于transformer在视觉相关任务中的变革性影响。”
“Emu3的统一方法将带来更高效、更多功能的AI系统，简化多模态AI的开发和应用以及内容生成、分析和理解的新可能性。”
"Emu3 改写了多模态人工智能的规则...Emu3 重新定义了多模态AI，展示了简单可以战胜复杂。多模态AI的未来变得更加精炼与强大。"
效果展示
1. 视觉理解
Emu3 展现了强大的图像及视频的感知能力，能够理解物理世界并提供连贯的文本回复。值得注意的是，这种能力是在不依赖于基础LLM模型和CLIP的情况下实现的。
1.1 图像输入
用户问题: Describe the landmark.
模型回答: The image showcases the Brooklyn Bridge, a prominent suspension bridge in New York City, recognized by its distinctive towers and the web of cables that support it. This iconic structure connects the boroughs of Brooklyn and Manhattan.
用户问题: Please describe the image in detail.
模型回答: The image is the cover of a magazine titled "Parktakes," which is the Fall 2017 issue. The cover features two individuals in a white kayak, paddling on a body of water. The kayak is positioned diagonally, with the two individuals seated towards the front. Both individuals are wearing life jackets, which are red with black straps, and they are holding paddles with orange blades. The person on the left is a woman with long dark hair, wearing sunglasses and a black TOP. The person on the right is a man with short hair, wearing a green shirt and a light-colored cap. They both appear to be smiling and enjoying their time on the water.
The background shows a natural setting with trees and greenery, indicating that they are likely in a park or natural reserve. The water is calm, and the sky is not visible, suggesting a serene and peaceful environment.
The magazine cover includes several text elements:
1.**Title**: "Parktakes" is prominently displayed at the top in large, bold, blue letters.
2. **Fall 2017 Issue**: The issue is marked in the top right corner in a smaller, white font.
3. **Main Feature**: "Enjoy Fall Adventures in Parks" is written in a large, bold, orange font, emphasizing the theme of outdoor activities.
4. **Additional Features**: The cover lists several topics covered in the magazine: - "Birding, Boating, and Hiking" - "Seasonal Festivals" - "New Attractions"
5. **Registration Information**: At the bottom, there is a call to action to "Registration begins Aug. 1 for full classes" and a website link: "www.fairfaxcounty.gov/parks."
Analysis and Description
The cover of "Parktakes" effectively conveys the theme of outdoor recreational activities, particularly in parks. The image of the two individuals in a kayak suggests that the magazine features content related to kayaking, canoeing, and other water sports. The inclusion of life jackets indicates a focus on safety and preparedness for water activities. The mention of seasonal festivals and new attractions implies that the magazine includes information on various events and attractions within the parks.
The cover also highlights the magazine's commitment to providing a comprehensive guide to outdoor activities, with a clear emphasis on safety and accessibility. The registration information suggests that the magazine is a resource for planning and participating in various outdoor activities, likely targeting a wide audience interested in parks and recreational activities.
In summary, the magazine cover is designed to attract readers interested in outdoor adventures, safety, and seasonal events within parks. The use of a kayak and life jackets emphasizes the magazine's focus on water sports and safety, while the inclusion of various features and registration information suggests a well-rounded resource for park visitors.
1.2 视频输入
用户问题: What is the man doing in the video?
模型回答: The man in the video appears to be performing a fire dance, a form of entertainment where a person uses fire to create dynamic and visually appealing movements. The sparklers he holds produce a mesmerizing display of light and shadows, capturing the intensity of his performance.
2. 图像生成
Emu3通过预测下一个视觉token来生成高质量的图像。该模型自然支持灵活的分辨率和不同风格。
3. 视频生成
与使用视频扩散模型以从噪声生成视频的Sora不同，Emu3只是通过预测序列中的下一个token来因果性的生成视频。
4. 视频预测
在视频的上下文中，Emu3可以自然地扩展视频并预测接下来会发生什么。模型可以模拟物理世界中环境、人和动物。
Emu3技术细节
1 数据
Emu3 是在语言、图像和视频混合数据模态上从头开始训练的。
语言数据：使用与 Aquila 模型相同的语言数据，一个由中英文数据组成的高质量语料库。
图像数据：构建了一个大型图像文本数据集，其中包括开源网络数据、AI生成的数据和高质量的内部数据。整个数据集经过了分辨率、图片质量、类型等方面的过滤过程。训练了一个基于 Emu2 的图像描述模型来对过滤后的数据进行标注以构建密集的图像描述，并利用 vLLM 库来加速标注过程。
视频数据：收集的视频涵盖风景、动物、植物和游戏等多个类别。
整个视频处理流程包括了场景切分、文本过滤、光流过滤、质量评分等阶段。并使用基于图像描述模型微调得到的视频描述模型来对以上过滤后的视频片段打标文本描述。
2 统一视觉Tokenizer
在 SBER-MoVQGAN 的基础上训练视觉tokenizer ，它可以将 4 × 512 × 512 的视频片段或 512 × 512 的图像编码成 4096 个离散token。它的词表大小为 32,768。Emu3的tokenizer 在时间维度上实现了 4× 压缩，在空间维度上实现了 8×8 压缩，适用于任何时间和空间分辨率。
此外，基于MoVQGAN 架构，在编码器和解码器模块中加入了两个具有三维卷积核的时间残差层，以增强视频token化能力。
3 架构
Emu3 保留了主流大语言模型（即 Llama-2）的网络架构。不同点在于，其扩展了Llama-2架构中的嵌入层，以容纳离散的视觉token。网络中使用 RMSnorm 进行归一化。其还使用了 GQA 注意力机制、SwiGLU 激活函数和一维旋转位置编码（RoPE）等技术，并并去除了注意力模块中QKV层和线性投影层中的偏置。此外，还采用了 0.1 的dropout率来提高训练的稳定性，使用QwenTokenizer对多语言文本进行编码。详细架构配置表。
4 预训练
在预训练过程中，首先要定义多模态数据格式。与依赖外部文本编码器的扩散模型不同，Emu3 原生集成了用于生成图像/视频的文本条件信息。在视觉和语言的固有token中新增了五个特殊token来合并文本和视觉数据，以为训练过程创建类似文档的输入。生成的训练数据结构如下：
[BOS] {caption text} [SOV] {meta text} [SOT] {vision tokens} [EOV] [EOS]
其中，[BOS] 和 [EOS] 是QwenTokenizer中的原始特殊token 。额外新增的特殊token包括：[SOV] 表示视觉输入（包含图像和视频的meta信息部分）的开始，[SOT] 表示视觉token的开始，[EOV] 表示视觉输入的结束。
此外，特殊token [EOL] 和 [EOF] 作为换行符和换帧符插入到了视觉token中。元文本包含图像的分辨率信息，视频则包括分辨率、帧率和持续时间，均以纯文本格式呈现。在构建理解数据时，Emu3将部分数据中的 "caption text"字段移至[EOV] token之后。
训练目标：由于 Emu3 中的视觉信号已完全转换为离散token，因此只需使用标准的交叉熵损失进行下一个token预测任务的训练。为了防止视觉token在学习过程中占据主导地位，对与视觉token相关的损失加权 0.5。
训练细节：Emu3 模型在预训练期间利用非常长的上下文长度来处理视频数据。为便于训练，采用了张量并行（TP）、上下文并行（CP）和数据并行（DP）相结合的方法。同时将文本和图像数据打包成最大上下文长度，以充分利用计算资源，同时需要确保在打包过程中不会分割完整的图像。
预训练过程分为两个阶段，第一阶段不使用视频数据，训练从零开始，文本和图像数据的上下文长度为 5,120；在第二阶段，引入视频数据，并使用 131,072 的上下文长度。
5 SFT阶段
5.1 视觉生成
质量微调：在预训练阶段之后，对视觉生成任务进行后训练，以提高生成输出的质量。使用高质量数据进行质量微调。
直接偏好优化：Emu3在自回归多模态生成任务中采用直接偏好优化（Direct Preference Optimization，DPO）技术，利用人类偏好数据来提高模型性能。
5.2 视觉语言理解
预训练模型经过两个阶段的视觉语言理解后训练过程：1) 图像到文本的训练以及 2) 指令调整。
第一阶段：将图像理解数据与纯语言数据整合在一起，而与视觉token相关的损失则在纯文本预测中被忽略。
第二阶段：利用 LLaVA 数据集中的约 320 万个问答对进行指令微调。低于 512 × 512 或高于 1024 × 1024 的图片将被调整到较低或较高的分辨率，同时保持相应的长宽比，而其他图片则保持原始分辨率。
开源地址
除了先前经SFT的Chat模型和生成模型外，智源研究院还在近日开源了Emu3生成和理解一体的预训练模型以及相应的SFT训练代码，以便后续研究和社区构建与集成。
代码：
项目页面：
模型：
未来方向
Emu3为多模态AI指出了一条富有想象力的方向，有机会将AI基础设施收敛到单一技术路线上，为大规模的多模态训练和推理提供基础。统一的多模态世界模型未来有广泛的潜在应用，包括自动驾驶、机器人大脑、智能眼镜助手、多模态对话和推理等。预测下一个token有可能通往AGI。
版权文章，未经授权禁止转载。详情见 转载须知 。
虎扑篮球专注于NBA、CBA等顶级篮球比赛，提供包含一手资讯、球员交易、詹姆斯、库里、杜兰特、易建联、郭艾伦等国内外知名球员的动态资讯。
淘宝网-亚洲较大的网上交易平台，提供各类服饰、美容、家居、数码、话费/点卡充值…数亿优质商品，同时提供担保交易(先收货后付款)等安全交易保障服务，并由商家提供退货承诺、破损补寄等消费者保障服务，让你安心享受网上购物乐趣！
4399涂鸦圈汇聚4399涂鸦大触们精美涂鸦绘画作品，欣赏大家的涂鸦作品，与大家一起交流画画心得。好看记得分享给喜欢画画的朋友们哦，快一起加入4399涂鸦圈吧！
杭叉集团股份有限公司（股票代码603298，注册资本6.19亿元），成立于1956年，迄今已有60多年的历史，总部位于浙江临安经济开发区，现占地面积1100余亩，下属67个控股子公司、6个参股公司，共有员工3300多人，是中国目前最大的专业叉车研发制造集团之一，现已成功跻身世界叉车前9强。
飞书信外贸社交拼团分销系统软件，外贸Amazon建站，ebay，速卖通，TikTok分销，Line，Twitter
博大网人郑重承诺:免费测试,满意付款。业务涵盖服务器托管(主机托管)、服务器租用(主机租用)、云主机、机柜租用、铜牛机房、天坛机房、工体机房、天津机房等。30年服务器托管运维经验，北京天津多个核心IDC机房，铸就IDC专业品质。以“为客户提供高品质的一站式互联网基础服务”为己任，咨询热线:13621215227
重庆洁洛环保科技有限公司是一家专注于污水治理产品的研发、生产、批发的高科技企业。公司主要生产销售：聚丙烯酰胺(PAM)，聚合氯化铝(PAC)，醋酸钠，工业葡萄糖，葡萄糖酸钠，柠檬酸，草酸，片碱，纯碱，活性炭，COD去除剂等多种药剂。产品广泛用于:洗砂、洗煤、造纸、酿酒、食品、屠宰、养殖、制药、电镀、纺织印染、市政污水处理、工业污水处理等行业领域。
浙江奔克汽车部件有限公司（前身是瑞安奔克汽车部件有限公司）成立于1993年，是一家集产品研发、制造和销售于一体的汽车用品生产厂家。专业研发和制造汽车冲压、五金、塑胶、电镀、吸塑、注塑等内外饰零部件。
网站描述
意林乐器意林乐器经过过去和世界知名品牌日本YAMAHA公司、德国B&S公司、法国BUFFET公司以及台湾KHS集团等的直接合作，在四川及西南区域建立了完善的销售服务体系，并同YAMAHA合作建立了西南唯一的一家雅马哈管乐CUSTOM专家售后服务中心。
债权转让、债权拍卖土地挂牌、土地出让、土地拍卖、海南国有土地海南金鼎，海南拍卖，海口拍卖，中国拍卖，拍卖行业，拍卖网
北京海天网联营销策划股份有限公司
美柚作为一款专注关爱女性健康的服务软件，通过它大家不仅能记录自己健康情况，还能预测自己的经期，因此很受大家的喜爱，那你知道在没有应该如何发起投票吗?感兴趣就来看看吧，...。
美柚作为一款专注关爱女性健康的服务软件，通过它大家不仅能记录自己健康情况，还能预测自己的经期，因此很受大家的喜爱，下面小编来为大家介绍美柚切换模式的具体操作，希望对你们有所帮助，...。
1965年，时任仙童半导体公司工程师，也是后来英特尔的创始人之一的戈登·摩尔，GordonMoore，提出了摩尔定律，Mooreslaw，，预测集成电路上可以容纳的晶体管数目大约每经过24个月便会增加一倍，后来广为人知的每18个月芯片性能将提高一倍的说法是由英特尔CEO大卫·豪斯，DavidHouse，提出，过去的半个多世纪，半导体行...。
6月中旬，智源研究院旗下的FlagEval大模型评测平台发布最新榜单，在有标准答案的，客观评测，中，GPT，4以76.11分在闭源大模型中排名第一；Doubao，Pro，豆包大模型，以75.96分排名第二，同时也是得分最高的国产大模型；其后依次是ERNIE4.0、Baichuan3、Moonshot，v1，在开放问答等，主观评测，中，...。
OpenAI前首席科学家、联合创始人IlyaSutskever曾在多个场合表达观点，只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能，AGI，虽然，下一token预测已在大语言模型领域实现了ChatGPT等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型，如StableDiffusion，和组合方...。
雷锋网AI科技评论按，在GoogleI，O2018上，除了Google助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的SmartCompose技术同样也引得众人欢呼，近期，谷歌大脑团队首席软件工程师YonghuiWu在GoogleAIPo出了这篇详细介绍SmartCompose原理的博文，雷锋网AI科技评论将其...。
昨天，让生物科学圈和人工智能圈为之沸腾的，必然是DeepMind宣布蛋白质折叠预测问题已被其攻破的消息，此消息一出，立刻登上了Nature杂志封面，标题直接评论为，它将改变一切！，李飞飞、马斯克等众多大佬纷纷点赞、转发，这个场景是不是和当初AlphaGo战胜了李世石和柯洁有点似曾相识，对于AI界、围棋界来说，AlphaGo是一个划时...。
今年的618，是最复杂的一次，也是挑战最多的一次，对今年618而言，棘手问题不仅有增速太快导致的系统稳定性风险，还有疫情散发导致的供应链履约风险，消费者购物行为难以预测，，米面粮油，这类需求稳定的商品也会因为囤货需求，出现临时性、区域性的订单暴涨；供应链履约难度大幅提升，商品的材料采购、生产制造、运输配送随时可能中断，商品积压、库存不...。
8月21日，火山引擎AI创新巡展在来到上海，此次巡展会，火山引擎发布了豆包大模型的一系列产品升级，并携手多点DMALL成立零售大模型生态联盟，火山引擎总裁谭待表示，较3个月前，最新版豆包大语言模型的综合能力提升了20.3%，在智源、上海AILab等权威机构的多项评测中位列榜首，豆包模型进化，使用量爆发，综合能力提升20.3%Quest...。
人工智能技术一旦完全投入使用，它有可能拯救这个世界，也有可能终结这个世界，近日，VentureBeat与，谷歌大脑，的联合创始人吴恩达、Facebook人工智能研究院创始人YannLeCun等业内专家进行了对话，并将他们的观点整理成文，雷锋网AI科技评论选取了吴恩达和YannLeCun的观点进行编译，一起看看他们认为2018年有哪...。
10月31日，在杭州云栖大会上，光启慧语正式发布了与复旦大学附属中山医院，以下简称，中山医院，联合开发的多模态医疗大模型，光语医疗大模型，据获悉，光语医疗大模型是基于光启慧语数百亿参数规模、万亿token预训练语料的自研大模型，由中山医院深度参与、针对医疗场景定制而成，在通用基础语料之上，光语医疗大模型注入超百亿toke...。
WiFicoin发起人刘登丰和他的团队伙伴，应该算是硬件圈投身区块链创业热潮的一个小小缩影，2015至2016年，智能WiFi曾在智能硬件行业激起一小簇浪花，当时，大大小小的互联网巨头，如小米、360等均在此投入和产出，然而，随着智能硬件的潮落、人工智能的潮起，这簇浪花终究隐没远去，在沉寂一年多后，2017年年底，区块链被炒币和ICO...。
手游发烧友晓博总喜欢利用闲暇时间来上几局游戏，工作日晚上，晓博和队友完美配合，准备赢取眼下这局游戏的胜利，决定胜负的关键时刻，同事雅云一个电话打来，即便手机里有两张电话卡，晓博的游戏也被迫下线，坑了队友的晓博十分懊恼，雅云在晚上休息时间打电话给晓博是着急想找晓博确认几个重要数据，对工作十分严谨上心的雅云，总担心错过重要的工作电话，同样...。
最近，微软似乎对设计精美的iOS和安卓App情有独钟，这两款应用都不支持Windows，作为局外人，或许你会联想到雅虎CEO梅姐，她也非常喜欢收购那些开发炫酷软件的热门初创公司，在获取用户的同时，雅虎也将一批人才招致麾下，但实际上，雅虎的投资似乎有些让人看不透，因为梅姐的大多数投资无法立即获得回报，但是微软却不一样，它收购这些初创公司...。
都说鞋子合不合适，只有脚知道，一双鞋子的舒适程度，直接影响着我们的心情和状态，因此很多时候，我们别的可以不在意，鞋子一定要选择好的可靠的，比如多走路鞋子，就在消费者心目中很有人气，这得益于品牌的品质化发展，也来自对产品科研力量的投入，今日我们要了解的是多走路怎么加盟的问题，您也好奇的话，就与我们一起看下去吧，关于多走路的品牌介绍月步旗...。
今天跟大家聊一点比较实在的，就是说打工打到后面到底有没有意义?我说句难听的，除非你是企业饭碗，否则你到最后就会发现没有什么意义，越早认清这个点，你就能越早一点去拯救你自己，如果说你仅仅是跟着公司上市，赚到财务自由的，或者说你本身你条件就很好的，你没必要说风凉话，或者说你可以不看这篇文章，因为我讲的是那些更多的是普通的打工人，我们应该如...。
上海8月二手房成交近1.8万套，多个豪宅新盘日光：置换链条逐步打通,新房,豪宅,新盘,卢文曦,上海市,置换链条,二手住宅,二手房成交,二手房市场
