token Emu3 预测 智源 证明多模态模型新范式 只需基于下一个 (tokenexpired)
OpenAI前首席科学家、联合创始人Ilya Sutskever曾在多个场合表达观点：只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能（AGI）。
虽然，下一token预测已在大语言模型领域实现了 chatgpt 等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型（如Stable diffusion）和组合方法（如结合 CLIP视觉编码器和LLM）所主导。
2024年10月21日，智源研究院正式发布原生多模态世界模型Emu3。该模型只基于下一个token预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。
Emu3在图像生成、视频生成、视觉语言理解等任务中超过了 SDXL 、LLaVA、OpenSora等知名开源模型，但是无需扩散模型、CLIP视觉编码器、预训练的LLM等技术，只需要预测下一个token。
图注：在图像生成任务中，基于人类偏好评测，Emu3优于SD-1.5与SDXL模型。在视觉语言理解任务中，对于12 项基准测试的平均得分，Emu3优于LlaVA-1.6。在视频生成任务中，对于VBench基准测试得分，Emu3优于OpenSora 1.2。
Emu3提供了一个强大的视觉tokenizer，能够将视频和图像转换为离散token。这些视觉离散token可以与文本tokenizer输出的离散token一起送入模型中。与此同时，该模型输出的离散token可以被转换为文本、图像和视频，为Any-to-Any的任务提供了更加统一的研究范式。而在此前，社区缺少这样的技术和模型。
此外，受益于Emu3下一个token预测框架的灵活性，直接偏好优化（DPO）可无缝应用于自回归视觉生成，使模型与人类偏好保持一致。
Emu3研究结果证明，下一个token预测可以作为多模态模型的一个强大范式，实现超越语言本身的大规模多模态学习，并在多模态任务中实现先进的性能。通过将复杂的多模态设计收敛到token本身，能在大规模训练和推理中释放巨大的潜力。下一个token预测为构建多模态AGI提供了一条前景广阔的道路。
目前Emu3已开源了关键技术和模型。（开源模型和代码地址在文末）
Emu3一经上线便在社交媒体和技术社区引起了热议。
有网友指出，“这是几个月以来最重要的研究，我们现在非常接近拥有一个处理所有数据模态的单一架构。”
“Emu3 是一种非常新颖的方法（至少在我看来是这样），它有机会将多模态合并为一，只需将它们都视为token即可。虽然还处于初期，但展示效果很不错。想象一下，我们可以无限扩展视频和生成多种模态。”
甚至有网友评价：“也许我们会得到一个真正开放的 OpenAI v2？”
对于Emu3的意义和影响，有评论指出：“Emu3 将彻底改变多模态AI领域，提供无与伦比的性能和灵活性。”
“Emu3在各行各业的广泛适用性和开源灵活性将为开发者和企业解锁人工智能创新能力的机会。”
“对于研究人员来说，Emu3意味着出现了一个新的机会，可以通过统一的架构探索多模态，无需将复杂的扩散模型与大语言模型相结合。这种方法类似于transformer在视觉相关任务中的变革性影响。”
“Emu3的统一方法将带来更高效、更多功能的AI系统，简化多模态AI的开发和应用以及内容生成、分析和理解的新可能性。”
"Emu3 改写了多模态人工智能的规则...Emu3 重新定义了多模态AI，展示了简单可以战胜复杂。多模态AI的未来变得更加精炼与强大。"
效果展示
1. 视觉理解
Emu3 展现了强大的图像及视频的感知能力，能够理解物理世界并提供连贯的文本回复。值得注意的是，这种能力是在不依赖于基础LLM模型和CLIP的情况下实现的。
1.1 图像输入
用户问题: Describe the landmark.
模型回答: The image showcases the Brooklyn Bridge, a prominent suspension bridge in New York City, recognized by its distinctive towers and the web of cables that support it. This iconic structure connects the boroughs of Brooklyn and Manhattan.
用户问题: Please describe the image in detail.
模型回答: The image is the cover of a magazine titled "Parktakes," which is the Fall 2017 issue. The cover features two individuals in a white kayak, paddling on a body of water. The kayak is positioned diagonally, with the two individuals seated towards the front. Both individuals are wearing life jackets, which are red with black straps, and they are holding paddles with orange blades. The person on the left is a woman with long dark hair, wearing sunglasses and a black top. The person on the right is a man with short hair, wearing a green shirt and a light-colored cap. They both appear to be smiling and enjoying their time on the water.
The background shows a natural setting with trees and greenery, indicating that they are likely in a park or natural reserve. The water is calm, and the sky is not visible, suggesting a serene and peaceful environment.
The magazine cover includes several text elements:
1.**Title**: "Parktakes" is prominently displayed at the top in large, bold, blue letters.
2. **Fall 2017 Issue**: The issue is marked in the top right corner in a smaller, white font.
3. **Main Feature**: "Enjoy Fall Adventures in Parks" is written in a large, bold, orange font, emphasizing the theme of outdoor activities.
4. **Additional Features**: The cover lists several topics covered in the magazine: - "Birding, Boating, and Hiking" - "Seasonal Festivals" - "New Attractions"
5. **Registration Information**: At the bottom, there is a call to action to "Registration begins Aug. 1 for full classes" and a website link: "www.fairfaxcounty.gov/parks."
Analysis and Description
The cover of "Parktakes" effectively conveys the theme of outdoor recreational activities, particularly in parks. The image of the two individuals in a kayak suggests that the magazine features content related to kayaking, canoeing, and other water sports. The inclusion of life jackets indicates a focus on safety and preparedness for water activities. The mention of seasonal festivals and new attractions implies that the magazine includes information on various events and attractions within the parks.
The cover also highlights the magazine's commitment to providing a comprehensive guide to outdoor activities, with a clear emphasis on safety and accessibility. The registration information suggests that the magazine is a resource for planning and participating in various outdoor activities, likely targeting a wide audience interested in parks and recreational activities.
In summary, the magazine cover is designed to attract readers interested in outdoor adventures, safety, and seasonal events within parks. The use of a kayak and life jackets emphasizes the magazine's focus on water sports and safety, while the inclusion of various features and registration information suggests a well-rounded resource for park visitors.
1.2 视频输入
用户问题: What is the man doing in the video?
模型回答: The man in the video appears to be performing a fire dance, a form of entertainment where a person uses fire to create dynamic and visually appealing movements. The sparklers he holds produce a mesmerizing display of light and shadows, capturing the intensity of his performance.
2. 图像生成
Emu3通过预测下一个视觉token来生成高质量的图像。该模型自然支持灵活的分辨率和不同风格。
3. 视频生成
与使用视频扩散模型以从噪声生成视频的Sora不同，Emu3只是通过预测序列中的下一个token来因果性的生成视频。
4. 视频预测
在视频的上下文中，Emu3可以自然地扩展视频并预测接下来会发生什么。模型可以模拟物理世界中环境、人和动物。
Emu3技术细节
1 数据
Emu3 是在语言、图像和视频混合数据模态上从头开始训练的。
语言数据：使用与 Aquila 模型相同的语言数据，一个由中英文数据组成的高质量语料库。
图像数据：构建了一个大型图像文本数据集，其中包括开源网络数据、AI生成的数据和高质量的内部数据。整个数据集经过了分辨率、图片质量、类型等方面的过滤过程。训练了一个基于 Emu2 的图像描述模型来对过滤后的数据进行标注以构建密集的图像描述，并利用 vLLM 库来加速标注过程。
视频数据：收集的视频涵盖风景、动物、植物和游戏等多个类别。
整个视频处理流程包括了场景切分、文本过滤、光流过滤、质量评分等阶段。并使用基于图像描述模型微调得到的视频描述模型来对以上过滤后的视频片段打标文本描述。
2 统一视觉Tokenizer
在 SBER-MoVQGAN 的基础上训练视觉tokenizer ，它可以将 4 × 512 × 512 的视频片段或 512 × 512 的图像编码成 4096 个离散token。它的词表大小为 32,768。Emu3的tokenizer 在时间维度上实现了 4× 压缩，在空间维度上实现了 8×8 压缩，适用于任何时间和空间分辨率。
此外，基于MoVQGAN 架构，在编码器和解码器模块中加入了两个具有三维卷积核的时间残差层，以增强视频token化能力。
3 架构
Emu3 保留了主流大语言模型（即 Llama-2）的网络架构。不同点在于，其扩展了Llama-2架构中的嵌入层，以容纳离散的视觉token。网络中使用 RMSNorm 进行归一化。其还使用了 GQA 注意力机制、SwiGLU 激活函数和一维旋转位置编码（RoPE）等技术，并并去除了注意力模块中QKV层和线性投影层中的偏置。此外，还采用了 0.1 的dropout率来提高训练的稳定性，使用QwenTokenizer对多语言文本进行编码。详细架构配置表。
4 预训练
在预训练过程中，首先要定义多模态数据格式。与依赖外部文本编码器的扩散模型不同，Emu3 原生集成了用于生成图像/视频的文本条件信息。在视觉和语言的固有token中新增了五个特殊token来合并文本和视觉数据，以为训练过程创建类似文档的输入。生成的训练数据结构如下：
[BOS] {caption text} [SOV] {meta text} [SOT] {vision tokens} [EOV] [EOS]
其中，[BOS] 和 [EOS] 是QwenTokenizer中的原始特殊token 。额外新增的特殊token包括：[SOV] 表示视觉输入（包含图像和视频的meta信息部分）的开始，[SOT] 表示视觉token的开始，[EOV] 表示视觉输入的结束。
此外，特殊token [EOL] 和 [EOF] 作为换行符和换帧符插入到了视觉token中。元文本包含图像的分辨率信息，视频则包括分辨率、帧率和持续时间，均以纯文本格式呈现。在构建理解数据时，Emu3将部分数据中的 "caption text"字段移至[EOV] token之后。
训练目标：由于 Emu3 中的视觉信号已完全转换为离散token，因此只需使用标准的交叉熵损失进行下一个token预测任务的训练。为了防止视觉token在学习过程中占据主导地位，对与视觉token相关的损失加权 0.5。
训练细节：Emu3 模型在预训练期间利用非常长的上下文长度来处理视频数据。为便于训练，采用了张量并行（TP）、上下文并行（CP）和数据并行（DP）相结合的方法。同时将文本和图像数据打包成最大上下文长度，以充分利用计算资源，同时需要确保在打包过程中不会分割完整的图像。
预训练过程分为两个阶段，第一阶段不使用视频数据，训练从零开始，文本和图像数据的上下文长度为 5,120；在第二阶段，引入视频数据，并使用 131,072 的上下文长度。
5 SFT阶段
5.1 视觉生成
质量微调：在预训练阶段之后，对视觉生成任务进行后训练，以提高生成输出的质量。使用高质量数据进行质量微调。
直接偏好优化：Emu3在自回归多模态生成任务中采用直接偏好优化（Direct Preference Optimization，DPO）技术，利用人类偏好数据来提高模型性能。
5.2 视觉语言理解
预训练模型经过两个阶段的视觉语言理解后训练过程：1) 图像到文本的训练以及 2) 指令调整。
第一阶段：将图像理解数据与纯语言数据整合在一起，而与视觉token相关的损失则在纯文本预测中被忽略。
第二阶段：利用 LLaVA 数据集中的约 320 万个问答对进行指令微调。低于 512 × 512 或高于 1024 × 1024 的图片将被调整到较低或较高的分辨率，同时保持相应的长宽比，而其他图片则保持原始分辨率。
开源地址
除了先前经SFT的Chat模型和生成模型外，智源研究院还在近日开源了Emu3生成和理解一体的预训练模型以及相应的SFT训练代码，以便后续研究和社区构建与集成。
代码：
项目页面：
模型：
未来方向
Emu3为多模态AI指出了一条富有想象力的方向，有机会将AI基础设施收敛到单一技术路线上，为大规模的多模态训练和推理提供基础。统一的多模态世界模型未来有广泛的潜在应用，包括自动驾驶、机器人大脑、智能眼镜助手、多模态对话和推理等。预测下一个token有可能通往AGI。
版权文章，未经授权禁止转载。详情见 转载须知 。
免费家政公司加盟、月嫂公司加盟，开家政公司、家政公司怎么赚钱,找最好月嫂公司、找最好家政公司,聚政网入驻家政公司8万多家、客户找阿姨当天上户快。
上海丞瑜厨房设备有限公司
铜雀网免费提供最近上映电影、2023最新电影排行榜和热播电视剧全集手机在线播放,每天第一时间更新好看的电影、电视剧、动画片和综艺节目,欢迎欣赏2023年的影视剧!
起点电影网分享最新最好看的电影,最新电影,经典电影,动漫,电视剧等免费高清电影下载资源,最新电影下载,免费电影下载!最好的迅雷电影下载站,影迷的起点
佰益建建站平台是专业的企业网站建设模板站,是企业快速建站的快速选择,五合一建站平台,企业网站建设建好网站
羽古会国内最专业的羽绒服设计机构，内外贸专业设计开发，拥有自主全球最全的市场零售爆款数据库，意大利，韩国，俄罗斯，中国广州，北京五大设计中心同步研发。助力服装企业在零售市场，产品快速迭代更新，打造爆款集中营。
好师来网始终以高效、诚信、共享为宗旨服务广大用户，主要内容包括上门家教，中小学学习成长、考试试卷、试题、作文、小升初、中高考、艺考，学校信息资讯，教育导航等。
★动力无限★全国服务热线:400-0599-368,十多年品牌,三家分公司,专业致力于西安网站建设,网站制作,网站设计及万抖销短视频拍摄和运营.我们深知全域流量获客,数字化推动业务增长是中小企业数字化转型之关键,我们将以诚挚的心,专业的技术为中小企业网络营销贡献一份力量.
山东淄博千盛化工设备有限公司是专业的不锈钢冷凝器，冷凝器生产厂家，生产的不锈钢冷凝器、反应釜系列化工设备产品质量可靠,欢迎来电咨询:13853359538
广州迈驰包装专业立式包装机,火锅底料包装机,食品包装机。可包装火锅底料、休闲食品、种子，建材，饲料、茶叶、宠物食品、农药、中药饮片、调味品等。适用于食品、医药、化工、农业等众多行业。技术售后遍布全国各地，送货上门，免费安装调试!
决策者智库致力于创建并运营卓越的行业（“航空发动机与燃气轮机”、“海上能源全产业链”）整合平台，将智库的深度研究、媒体的信息传播力、行业协会的政企架通以及产业会展的互动体验无缝融合，形成独一无二的“决策者智库+媒体+协会+会展”一体化模式。
杨氏益农农业科技发展有限公司杨氏益农农业科技发展有限公司是一家从事各种肥料、菌肥、研发生产、销售和服务为一体的综合型现代化高科技企业，公司现有多条肥料生产线，其中包括液体肥、单一元素、大量元素、土壤处理剂、微量元素、中量元素、菌肥、该生产线的建成填补了肥料企业剂型的空白市场。
随着餐饮市场的快速发展，使得越来越多的人开始关注餐饮行业，韩式炸鸡以香酥里嫩的口感，成为大人小孩都非常喜欢的风味小吃，拥有一大批顾客粉丝，广阔发展前景，吸引了众多创业者的目光，三个先森的韩式炸鸡运用精湛制作技术，专注为消费者带去好吃又实惠的炸鸡系列小吃，贴心化服务，取得合格口碑与评价，那么三个先森的韩式炸鸡加盟能挣钱不，三个先森的韩式...。
披萨是是新一代潮流人们的爱，由于近几年人们的生活水平提高的是非常快的，因此很多人对吃的要求也是越来越高了，披萨逐渐走进了的市场并被人们喜爱，很多人知道快餐外卖当然披散也是可以外卖的，也许很多人对披萨外卖价格还不是很了解，今天小编就个大家简单的介绍一下希望对大家有更多的帮助，首先我们知道披萨的做法是比较独特的，而且味道也是非常的不错，大...。
最近大火的生成式AI又有新动作了！在podcast.ai推出的第一集播客节目里，已故的乔布斯竟然，死而复生，成为首位嘉宾，与美国知名播客主持人JoeRogan进行了一场长达20分钟的对话，讨论了关于乔布斯的大学、对计算机的看法、工作状态以及信仰等等，是不是听起来有些毛骨悚然，事实上，这段采访是由文本生成音频实现的，属于AIGC中的一个...。
1.贵阳火车站，作为贵州省的主要铁路枢纽之一，贵阳火车站交汇了黔桂铁路、贵广高速铁路、沪昆铁路等多条线路，它不仅负责旅客运输，也是贵州省内重要的物资交流中心，2.遵义火车站，遵义火车站坐落于遵义市，是黔北地区的关键铁路车站，随着川黔铁路、渝贵铁路等线路的投入运营，遵义火车站的客流量和货运量持续增长，成为连接贵州与周边地区的关键交通枢纽...。
发表在专业问答2022，12，3114，39展示机型信息，品牌型号，小米电视5系统版本，MIUITV3.0电视是可以调亮度的，电视亮度可以在设置中找到图像设置，然后找到亮度调节进行画面的亮度调整，不同电视的亮度调节位置可能有所不同，具体操作按电视的实际情况进行，电视可以调亮度吗电视是支持亮度调节的，具体电视的亮度调节方法如下，1.打开...。
1、首先打开九联UNT200C自带的，咪咕应用商店，，进入后选择工具—测评，然后下载并安装，泰捷视频，；2、打开泰捷视频，选择，添加应用，—，当贝助手，，添加完成后会自动下载当贝助手，然后进行安装；3、从电脑上下载好当贝市场apk，点击立即下载，并复制到U盘；4、将U盘连接九联UNT200C的USB接口并打开，当贝助手，，选择，文件管...。
代码说明，本页面的认证代码为332广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在332广告联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提升3...。
乌克兰危机2022年2月更新后，美国等西方国度向乌提供少量武器装备，且重型武器和先进武器越来越多，关于美国或者进一步解除乌克兰经常使用远程武器的限度，俄方11日作出了最新回应，俄罗斯总统资讯秘书佩斯科夫11日示意，美国方面或者曾经经过了准许乌克兰经常使用远程导弹打击俄境内指标的关系选择，目前正经过媒体透显露一些信息，假设美国准许乌克兰...。
新京报讯据安康慈溪微信群众号信息，7月12日20时30分左右，慈溪市逍林镇出现一同抢劫案，一男性持仿真玩具枪窜至某金店抢劫后逃离，现场无人员伤亡，案发后，公安机关第一期间组织警力展开侦察，目前，立功嫌疑人毛某某，男，38岁，已被公安机关抓获，被抢财物已追回，案件正在进一步侦办中，...。
苹果手机的智慧助手是Siri，您可以在手机设置中找到Siri与搜查，开启用，嘿Siri，唤醒配置，之后可以经过语音号召Siri，或长按电源键开启Siri，以下是对于Siri的详细Siri作为苹果手机的智慧助手，为用户提供了方便的语音交互体验，用户只有对手机说出，嘿Siri，，即可唤醒这一配置，并经过语音指令来实现各种操作，如查问天气、...。
智跑二手车多少钱9.4万元，1、起亚智跑指的是由环球三大汽车设计师之一的彼得·希瑞尔亲身操刀设计，于2010年10月20日在杭州上市，智跑搭载了上、下坡辅佐系统等多项高科技性能，充沛红功了整车智能化；2、智跑由环球三大汽车设计师之一的彼得·希瑞尔亲身操刀设计，外观华美而不冗杂、刚毅而不呆板，流线型轿跑设计配合起亚虎啸式家族脸谱，勾画出...。
有意思联合国沙盘游戏本周我参加了一个非常有意思的培训，打了一场大型游戏“联合国沙盘”游戏。什么样游戏比较好玩有意思，什么样游戏不需要太多时间就可以玩的比较有意思，有意义的活动小游戏，不需要太多时间玩有意思游戏还有“QQ飞车”。1、趣味团队拓展游戏趣味团队开发游戏3趣味团队开发游戏11。造反人数:1020人为宜，形成一个圈游戏方法:1。参加者形成一个圆圈，主持人站在中间。2.当主持人说右的时候，所有人都会把头转向左边。当他们说向左时，每个人都会把头转向右边。在他们说出来之前，每个人都会把头转回去，也就是做和
熟悉的昌都，陌生的昌都，当我默默地注视你，告诉我为何你如此迷人……，7月24日，西藏昌都市商务局局长石鲲鹏唱着藏歌走进直播间，为当地特色农产品公益，代言，青稞麦片、青稞麻花、藏香鸡……他逐一打开包装，现场试吃，1997年大学毕业的石鲲鹏加入重庆援藏干部队伍来到3000公里外的昌都，至今已27年，7月下旬，正值全国对口支援西藏满30...。
代码说明，本页面的认证代码为酷我联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在酷我联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提升酷我联盟的可信...。
a.品牌为细分赛道头部，有多种实战验证的单店模型b.点评、团购、本地生活团购已覆盖合作c.一店五开=实体门店，外卖，点评，团购d.百城近千店成功运营经验，多种类型的单店模型可复制a.本土畅销的连锁三文鱼鲜生品牌b.300W，高粘性点单会员，复购率高c.来自上海，直营起家，全国累计开店超400，，覆盖30座城市d.品牌自带流量曝光，曾与...。
2016年初，在美团外卖的一次团建上，曾经的美团二号人物王慧文上来就干了一瓶啤酒，随后突然把啤酒瓶重重摔在地上，抱住沈鹏开始哭起来，五年前的这一幕，沈鹏一直都记得，对于离开美团，他解释为，这段时间的经历，让自己有了尝试的信心，今天，沈鹏正式完成了自己人生的一个小目标，诞生出一家市值247亿人民币的新公司，北京时间5月7日晚上9点半...。
发表在行业动态2018，12，1912，35还记得一个多月前北京召开的那场发布会吗，有三支叫蓝朋友的明基BenQ激光商务投影机，决定一齐手拉手迈向商务市场，为了这段前所未有的新征程，它们准备得不多，除了帅气外形、特色焦段、蓝核光芒，也就无需更换灯泡、使用寿命超长、相对抗尘、减少维护、长期成本较低、低耗能、全天候运作、开机即用这8个优势...。
