模型权重 推理代码全开放 腾讯版Sora发布即开源！130亿参数 (模型权重推理怎么做)
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
腾讯版Sora，发布即开源！
，成为目前参数量最大的开源视频生成模型。
模型权重、推理代码、模型算法
等全部上传GitHub与Hugging Face，一点没藏着。
实际效果如何呢？
不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR：
到底是来自四川的猫！
目前该模型已上线腾讯元宝APP，用户可在AI应用中的“AI视频”板块申请试用。
开发者可通过腾讯云接入。
腾讯混元视频生成主打四大特点：
那么实际表现能否符合描述？下面结合实例一一拆解。
实测腾讯首个文生视频模型
首先是冲浪题材，涉及到画面大幅度运动，水的物理模拟等难点。
提示词中还特别指定了摄像头的运动，腾讯混元表现出流畅运镜的能力，只是在“最后定格在…”这个要求上稍显不足。
提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。
镜子题材，考验模型对光影的理解，以及镜子内外主体运动是否能保持一致。
提示词中的白床单元素又加大了难度，涉及到的布料模拟，也符合物理规律。
不过人们想象中的幽灵一般没有脚，AI似乎没学到，又或者是跳舞涉及大量腿部动作，产生了冲突。
穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中，阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围，电影打光。
再来一个综合型的复杂提示词，对主角外貌、动作、环境都有细致描述，画面中还出现其他人物，腾讯混元表现也不错。
特写镜头拍摄的是一位60多岁、留着胡须的灰发男子，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，他的眼睛聚焦在画外走动的人们身上，而他自己则基本一动不动地坐着，他身穿羊毛大衣西装外套，内衬系扣衬衫，戴着棕色贝雷帽和眼镜，看上去很有教授风范，片尾他露出一丝微妙的闭嘴微笑，仿佛找到了生命之谜的答案，灯光非常具有电影感，金色的灯光，背景是巴黎的街道和城市，景深，35毫米电影胶片。
最后附上来自官方的写prompt小tips：
更多腾讯混元生成的视频，以及与Sora同提示词PK，还可以看看量子位在内测阶段的尝试。
最大的开源视频生成模型。
看完效果，再看看技术层面有哪些亮点。
首先从官方评估结果看，混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先。
然后从目前公开资料看，腾讯混元视频生成模型还有三个亮点。
1、文本编码器部分，已经适配多模态大模型
当下行业中多数视觉生成模型的文本编码器，适配的主要是上一代语言模型，如OpenAI的CLIP和谷歌T5及各种变种。
腾讯在开源图像生成模型Hunyuan-DiT中适配的是T5和CLIP的结合，这次更进一步，直接升级到了新一代多模态大语言模型（Multimodal Large Language Model）。
由此能够获得更强大的语义跟随能力，体现在能够更好地应对画面中存在的多个主体，以及完成指令中更多的细节。
2、视觉编码器部分，支持混合图片/视频训练，提升压缩重建性能
视频生成模型中的视觉编码器，在压缩图片/视频数据，保留细节信息方面起着关键作用。
混元团队自研了3D视觉编码器支持混合图片/视频训练，同时优化了编码器训练算法，显著提升了编码器在快速运行、纹理细节上的压缩重建性能，使得视频生成模型在细节表现上，特别是小人脸、高速镜头等场景有明显提升。
3、从头到尾用full attention（全注意力）的机制，没有用时空模块，提升画面流畅度。
混元视频生成模型采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换。
与“分离的时空注意力机制”分别关注视频中的空间特征和时间特征，相比之下，全注意力机制则更像一个纯视频模型，表现出更优越的效果。
更多细节，可以参见完整技术报告～
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
北京易杨国际旅行社有限公司驻马店第二网点
上海专业律师,谭凯律师电话15026597100,中国中小企业协会调解中心调解员，中国政法大学民商法学硕士，上海律师事务所，北京盈科（上海）律师事务所合伙人，持有律师执业资格和全国企业法律顾问执业资格，曾在大型国有企业工作多年，专注于公司、合同、经济纠纷领域的研究
IP查询网提供专业的iPv6地址查询服务，您可以在这里准确查询IPv6的属地和归属地信息。输入iPv6地址，便捷地查询IPv6地址、IPv6属地及IPv6归属地等信息。
集研发、生产、销售、服务于一体，专注于AR体感人机交互和人工智能领域研发与制造，成为继微软和苹果之后全球第三家完全拥有体感各项技术知识产权专利的高科技公司
阳信鑫得利包装机械厂是专业生产编织袋切缝印收一体机）、切缝一体机、切印收一体机、切袋机、全自动智能缝边机、编织袋自动裁切机、水泥袋等包装袋的印刷和缝制。电话：0543-8269678
南通市化工仪表厂有限公司建于1966年，中国化工装备协会会员厂，原化学工业部液位计定点生产厂、江苏省阀门工业协会会员厂。生产国内外各种标准液面计、视镜、阀门已有四十多年历史，产品适用于石油、化工、制药、锅炉等行业，可与各类管道、锅炉、压力容器等配套使用。
河北铸翰教育科技有限公司专注于教育资源的开发与深耕，开发先进的教育产品，提供完善的教育服务，构建专业化的互联网运营平台，书法小状元隶属于铸翰教育旗下，是集教材研发销售、线上书法课程和线下双师课堂于一体的书法教育品牌。
西安莲湖生殖医院
消费最前线（原锦鲤财经）是一家专注于商业消费领域的新媒体。专注于推动行业发展，为用户提供最前沿、最时尚、最实用的资讯和报道，打造最专业的消费产业动态交流原创平台，展现个体创业与品牌的融合之美。
新开传奇网站是一个致力于提供婚庆服务的平台，我们为贵阳市民提供一站式婚礼策划、场地布置、婚纱摄影等服务。我们拥有丰富的婚庆经验和专业团队，为您打造梦想中的完美婚礼。选择我们，让您的结婚礼更加难忘、更具魅力！
武汉闲玩网络科技提供手机游戏代理加盟，手机游戏合作渠道，网页游戏代理加盟，页游代理，手游源码代理，手游联运平台，H5游戏代理，是知名手机游戏联运SDK开发公司，联系电话：027-88069116。
环境监测网
梦晨西风发自凹非寺量子位，公众号QbitAI腾讯版Sora，发布即开源！，成为目前参数量最大的开源视频生成模型，模型权重、推理代码、模型算法等全部上传GitHub与HuggingFace，一点没藏着，实际效果如何呢，不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR，到底是来自四川的猫！目前该模型已上线腾讯元宝A...。
梦晨西风发自凹非寺量子位，公众号QbitAI腾讯版Sora，发布即开源！，成为目前参数量最大的开源视频生成模型，模型权重、推理代码、模型算法等全部上传GitHub与HuggingFace，一点没藏着，实际效果如何呢，不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR，到底是来自四川的猫！目前该模型已上线腾讯元宝A...。
本周二，彭博社发布消息称，知情人士透露由于在获得批准方面几乎毫无进展，英伟达准备放弃以400亿美元收购Arm，英伟达已告知合作伙伴，不指望交易能够完成，软银方面也正在抓紧时间准备ARM的首次公开募股，寻找新的Arm接任者，2020年9月，英伟达与软银发布声明，宣布英伟达将以400亿美元收购软银旗下芯片IP公司Arm，成为半导体行业有史...。
创业作为通往致富的快捷通道，对于众多的人士来说有着很大的吸引力，女性作为市场的主导，选择女士鞋帽产品经营有着很大的市场，大东女鞋作为一家知名的品牌，多年的经营使其拥有强大的研发、设计团队，结合消费者对于时尚的追求，推出了多种不同的潮流款式，那么大东女鞋怎么加盟，大东女鞋加盟电话和条件是什么多少，一起来了解一下吧，大东女鞋一家高品质的品...。
近年来，儿童溺亡的新闻层出不穷，令人痛心不已，但是在游泳馆内溺亡的新闻却很少听到，毕竟游泳馆内游泳比户外游泳更安全，近日，一男童泳圈不慎脱落在游泳池内溺亡的视频在网上引起了大家的热议，具体情况到底是怎么样的，下面一起来看看官方的通报，官方通报男童在游泳池内溺亡10月9日下午，四川凉山盐源县教育和体育局、盐源县市场监督管理局针对网络，男...。
发表在明基投影仪2024，4，1714，19明基X3100是一款专业游戏投影仪，是明基游戏大师系列的新旗舰产品，是X3000的升级版本，具体明基X3100投影仪怎么样呢，下面就从各项参数配置来详细了解，看看明基X3100优缺点有哪些，明基X3100投影仪怎么样，1.外观方面明基X3100的机身外观和前代明基X3000基本没有变化，同时...。
2300每月，山东曹县捷盛糖业有限公司位于山东曹县开发区昆仑山路，员工工资为2300每月，主营糖类等，公司秉承顾客第一，勇攀高峰的经营理念，坚持诚实守信的原则为广大用户服务，QQ堂的熬糖工人是好多级哦，平民糖果爱好者采购学徒熬糖工人拌糖熟练工甜味技术员捏形师傅造型专家这样的顺序熬糖工人应该是第4级的QQ糖中的熬汤工人是什么求大神帮...。
