腾讯版Sora发布即开源！130亿参数 推理代码全开放 模型权重 (腾讯版sora)
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
腾讯版Sora，发布即开源！
，成为目前参数量最大的开源视频生成模型。 模型权重、推理代码、模型算法 等全部上传Github与Hugging Face，一点没藏着。
实际效果如何呢？
不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR：
到底是来自四川的猫！
目前该模型已上线腾讯元宝APP，用户可在AI应用中的“AI视频”板块申请试用。
开发者可通过腾讯云接入。
腾讯混元视频生成主打四大特点：
那么实际表现能否符合描述？下面结合实例一一拆解。
实测腾讯首个文生视频模型
首先是冲浪题材，涉及到画面大幅度运动，水的物理模拟等难点。
提示词中还特别指定了摄像头的运动，腾讯混元表现出流畅运镜的能力，只是在“最后定格在…”这个要求上稍显不足。
提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。
镜子题材，考验模型对光影的理解，以及镜子内外主体运动是否能保持一致。
提示词中的白床单元素又加大了难度，涉及到的布料模拟，也符合物理规律。
不过人们想象中的幽灵一般没有脚，AI似乎没学到，又或者是跳舞涉及大量腿部动作，产生了冲突。
穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中，阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围，电影打光。
再来一个综合型的复杂提示词，对主角外貌、动作、环境都有细致描述，画面中还出现其他人物，腾讯混元表现也不错。
特写镜头拍摄的是一位60多岁、留着胡须的灰发男子，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，他的眼睛聚焦在画外走动的人们身上，而他自己则基本一动不动地坐着，他身穿羊毛大衣西装外套，内衬系扣衬衫，戴着棕色贝雷帽和眼镜，看上去很有教授风范，片尾他露出一丝微妙的闭嘴微笑，仿佛找到了生命之谜的答案，灯光非常具有电影感，金色的灯光，背景是巴黎的街道和城市，景深，35毫米电影胶片。
最后附上来自官方的写prompt小tips：
更多腾讯混元生成的视频，以及与Sora同提示词PK，还可以看看量子位在内测阶段的尝试。
最大的开源视频生成模型。
看完效果，再看看技术层面有哪些亮点。
首先从官方评估结果看，混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先。
然后从目前公开资料看，腾讯混元视频生成模型还有三个亮点。
1、文本编码器部分，已经适配多模态大模型
当下行业中多数视觉生成模型的文本编码器，适配的主要是上一代语言模型，如OpenAI的CLIP和谷歌T5及各种变种。
腾讯在开源图像生成模型Hunyuan-DiT中适配的是T5和CLIP的结合，这次更进一步，直接升级到了新一代多模态大语言模型（Multimodal Large Language Model）。
由此能够获得更强大的语义跟随能力，体现在能够更好地应对画面中存在的多个主体，以及完成指令中更多的细节。
2、视觉编码器部分，支持混合图片/视频训练，提升压缩重建性能
视频生成模型中的视觉编码器，在压缩图片/视频数据，保留细节信息方面起着关键作用。
混元团队自研了3D视觉编码器支持混合图片/视频训练，同时优化了编码器训练算法，显著提升了编码器在快速运行、纹理细节上的压缩重建性能，使得视频生成模型在细节表现上，特别是小人脸、高速镜头等场景有明显提升。
3、从头到尾用full attention（全注意力）的机制，没有用时空模块，提升画面流畅度。
混元视频生成模型采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换。
与“分离的时空注意力机制”分别关注视频中的空间特征和时间特征，相比之下，全注意力机制则更像一个纯视频模型，表现出更优越的效果。
更多细节，可以参见完整技术报告～
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
六间房是中国知名的在线视频娱乐直播平台之一，提供24小时不间断的视频直播服务，你可以找到喜欢的网络主播，看TA视频直播，和TA聊天交友互动。六间房：直播精彩人生，给平凡人展现自己的舞台！
众车网为您提供汽车报价、行情导购、试驾评测、汽车图片、汽车新闻、用车养车等专业内容，及在线询价、购车贷款、以旧换新等服务,想了解更多汽车信息，就上众车网。
天空玖零
网易免费邮箱--你的专业电子邮局，提供以@163.com、@126.com和@yeah.net为后缀的免费邮箱。16年邮箱运营经验，系统快速稳定，垃圾邮件拦截率超过98%，邮箱容量自动翻倍，支持高达2G超大附件，提供免费网盘及手机邮箱服务。
渝朗婚庆网提供了婚庆酒店、婚庆用品、婚庆布置、婚庆摄影、婚庆文案、婚庆车队等信息资讯。
天长市正业测控仪表有限公司是一家集设计_研发_生产和销售于一体的变送器厂家;主要产品有:压力变送器,差压变送器,单晶硅变送器,液位变送器等,广泛应用于石油开采-火力发电-矿山机械设备等行业.
广东固盾防火门生产厂家全国销售电话:18075925566专业生产销售钢质防火门,不锈钢防火玻璃门,不锈钢玻璃防火门,不锈钢防火门,KTV不锈钢防火门,电影院隔音防火门,防火卷帘门,木质防火门芯,防火窗.固盾防火门产品通过国家防火门3C强制性认证。公司具有一批优秀防火门设计师团队,采用防火门自动生产线流水作业,以优惠的防火门价格，过硬的防火门质量保证防火门通过消防验收标准赢得大批客户好评。
浙江学前教育网提供（学前教育,早期教育,幼儿园教材,园长管理，学前幼师培训，幼儿机构求职招聘,幼儿园教案，课件下载，蒙氏数学）的省内综合性幼儿教育,学前教育网络平台
锦州自然之声助听器听力连锁在锦州市拥有多座验配中心可为您提供最佳的服务品质帮您完美解决助听器验配问题还您一个清晰的世界咨询热线：0416-3230380
百度地图API自定义地图，帮助用户在可视化操作下生成百度地图
华康整形网全国知名整形咨询平台,在这里我们可以为您提供各方面的整形美容咨询,想要变美就上华康网。全国上千家整形机构合作,筛选用户真实体验反馈,见证了上万名用户变美。
建业住宅集团（中国）有限公司（下称“本公司”）成立于1992年,由建业地产股份有限公司董事局主席胡葆森先生创建。本公司于2008年6月6日在香港联合交易所有限公司（“联交所”）主板上市（股票编号：832.HK），具有中国房地产开发企业一级资质。
热腾腾的饭菜总是在冬天给人一抹温暖，也正是这样，很多人群都喜欢在冬日里吃上热气腾腾的火锅，然而火锅比较受欢迎的品牌，开荒匠市井火锅就是其中的一家，它不仅坚持以四川传统市井火锅问世，还一直秉承着新旧的经营理念，为此，这也把他在火锅行业中推崇一个新的身份，引来很多忠实的消费者，那么就全面了解一下，加盟什么火锅比较好，开荒匠市井火锅不需要经...。
周末又去了趟上海，参加未来医疗百强会议，其中一个重要的议题——AI，与副业圈最近火爆的项目如出一辙，各行各业的项目、研究、技术，均已离不开AI，上次探究了操作任何项目，如果没有清晰的自我认知和勤能补拙的坚持心力，再好再赚钱的项目到手上，都像是被割了韭菜，韭菜之殇，不在于项目本身，而在于你的心态，就像最近炒的火热的AI，听到有读者说，是...。
8月8日消息，据新浪科技报道，中芯国际与上扬软件合作，计划在北京新建的12英寸晶圆厂CIM国产化项目于近期宣布暂停，该报道称有知情人士透露，之所以暂停该项目是因为经过评估，技术承包方上扬软件无法完成中芯国际的半导体CIM软件国产化需求，该项目已经推进了近一年时间，上扬软件为该项目成立了研发中心，并投入了上百人，前承接该项目的上百名上扬...。
家庭影院概括来说可以从综合两个概念去了解，这两个概念分别为，家庭影院标准，和，家庭环境中播放电影片中的播放系统，我这里重点介绍后者，家庭影院从装修到配置硬件到播放电影源三个方面介绍，如何打造杜比全景声5.1.4私人家庭影院，，26平方米，150寸，投影是当贝X3Pro，先上装修好的实际图，一、装修目标考虑自己喜欢喝茶，结合房间格局，...。
1、首先，选用经常使用网络搜查该软件，会跳出一个搜查结果页面，2、鼠标选用单击点击第一个进入网页，选用单击立刻体验的配置选项，3、选用鼠标点击立刻体验的选项即可弹出的二维码，4、选用手机QQ登录到您的帐户单击右上角的标记会弹出一个页面，5、点击进入扫描二维码，会跳出一个扫描页面，6、对齐网页的QR码并开局扫描，弹出对话框，7、单击，准...。
关于很多生产者，购置一辆适合的汽车时，多少钱也是最为主要的起因之一，那么吉利ge的多少钱终究如何呢，上方就让咱们来详细了解一下，首先，吉利ge车型的多少钱是比拟亲民的，在同级别车型中性价比拟高，目前吉利ge共有5款车型，从最低配的1.0T车型到奢侈版的1.4T车型均有不同的多少钱段，但是作为一款以性价比著称的汽车，吉利ge在市场上的多...。
高尔夫2021款是一款公众旗下的紧凑型车，其官网指点价为元元，再加上商业保险6469元，最终的，目前，高尔夫2021款的官网指点价为元元，我们以高尔夫的最高配2021款280TSIDSGRLine为例，其官网指点价为元，据了解目前桂林市没有什么活动假设选用以全款模式来购置的话，商业保险6895元，置办税146，高尔夫2021款是一款公...。
比亚迪S82.0L手动尊贵型指点价，16.58万比亚迪S82.0L手动旗舰型指点价，19.08万比亚迪S82.0L智能尊贵型指点价，18.18万比亚迪S82.0L智能旗舰型指点价，20.68万比亚迪s8好多钱比亚迪S8尊贵型售价元，旗舰型售价元，是风在云巅成员为您解答，生存欢快比亚迪S8价格，比亚迪比亚迪S8车型厂商指点价经销商报价日...。
温暖又励志的情感日志情感日志小时候想快点长大就再也不用上学从此逃脱这鸟儿般的牢笼出门在外却似乎是自由了才明白生活的不易了等经历的多了才知道花花世界不必当真你的真心只会被现实践踏才明白不是所有真心都能换的真心才知道有些事不是你单纯的努力就会有好的结果才晓得没有什么事是不能只是不想而已今天或许我很伤心不过没关系多了也就不疼...
英菲克PW1H鼠标驱动是专为英国菲克PW1H鼠标设计的专用驱动。主要用于鼠标与电脑的连接，可以轻松解决各种连接异常问题。
AfterCodecs插件破解版是一款功能强大的本地化特殊编码加速渲染AE插件，能够帮助用户更加快速的完成渲染工作，提高工作效率。小编为您带来的是AfterCodecs中文破解版，用户无需注册码即可免费激活注册软件，满足用户的各种软件功能使用需求。
phpcms添加内容时url字段怎么取得 你说的地址和url是同一个东西吧，使用模板标签{$url}即可获得当前文章的网页地址。个内容页面调用复制代码代码如下：{loop$shigongtu$r}imgsrc={$r[url]}ti
古风模拟经营手游是近日以来玩家喜爱的游戏之一，为此小编特地为大家总结了古风模拟经营手游推荐大全2021，1、，我是大东家，我是大东家是一款古风经商题材的游戏玩家，穿越回古代变成了商铺老板需要做的事就是通过策略布局，挽救西楼破产的危险，在此过程中不断招揽各路奇人异士，帮助玩家经营店铺，扩大商业版图，最终成为富甲一方的富豪，手机扫码下载普...。
万殿壹煲酸菜鱼米饭开店怎么样，万殿壹煲酸菜鱼米饭它选自好的原生态深海龙利鱼，高蛋白、低脂肪，老少皆宜，四季创收，是一个深受欢迎的好项目，看懂商机就行动起来加盟吧，万殿壹煲酸菜鱼米饭严格把控食材品质及制作工艺，制成的酸菜鱼肉质细嫩，汤酸鲜美，口感令人回味，时尚的品牌形象、舒适的格调氛围，符合现代消费群体审美需求，万殿壹煲致力于打造出立体...。
现在我们可以看到，在城市的大街小巷，很多休闲食品分部在大街小巷，受到消费的一致欢迎，今天我们为您介绍的鸭爪爪，就是这样一家具有一定实力的休闲食品店，那么对于加盟商来说，他们关心的问题是什么呢，今天我们就为您介绍一下鸭爪爪加盟多少钱，希望对您有所帮助，从鸭爪爪的官方网站上我们可以看出鸭爪爪加盟多少钱，它的智慧之选金额大概在5，10万元...。
前三季度，海康实现营业总收入597.22亿元，比上年同期增长7.36%；实现归属于上市公司股东的净利润88.40亿元，比上年同期下降19.38%，三季度实现营业收入224.64亿元，同比增长3.39%，实现归属于上市公司股东的净利润30.81亿元，同比负增长31.29%，从国内外两方面看海康经营情况，国内主业，三季度受疫情防控影响较大...。
11月6日，埃安第二款全球战略车型埃安RT正式上市，该车型上市即启动大规模交付，售价11.98万～16.58万元，新车配备激光雷达的版本，能够在16万元的价格区间内实现市区无图NDA自动驾驶功能，这在同级别车型中尚属首次，在智能化方面，其配备了包括激光雷达在内的27个智能驾驶硬件，以及英伟达Orin，X高算力芯片，续航与补能能力方面，...。
