模型权重 推理代码全开放 腾讯版Sora发布即开源!130亿参数 (模型权重推理怎么做)

梦晨 西风 发自 凹非寺

量子位 | 公众号 QbitAI

腾讯版Sora,发布即开源!

,成为目前参数量最大的开源视频生成模型。 模型权重、推理代码、模型算法 模型权重推理代码全开放腾讯版Sora发布即开 等全部上传GitHub与Hugging Face,一点没藏着。

实际效果如何呢?

不瞒你们说,我真的看见一只大熊猫,在跳广场舞、吃火锅、打麻将,请看VCR:

到底是来自四川的猫!

目前该模型已上线腾讯元宝APP,用户可在AI应用中的“AI视频”板块申请试用。

开发者可通过腾讯云接入。

腾讯混元视频生成主打四大特点:

那么实际表现能否符合描述?下面结合实例一一拆解。

实测腾讯首个文生视频模型

首先是冲浪题材,涉及到画面大幅度运动,水的物理模拟等难点。

提示词中还特别指定了摄像头的运动,腾讯混元表现出流畅运镜的能力,只是在“最后定格在…”这个要求上稍显不足。

提示词:超大海浪,冲浪者在浪花上起跳,完成空中转体。摄影机从海浪内部穿越而出,捕捉阳光透过海水的瞬间。水花在空中形成完美弧线,冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。

镜子题材,考验模型对光影的理解,以及镜子内外主体运动是否能保持一致。

提示词中的白床单元素又加大了难度,涉及到的布料模拟,也符合物理规律。

不过人们想象中的幽灵一般没有脚,AI似乎没学到,又或者是跳舞涉及大量腿部动作,产生了冲突。

穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中,阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围,电影打光。

再来一个综合型的复杂提示词,对主角外貌、动作、环境都有细致描述,画面中还出现其他人物,腾讯混元表现也不错。

特写镜头拍摄的是一位60多岁、留着胡须的灰发男子,他坐在巴黎的一家咖啡馆里,沉思着宇宙的历史,他的眼睛聚焦在画外走动的人们身上,而他自己则基本一动不动地坐着,他身穿羊毛大衣西装外套,内衬系扣衬衫,戴着棕色贝雷帽和眼镜,看上去很有教授风范,片尾他露出一丝微妙的闭嘴微笑,仿佛找到了生命之谜的答案,灯光非常具有电影感,金色的灯光,背景是巴黎的街道和城市,景深,35毫米电影胶片。

最后附上来自官方的写prompt小tips:

更多腾讯混元生成的视频,以及与Sora同提示词PK,还可以看看量子位在内测阶段的尝试。

最大的开源视频生成模型。

看完效果,再看看技术层面有哪些亮点。

首先从官方评估结果看,混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先。

然后从目前公开资料看,腾讯混元视频生成模型还有三个亮点。

1、文本编码器部分,已经适配多模态大模型

当下行业中多数视觉生成模型的文本编码器,适配的主要是上一代语言模型,如OpenAI的CLIP和谷歌T5及各种变种。

腾讯在开源图像生成模型Hunyuan-DiT中适配的是T5和CLIP的结合,这次更进一步,直接升级到了新一代多模态大语言模型(Multimodal Large Language Model)。

由此能够获得更强大的语义跟随能力,体现在能够更好地应对画面中存在的多个主体,以及完成指令中更多的细节。

2、视觉编码器部分,支持混合图片/视频训练,提升压缩重建性能

视频生成模型中的视觉编码器,在压缩图片/视频数据,保留细节信息方面起着关键作用。

混元团队自研了3D视觉编码器支持混合图片/视频训练,同时优化了编码器训练算法,显著提升了编码器在快速运行、纹理细节上的压缩重建性能,使得视频生成模型在细节表现上,特别是小人脸、高速镜头等场景有明显提升。

3、从头到尾用full attention(全注意力)的机制,没有用时空模块,提升画面流畅度。

混元视频生成模型采用统一的全注意力机制,使得每帧视频的衔接更为流畅,并能实现主体一致的多视角镜头切换。

与“分离的时空注意力机制”分别关注视频中的空间特征和时间特征,相比之下,全注意力机制则更像一个纯视频模型,表现出更优越的效果。

更多细节,可以参见完整技术报告~

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

全局中部横幅
康企达美采购网

康企达美采购网(www.caigoula.cn)B2B电子商务平台,集采购和批发于一体,为中小企业提供撮合交易服务,旨在帮助用户一站直达全网商品信息,触达海量优质商家。让买家快速便捷地找到优质货源,为商家提供海量匹配的询价信息,获得更多曝光,快速达成交易,降低成本提升盈利。康企达美采购网,让采购批发变得更简单。

南方人才网

南方人才网(job168.com)是广州人才集团官方唯一人才网,提供最新最全的人才职位招聘信息。主营人才招聘、人才培训、猎头、网络招聘、报纸招聘、薪酬调查、档案挂靠等服务。南方人才招聘网月发布职位信息高达48万条,日均页面浏览量超1000万,是华南最具影响力的人力资源网站。

南宁注册公司

南宁九龙商务公司(☏:189-7893-9080)成立于2004年,专注代办公司注册、工商注册、公司注销、注册公司流程、代办公司营业执照、会计代理报税记账、许可证、资质证等服务办理。九龙商务-您创业的好帮手

昆明视康眼科

您身边的贴身视觉管家

专业注册公司服务

慧工商网提供专业注册公司服务,工商变更服务,公司注销服务,异章证遗失登报补办等全程免费服务无需第三方服务。

鸿成敖科技

深圳鸿成敖网络科技有限公司(鸿成敖科技)是一家创新型互联网科技公司,成立于2016年,这里聚集着一群游戏爱好者,我们享受着游戏开发的乐趣,并希望将这种乐趣通过我们的游戏传递给大家。

03软件园

03软件园是一个专业的软件下载门户,提供丰富的安卓手机软件和游戏资源。无论是热门手游排行榜还是最新应用下载,我们为您提供安全、快速的软件下载体验。探索手机应用的无限可能,尽在03软件园!

温州市焊接设备厂

温州市焊接设备厂位于温州市区内吴桥工业区,面积8000平方米,建厂于1979年,是研究、开发、生产焊机,焊接辅助设备,机具的专业工厂。曾荣获国家劳动人事部,工商行政管理局,中国社会科学院,全国总工会,共青团中央,表彰的先进单位,多次被评为温州市先进企业。

全局底部横幅