已应用于豆包视频生成模型 火山引擎发布大模型训练视频预处理方案 (已应用于豆包的食品)

文章编号:41061 资讯动态 2024-12-03 火山引擎多模态AI

10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型。

火山引擎总裁谭待在活动致辞表示,在AIGC、多模态等技术的共同推动下,用户体验在多个维度上经历着深刻转变,“基于抖音业务实践和与行业客户共创,火山引擎视频云正积极探索AI大模型与视频技术的深度融合,在技术底座、处理链路和业务增长层面为企业寻找解法。”谭待说。

自研多媒体处理框架BMF ,助力豆包视频生成模型突破业界难题

据介绍,对训练视频进行预处理是保障大模型训练效果的重要前提。预处理过程可以统一视频的数据格式、提高数据质量、实现数据标准化、减少数据量以及处理标注信息,从而使模型能更高效地学习视频中的特征和知识,提升训练效果和效率。

抖音集团视频架构负责人王悦表示,对大模型厂商而言,上述过程中面临着诸多挑战。

“首先,超大规模视频训练数据集导致计算和处理成本激增,”王悦说,“其次是视频样本数据参差不齐,然后是处理链路环节多、工程复杂,最后还面临着对GPU、CPU、arm等多种异构算力资源的调度部署。”

火山引擎发布大模型训练视频预处理方案,已应用于豆包视频生成模型

抖音集团视频架构负责人王悦介绍火山引擎大模型训练视频预处理方案

借助Intel的CPU等资源,火山引擎此次发布的大模型训练视频预处理方案依托于自研的多媒体处理框架BMF,能有效应对模型训练的算力成本挑战。此外,该方案还在算法和工程方面进行了调优,可以对海量视频数据高质量预处理,短时间内实现处理链路的高效协同,提高模型训练效率。值得一提的是,火山引擎本次还发布并开源了移动端后处理解决方案BMF lite版本。BMF lite支持端侧大模型接入和算子加速,更加轻量、通用。

Bytedance Research 负责人李航介绍,豆包视频生成模型PixelDance在训练过程中采用了火山引擎的大模型训练视频预处理方案,充分利用了大量潮汐资源,为模型训练提供了有力支撑。火山引擎视频云团队提供的点播解决方案还为PixelDance生产的视频提供了从编辑、上传、转码、分发、播放的全生命周期一站式服务,让模型的商业化应用有了保障。

据了解,豆包视频生成模型PixelDance于9月24日发布,该模型采用 DiT 架构,通过高效的DiT融合计算单元和全新设计的扩散模型训练方法,突破了多主体运动的复杂交互、多镜头切换的内容一致性难题,在业界引起广泛关注。目前,豆包视频生成模型已通过火山引擎面向企业开启邀测。

多项“音视频+AI”技术方案,助力企业全链路适配AIGC时代

此次活动中,火山引擎还发布了跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案和AIG3D&大场景重建方案,从视频的生产端、交互端到消费端,全链路融入了AI的能力。

火山引擎视频云负责人Yongyuan 指出,在AI视频时代,人和AI交互变得更加动态和生动,这要求处理链路更加智能和交互。

以对话式AI实时交互方案为例,依托豆包大模型和火山引擎视频云自研的多项算法,火山引擎为用户提供了智能对话和自然语言处理的强大能力,可实现毫秒级人声检测和打断响应,以及丝滑稳定的端到端响应体验。

在沉浸式消费体验方面,火山引擎通过AI生成3D内容和大场景重建方案,为山西高平二郎庙金代戏台和北京正乙祠两座珍贵的历史建筑生成了3D数字资产,并以虚拟直播间的形式应用于抖音的戏曲直播场景。

了解到,大会上,王悦还透露了字节自研视频编解码芯片的最新进展,经过抖音集团内部的实践验证,该芯片在同等视频压缩效率下,成本节省了95%以上,还在2024MSU世界编码器大赛中一举夺得最佳ASIC编码器。

王悦表示,该芯片将于近期正式对外开放测试,招募首批种子用户,共同探索商业价值的可复制性。

原创文章,未经授权禁止转载。详情见 转载须知 。

火山引擎发布大模型训练视频预处理方案,已应用于豆包视频生成模型

全局中部横幅
乐视电影

乐视电影频道提供喜剧电影、爱情电影、伦理电影、恐怖电影、搞笑电影、微电影等国内外最新最热电影在线观看。搜索乐视最新电影排行榜,找你喜欢的电影吧!

中国广发紫穗槐绿化苗木培育基地

中国广发紫穗槐绿化苗木培育基地|紫穗槐|刺槐|速生杨|泡桐万亩绿化苗木培育中心

消防水电施工,消防水电安装,消防水电施工公司,消防水电改造

北京亿杰消防工程公司专门从事消防工程改造安装(消防水电施工,消防水电安装,消防水电施工公司,消防水电改造,消防改造,消防工程改造,北京消防工程、北京消防安装等相关业务),火灾自动报警系统、自动喷洒系统、消火栓系统、气体灭火系统的安装,施工改造电话:010-57113119

苏州冷库安装,冷库维保,空调安装冷库机组

韩易制冷工程设备有限公司是一家专业从事冷库设计安装,维修维护;空调安装保养维修及相关制冷配件销售,制冷技术咨询的专业性制冷公司。

中国体育用品业联合会

中国体育用品业联合会_行业协会_体育运动_运动品牌_体育器械品牌

Bose

Bose官网了解创新型解决方案,助您感受更多、实践更多、成就更多。选购耳机、扬声器、穿戴设备和健康类产品。

返利网(fanli.com)

作为国内领先的全场景导购平台,返利网注册用户超2.4亿,与国内400多家商城平台、逾5万家商户合作,覆盖逾百万线下门店,涵盖购物、旅行、票务、学习等消费场景。

AMETEK授权代理商

上海太琴贸易有限公司专业从事AMETEK授权代理商,程控电源,phantom高速摄像机,FLIR红外热成像仪;行业经验丰富,品质保证,价格合理,一站式服务,如有AMETEK可编程电源,程控电源,phantom高速摄像机,FLIR红外热成像仪需求,请致电:021-60405075.

地宝网(tiboo.cn)

地宝网(www.tiboo.cn)是一个专门提供南昌本地生活、消费信息和情感交流的网上生活家园。专注南昌城市百姓生活,让百姓享受时尚生活乐趣。

低代码平台,项目管理,OA,协同软件,预算,费控,销售管理,资产管理,过程域,里程碑,计划,任务

低代码平台,项目管理,项目管理软件,OA,协同办公软件,预算,费控,销售管理,资产管理,过程域,里程碑,计划,任务,专家库,技术交易,技术交易平台,技术需求,成果转化,专家,变更,变更管理,项目管理工具,风险,风险管理,风险跟踪,风险跟进,问题,问题管理,问题跟踪,问题跟进,任务,任务管理,任务跟踪,任务跟进,流程管理,明荣科技

全局底部横幅