新京报贝壳财经讯（记者 白金蕾）10月15日，火山引擎在视频云技术大会上发布了大模型训练视频预处理方案，该方案能解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前，该技术方案已应用于豆包视频生成模型。

会上，抖音集团视频架构负责人王悦还透露了字节自研视频编解码芯片的最新进展，经过抖音集团内部的实践验证，该芯片在同等视频压缩效率下，成本节省了95%以上，还在2024MSU世界编码器大赛中一举夺得最佳ASIC编码器。

对训练视频进行预处理是保障大模型训练效果的重要前提。王悦表示，对大模型厂商而言，预处理过程中面临着诸多挑战。“首先，超大规模视频训练数据集导致计算和处理成本激增，”王悦说，“其次是视频样本数据参差不齐，然后是处理链路环节多、工程复杂，最后还面临着对GPU、CPU、ARM等多种异构算力资源的调度部署。”

火山引擎此次发布的大模型训练视频预处理方案依托自研的多媒体处理框架BMF，能有效应对模型训练的算力成本挑战。此外，该方案还在算法和工程方面进行了调优，可以对海量视频数据高质量预处理，短时间内实现处理链路的高效协同，提高模型训练效率。值得一提的是，火山引擎本次还发布并开源了移动端后处理解决方案BMF lite版本。BMF lite支持端侧大模型接入和算子加速，更加轻量、通用。

Bytedance Research负责人李航介绍，豆包视频生成模型PixelDance在训练过程中采用了火山引擎的大模型训练视频预处理方案，充分利用了大量潮汐资源，为模型训练提供了支撑。豆包视频生成模型PixelDance于今年9月发布，解决了多主体运动的复杂交互、多镜头切换的内容一致性难题。

此次活动中，火山引擎还发布了跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案等，从视频的生产端、交互端到消费端，全链路融入了AI的能力。


编辑 岳彩周

校对 穆祥桐