LongCat-Video-Avatar 1.6 是什么?
LongCat-Video-Avatar 1.6 是开源音频驱动数字人视频模型,改进了唇音同步与长视频稳定性,支持量化部署,权重采用 MIT 许可证。
最近更新 ·
LongCat-Video-Avatar 1.6:开源音频驱动数字人视频模型
资料对应公告日期:
LongCat-Video-Avatar 1.6 是美团开源音频驱动数字人视频生成框架的最新升级版本,基于 1.5 版本演进。它重点提升表情自然度、唇音同步、面部与身体动作协调性,以及长视频生成中的视觉一致性,并加入推理优化以加快部署。在包含 33,051 张有效个人投票的人类偏好 Arena 中,它以 1068.1 的 Bradley-Terry Elo 分数在六个参评系统中排名第二,落后于 OmniHuman-2.0,领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0。
LongCat-Video-Avatar 1.6 是什么
LongCat-Video-Avatar 1.6 是一个根据音频输入生成数字人视频的开源模型,属于 LongCat-Video-Avatar 框架的最新升级,直接建立在 1.5 版本之上,而不是替换其架构。
由于沿用与 1.5 相同的基础架构,这次发布更适合理解为质量与效率升级:生成效果改善,而底层模型结构对已经使用过 1.5 的人仍然熟悉。
- 开源音频驱动数字人视频生成框架
- 该系列的最新升级,基于 1.5 版本
- 与 LongCat-Video-Avatar 1.5 使用相同基础架构
- 包含两个任务专用 LoRA 适配器:loraA 用于 DMD,loraB 用于 OPSD
相比 1.5 的质量改进
1.6 版本聚焦观众最容易察觉的部分:表演是否自然、语音与口型是否对齐、面部与身体动作是否协调,以及长时间生成时画面是否保持一致。
唇部动画得到专门优化,减少了夸张或紧绷的嘴部动作、嘴唇颜色过红以及嘴部区域的时序不稳定,这些都是说话人头视频生成中常见的瑕疵。
- 提升表情自然度
- 提升唇音同步
- 面部与身体动作更协调
- 长视频生成中的视觉一致性更好
- 减少夸张或紧绷的嘴部动作,降低嘴部区域时序不稳定
超过 10 分钟的长视频生成
自回归视频续写运行越久越容易累积误差,表现为外观漂移或连贯性下降。1.6 版本缓解了这种误差累积,可生成超过 10 分钟的视频,同时保持视觉质量、身份一致性和时序连贯性。
这使模型更适合较长的脚本化内容、长篇旁白,或其他更看重单条连续镜头而非短片的场景。
- 缓解自回归续写中的误差累积
- 支持生成超过 10 分钟的视频
- 力求保持视觉质量、身份一致性和时序连贯性
人类偏好 Arena 表现
发布信息给出了包含 33,051 张有效个人投票的人类偏好 Arena 结果。LongCat-Video-Avatar 1.6 以 1068.1 的 Bradley-Terry Elo 分数在六个参评系统中排名第二。
它落后于 OmniHuman-2.0,领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0。这些是厂商公布的 Arena 结果,应作为参考信号之一,而非对具体使用场景的保证。
- 公布的 Arena 包含 33,051 张有效个人投票
- Bradley-Terry Elo 分数为 1068.1
- 在六个参评系统中排名第二
- 落后于 OmniHuman-2.0,领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0
部署与推理优化
1.6 版本引入了全面的推理优化,目标是更快、更高效的部署。优化覆盖端到端流水线和模型执行,因此既有利于单次运行,也有利于服务化部署。
检查点包还提供 base_model_int8,这是一个可选的仅权重量化 INT8 DiT,可通过 --use_int8 启用。在 H20、H100、H200、H800 等 Hopper GPU 上,安装并启用 FlashAttention 3 相比 FA2 可带来显著的推理加速。
- 端到端流水线与模型执行优化
- 通过 base_model_int8 和 --use_int8 启用可选的仅权重量化 INT8 DiT
- 在 Hopper GPU(H20、H100、H200、H800)上启用 FlashAttention 3,相比 FA2 显著加速
- 使用超过两块 GPU 时,设置 LONGCAT_A2A_WORKSPACE=1 启用优化的 All-to-All 工作区,降低上下文并行通信开销
上手与配置要点
模型沿用与 1.5 相同的基础架构,并包含两个任务专用 LoRA 适配器:loraA 用于 DMD,loraB 用于 OPSD。--mix_steps=N 控制二者的组合方式:前 N 个去噪步骤使用 mix_alpha * DMD + (1 - mix_alpha) * OPSD,其余 8 - N 个步骤仅使用 OPSD。
量化是可选项且互斥。不要同时启用 --use_fp8 和 --use_int8,同一时间只应启用一种量化模式。除发布说明所述内容外,具体硬件要求、安装步骤和默认设置在此不作说明。
- 两个 LoRA 适配器:loraA(DMD)和 loraB(OPSD)
- --mix_steps=N 在前 N 步混合 DMD 与 OPSD,其余 8 - N 步仅使用 OPSD
- --use_fp8 与 --use_int8 只能启用其一
- 价格状态:模型权重公开发布,来源未说明托管服务定价
许可证与使用条款
模型权重采用 MIT 许可证发布。除非另有说明,仓库贡献同样采用 MIT 许可证。
该许可证不授予使用美团商标或专利的任何权利,涉及品牌的用途需另行考虑。
- 模型权重采用 MIT 许可证
- 除非另有说明,仓库贡献采用 MIT 许可证
- 不授予美团商标或专利的任何权利
常见问题
LongCat-Video-Avatar 1.6 相比 1.5 有哪些改进?
它提升了表情自然度、唇音同步、面部与身体动作协调性,以及长视频生成中的视觉一致性。唇部动画方面减少了夸张或紧绷的嘴部动作、嘴唇颜色过红和嘴部区域时序不稳定。它还缓解了自回归续写中的误差累积,可生成超过 10 分钟的视频,并加入推理优化以加快部署。
LongCat-Video-Avatar 1.6 在人类偏好 Arena 中的表现如何?
在公布的包含 33,051 张有效个人投票的人类偏好 Arena 中,它以 1068.1 的 Bradley-Terry Elo 分数在六个参评系统中排名第二,落后于 OmniHuman-2.0,领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0。
LongCat-Video-Avatar 1.6 如何启用 INT8 或 FP8 量化以及 FlashAttention 3?
检查点包包含 base_model_int8,这是可选的仅权重量化 INT8 DiT,通过 --use_int8 启用。不要同时启用 --use_fp8 和 --use_int8,同一时间只应启用一种量化模式。在 H20、H100、H200、H800 等 Hopper GPU 上,安装并启用 FlashAttention 3 相比 FA2 可显著加速推理。
LongCat-Video-Avatar 1.6 的模型权重采用什么许可证?
模型权重采用 MIT 许可证发布,除非另有说明,仓库贡献同样采用 MIT 许可证。该许可证不授予使用美团商标或专利的权利。
原始资料
工具信息
工具信息有变化? 帮助我们更新
LongCat-Video-Avatar 1.6 的评价
正在加载评价…