推荐:MeloLab– 使用 AI 创作歌曲和背景音乐。

LongCat-Video-Avatar 1.6

打开官方网站

LongCat-Video-Avatar 1.6 是开源音频驱动数字人视频模型,改进了唇音同步与长视频稳定性,支持量化部署,权重采用 MIT 许可证。

类型:
AI 工具
LongCat-Video-Avatar 1.6
本页目录

LongCat-Video-Avatar 1.6 是什么?

LongCat-Video-Avatar 1.6 是开源音频驱动数字人视频模型,改进了唇音同步与长视频稳定性,支持量化部署,权重采用 MIT 许可证。

最近更新 ·

LongCat-Video-Avatar 1.6:开源音频驱动数字人视频模型

资料对应公告日期:

LongCat-Video-Avatar 1.6 是美团开源音频驱动数字人视频生成框架的最新升级版本,基于 1.5 版本演进。它重点提升表情自然度、唇音同步、面部与身体动作协调性,以及长视频生成中的视觉一致性,并加入推理优化以加快部署。在包含 33,051 张有效个人投票的人类偏好 Arena 中,它以 1068.1 的 Bradley-Terry Elo 分数在六个参评系统中排名第二,落后于 OmniHuman-2.0,领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0。

LongCat-Video-Avatar 1.6 是什么

LongCat-Video-Avatar 1.6 是一个根据音频输入生成数字人视频的开源模型,属于 LongCat-Video-Avatar 框架的最新升级,直接建立在 1.5 版本之上,而不是替换其架构。

由于沿用与 1.5 相同的基础架构,这次发布更适合理解为质量与效率升级:生成效果改善,而底层模型结构对已经使用过 1.5 的人仍然熟悉。

  • 开源音频驱动数字人视频生成框架
  • 该系列的最新升级,基于 1.5 版本
  • 与 LongCat-Video-Avatar 1.5 使用相同基础架构
  • 包含两个任务专用 LoRA 适配器:loraA 用于 DMD,loraB 用于 OPSD

相比 1.5 的质量改进

1.6 版本聚焦观众最容易察觉的部分:表演是否自然、语音与口型是否对齐、面部与身体动作是否协调,以及长时间生成时画面是否保持一致。

唇部动画得到专门优化,减少了夸张或紧绷的嘴部动作、嘴唇颜色过红以及嘴部区域的时序不稳定,这些都是说话人头视频生成中常见的瑕疵。

  • 提升表情自然度
  • 提升唇音同步
  • 面部与身体动作更协调
  • 长视频生成中的视觉一致性更好
  • 减少夸张或紧绷的嘴部动作,降低嘴部区域时序不稳定

超过 10 分钟的长视频生成

自回归视频续写运行越久越容易累积误差,表现为外观漂移或连贯性下降。1.6 版本缓解了这种误差累积,可生成超过 10 分钟的视频,同时保持视觉质量、身份一致性和时序连贯性。

这使模型更适合较长的脚本化内容、长篇旁白,或其他更看重单条连续镜头而非短片的场景。

  • 缓解自回归续写中的误差累积
  • 支持生成超过 10 分钟的视频
  • 力求保持视觉质量、身份一致性和时序连贯性

人类偏好 Arena 表现

发布信息给出了包含 33,051 张有效个人投票的人类偏好 Arena 结果。LongCat-Video-Avatar 1.6 以 1068.1 的 Bradley-Terry Elo 分数在六个参评系统中排名第二。

它落后于 OmniHuman-2.0,领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0。这些是厂商公布的 Arena 结果,应作为参考信号之一,而非对具体使用场景的保证。

  • 公布的 Arena 包含 33,051 张有效个人投票
  • Bradley-Terry Elo 分数为 1068.1
  • 在六个参评系统中排名第二
  • 落后于 OmniHuman-2.0,领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0

部署与推理优化

1.6 版本引入了全面的推理优化,目标是更快、更高效的部署。优化覆盖端到端流水线和模型执行,因此既有利于单次运行,也有利于服务化部署。

检查点包还提供 base_model_int8,这是一个可选的仅权重量化 INT8 DiT,可通过 --use_int8 启用。在 H20、H100、H200、H800 等 Hopper GPU 上,安装并启用 FlashAttention 3 相比 FA2 可带来显著的推理加速。

  • 端到端流水线与模型执行优化
  • 通过 base_model_int8 和 --use_int8 启用可选的仅权重量化 INT8 DiT
  • 在 Hopper GPU(H20、H100、H200、H800)上启用 FlashAttention 3,相比 FA2 显著加速
  • 使用超过两块 GPU 时,设置 LONGCAT_A2A_WORKSPACE=1 启用优化的 All-to-All 工作区,降低上下文并行通信开销

上手与配置要点

模型沿用与 1.5 相同的基础架构,并包含两个任务专用 LoRA 适配器:loraA 用于 DMD,loraB 用于 OPSD。--mix_steps=N 控制二者的组合方式:前 N 个去噪步骤使用 mix_alpha * DMD + (1 - mix_alpha) * OPSD,其余 8 - N 个步骤仅使用 OPSD。

量化是可选项且互斥。不要同时启用 --use_fp8 和 --use_int8,同一时间只应启用一种量化模式。除发布说明所述内容外,具体硬件要求、安装步骤和默认设置在此不作说明。

  • 两个 LoRA 适配器:loraA(DMD)和 loraB(OPSD)
  • --mix_steps=N 在前 N 步混合 DMD 与 OPSD,其余 8 - N 步仅使用 OPSD
  • --use_fp8 与 --use_int8 只能启用其一
  • 价格状态:模型权重公开发布,来源未说明托管服务定价

许可证与使用条款

模型权重采用 MIT 许可证发布。除非另有说明,仓库贡献同样采用 MIT 许可证。

该许可证不授予使用美团商标或专利的任何权利,涉及品牌的用途需另行考虑。

  • 模型权重采用 MIT 许可证
  • 除非另有说明,仓库贡献采用 MIT 许可证
  • 不授予美团商标或专利的任何权利

常见问题

LongCat-Video-Avatar 1.6 相比 1.5 有哪些改进?

它提升了表情自然度、唇音同步、面部与身体动作协调性,以及长视频生成中的视觉一致性。唇部动画方面减少了夸张或紧绷的嘴部动作、嘴唇颜色过红和嘴部区域时序不稳定。它还缓解了自回归续写中的误差累积,可生成超过 10 分钟的视频,并加入推理优化以加快部署。

LongCat-Video-Avatar 1.6 在人类偏好 Arena 中的表现如何?

在公布的包含 33,051 张有效个人投票的人类偏好 Arena 中,它以 1068.1 的 Bradley-Terry Elo 分数在六个参评系统中排名第二,落后于 OmniHuman-2.0,领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0。

LongCat-Video-Avatar 1.6 如何启用 INT8 或 FP8 量化以及 FlashAttention 3?

检查点包包含 base_model_int8,这是可选的仅权重量化 INT8 DiT,通过 --use_int8 启用。不要同时启用 --use_fp8 和 --use_int8,同一时间只应启用一种量化模式。在 H20、H100、H200、H800 等 Hopper GPU 上,安装并启用 FlashAttention 3 相比 FA2 可显著加速推理。

LongCat-Video-Avatar 1.6 的模型权重采用什么许可证?

模型权重采用 MIT 许可证发布,除非另有说明,仓库贡献同样采用 MIT 许可证。该许可证不授予使用美团商标或专利的权利。

原始资料

  1. huggingface.co — 原始资料 1 ↗

工具信息

工具信息有变化? 帮助我们更新

相关工具与指南

加载评价…

LongCat-Video-Avatar 1.6 的评价

暂无评分0 条真实用户评价

你推荐 LongCat-Video-Avatar 1.6 吗?在下面分享使用体验!

评分
0 / 2000

正在加载评价…

所属分类

为产品创造者

做了一个好产品?让更多人发现它。

从官网开始,整理 Logo、截图和产品介绍,建立可持续维护的工具页面。

免费收录需核验官网 Badge