美团龙猫大模型团队今日宣布,正式开源商用级数字人视频生成模型——LongCat-Video-Avatar1.5。 该版本实现了从开源 SOTA(最高水平)向商业级实际应用的全面跨越,在唇形同步、物理合理性、长视频稳定性、多人互动及高效推理等核心维度上完成了全面跃升。
三大能力升级:直击商业化痛点
为了让数字人真正走向千人千面的真实应用场景,LongCat-Video-Avatar1.5针对传统数字人视频的“抖动、畸变、高延迟”等顽疾,进行了三大全方位升级:
基础体验商用化(音频编码器升级)
模型将音频特征提取编码器从 Wav2Vec2升级为了 Whisper-large。凭借更大的参数量和更丰富的多语言先验,模型能细致捕捉音素变化与发音节奏。这不仅使长句、快语速、歌唱等复杂音频下的唇动更精准,更实现了面部、头部、肢体动作与语音的自然协同,大幅减少了长视频中常见的跳帧和身份漂移。
强开放域泛化(多阶段增强数据体系)
为稳定处理真人、虚拟偶像、动漫及动物等多类主体,团队构建了包含“离线标注”与“在线验证”的多阶段数据处理流程,并针对性注入了三类增强数据:
多人数据:利用主动说话人检测,消除多人场景下的音画歧义,准确区分说话者与聆听者。
静默数据:筛选未说话视频,让模型学习无语音状态下的自然微表情,避免非说话角色嘴部乱动。
情绪数据:结合帧级情绪识别精筛,注入情绪变化,使模型理解语音与表情的深层关联。
手部与连续性专项对齐(引入 GRPO)
针对电商直播、产品展示等需要频繁露手的场景,模型引入了 GRPO(人类偏好对齐),将奖励信号细化到逐帧层面,并加入首帧手部检测机制。这显著缓解了手部畸变、局部结构崩塌以及动作不连贯等行业难题。

推理效率飙升15倍:告别昂贵算力
商业级应用的另一大核心是成本。LongCat-Video-Avatar1.5采用了 DMD(分布匹配蒸馏)技术,成功将原本需要50步的生成过程压缩至 8步。同时,团队用“一个共享基础模型 + 多个 LoRA 适配器”的架构替代了传统的三模型并行方案,大幅释放显存。
在实际测试中,模型实现了约 15倍 的推理效率提升,生成一段10秒的视频仅需约1分钟。
权威基准评测:全面领先行业头部模型
基于 EvalTalker 评测基准,770名评估者与10名领域专家对涵盖新闻、教育、娱乐等复杂场景的视频进行了结构化质量分析。数据显示,LongCat-Video-Avatar1.5在多项核心指标上表现惊艳:
用户偏好胜率:相比 Kling Avatar2.0胜率达 65.9%;相比 OmniHuman-1.5胜率达 61.1%;相比 HeyGen 胜率达 54.3%。
单/多人场景得分:单人场景得分 3.336,显著高于 HeyGen 等产品;多人场景得分 2.730,大幅领先 InfiniteTalk(2.339)。
画面稳定性:主体变形率仅为23.1%,背景变形率仅9.4%;跳帧问题率低至0.8%,在所有对比模型中表现最佳。
音视频协调性:面部-身体同步问题率降至 5.1%,唇形同步问题率降至 29.8%,均优于传统商业系统。
美团龙猫大模型团队表示,LongCat-Video-Avatar1.5的开源不仅是版本的更新,更是向全球开发者和创作者发出的共建邀请。团队希望该模型能成为一个可验证、可改进的技术基座,共同拓展数字人视频的真实应用边界。
开源链接:
Github:https://github.com/meituan-longcat/LongCat-Video
HuggingFace:https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5
Tech Report:https://github.com/meituan-longcat/LongCat-Video/blob/main/assets/LongCat-Video-Avatar-1.5-Tech-Report.pdf
Project Page:https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/
Modelscope:https://www.modelscope.cn/models/meituan-longcat/LongCat-Video-Avatar-1.5/summary
.png)
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则