腾讯混元 HunyuanVideo-Foley 开源：AI 视频音效生成进入电影级时代，多场景效率革命来袭

在 AI 视频创作领域，“有画面无音效” 的痛点长期困扰着创作者 —— 精心生成的视频内容往往因缺乏匹配的声音元素而黯然失色，传统音效制作不仅耗时费力，还面临专业门槛高、成本高昂等问题。2025 年 8 月 28 日，腾讯混元正式开源端到端视频音效生成模型 HunyuanVideo-Foley，通过 “视频 + 文字” 双输入即可生成电影级音效，彻底改变了 AI 视频 “看得见却听不见” 的现状，为内容创作领域带来效率革命。

三大技术突破，破解音效生成行业痛点

HunyuanVideo-Foley 的核心优势在于精准直击音效生成的三大行业难题，通过底层技术创新实现全面突破。

10 万小时 TV2A 数据集构建泛化能力基石

模型训练的关键在于数据质量，腾讯混元团队开发了自动化标注与严格过滤的数据管线，构建了规模达 10 万小时的文本 - 视频 - 音频（TV2A）高质量数据集。这一海量数据覆盖人物动作、动物活动、自然景观、卡通动画甚至科幻场景等多元场景，为模型提供了强大的 “学习养料”，使其能在复杂视频条件下精准生成音画匹配的音效，从根本上解决了传统模型场景适配能力不足的问题。

双流 MMDiT 架构实现帧级音画同步

针对音效与画面脱节的痛点，模型创新设计双流多模态扩散变换器（MMDiT）架构。该架构如同为模型配备 “双重视觉听觉注意力”，通过联合自注意力机制实现视频画面与音频帧的精准对齐，再通过交叉注意力机制注入文字描述语义。这种设计避免了传统模型过度依赖文字或音画错位的问题，能生成层次丰富的复合音效。

REPA 损失函数保障专业级音质

为提升音效稳定性与真实感，团队引入表征对齐（REPA）损失函数，并优化变分自编码器（VAE）至 128 维连续表征，采用 48kHz 高保真采样率。这一组合如同为模型配备 “声学导师”，不仅有效抑制底噪和杂音，更能精准呈现风吹草动的轻柔与金属碰撞的铿锵，使输出音频达到专业拟音水准。

权威评测全面领先，主观评分逼近专业水准

在 MovieGen-Audio-Bench 权威评测基准中，HunyuanVideo-Foley 的表现全面超越现有开源方案，达到行业 SOTA（State-of-the-Art）水平：音频质量指标 PQ 从 6.17 跃升至 6.59，视觉语义对齐指标 IB 从 0.27 大幅提升至 0.35，时序对齐指标 DeSync 从 0.80 优化至 0.74（数值越低越好）。

更具说服力的是主观评测结果 —— 在音频质量、语义对齐和时间对齐三个核心维度，模型平均意见得分（MOS）均超过 4.1 分（满分 5 分），已逼近专业音频工程师的制作水准。这意味着普通创作者无需专业知识，也能生成达到行业标准的音效内容。

全场景赋能创作，开源生态降低技术门槛

HunyuanVideo-Foley 的开源特性使其能快速渗透至多元创作场景，推动行业效率升级。对于电影制作团队，模型可快速生成环境音、拟音等细节音效，将后期制作周期缩短 60% 以上，大幅降低成本；游戏开发者能基于动态场景实时生成沉浸式环境音与角色动作音效，提升玩家代入感；短视频创作者则可通过 “一键生成” 功能，为作品匹配精准音效，告别耗时的素材搜索。

目前，开发者与创作者可通过多重渠道获取该技术：在 Github 和 HuggingFace 平台下载模型进行本地部署与二次开发，或直接访问腾讯混元官网体验入口在线试用，开源生态让前沿技术不再局限于实验室。

重构 AI 创作链条，开启视听协同新纪元

HunyuanVideo-Foley 的开源不仅是一项技术突破，更标志着 AI 视频创作从 “视觉单极” 迈向 “视听协同” 的新阶段。通过解决音画同步这一关键瓶颈，腾讯混元为内容产业提供了高效工具，使创作者能将更多精力投入创意本身。在 AI 生成内容竞争日益激烈的当下，高质量音效将成为内容差异化的重要突破口，而 HunyuanVideo-Foley 的出现，正为这场创新竞赛注入强大动力。