腾讯最新开源HunyuanVideo-Foley本地部署教程端到端TV2A框架,REPA策略MMDiT架构,重新定义视频音效新SOTA
目录
腾讯最新开源HunyuanVideo-Foley本地部署教程：端到端TV2A框架，REPA策略+MMDiT架构，重新定义视频音效新SOTA！
一、模型介绍
HunyuanVideo-Foley 是腾讯混元团队在2025年8月底开源的一款端到端视频音效生成模型。它旨在解决AI生成视频“有画无声”的痛点，通过输入视频和文本描述，就能自动生成电影级别的同步音效，显著提升视频的沉浸感。
它是专为视频内容创作者设计的专业级 AI 工具，广泛适用于短视频创作、电影制作、广告创意、游戏开发等多种场景。
🎯 核心亮点
🎬 多场景视听同步
支持生成与复杂视频场景同步、语义对齐的高质量音频，增强影视和游戏应用的真实感和沉浸式体验。
⚖️ 多模态语义平衡
智能平衡视觉和文本信息分析，全面编排音效元素，避免片面生成，满足个性化配音需求。
🎵 高保真音频输出
自主研发的 48kHz 音频 VAE 完美重构音效、音乐、人声，实现专业级音频生成品质。
二、模型部署步骤
快速部署及使用方法，请通过文末卡片进入**算家云，**参考“镜像社区”。
部署环境
| Ubuntu | 22.04 |
|---|---|
| cuda | 12.04 |
| python | 3.10 |
| NVIDIA Corporation | RTX 3090 |
1.更新基础的软件包
查看系统版本信息
#查看系统的版本信息，包括ID（如ubuntu、centos等）、版本号、名称、版本号ID等
cat /etc/os-release
配置国内源
apt 配置阿里源
将以下内容粘贴进文件中
deb http://mirrors.aliyun.com/debian/ bullseye main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ bullseye main non-free contrib
deb http://mirrors.aliyun.com/debian-security/ bullseye-security main
deb-src http://mirrors.aliyun.com/debian-security/ bullseye-security main
deb http://mirrors.aliyun.com/debian/ bullseye-updates main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ bullseye-updates main non-free contrib
deb http://mirrors.aliyun.com/debian/ bullseye-backports main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ bullseye-backports main non-free contrib2.基础 Miniconda3 环境
查看系统是否有 miniconda 的环境
conda -V
显示如上输出，即安装了相应环境，若没有 miniconda 的环境，通过以下方法进行安装
#下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
#运行 Miniconda 安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
#初次安装需要激活 base 环境
source ~/.bashrc按下回车键（enter）
输入 yes
输入 yes
安装成功如下图所示
3.创建虚拟环境
创建名为Hun的虚拟环境
conda activate -n Hun python==3.10 
激活虚拟环境
4.从 github 仓库克隆项目
输入命令克隆并进入项目
git clone https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley.git
cd HunyuanVideo-Foley
5.下载模型依赖库
pip install -r requirement.txt
出现如图即为下载完毕
6.下载模型文件
modelscope download --model Tencent-Hunyuan/HunyuanVideo-Foley --local_dir .
7.运行文件拉起界面
python gradio_app.py
