企业官网建设流程全解析

数字人直播部署指南：从一行文案到会说话的虚拟主播

【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream

输入一段文案，几秒后一位虚拟主播出现在直播间里：开口说话、口型贴合、表情自然，这就是这套数字人直播系统跑起来之后的样子。LiveTalking（metahuman-stream）是一个实时流式数字人引擎，你给它文本或音频，它负责合成语音、生成口型画面，再通过 RTMP、WebRTC 或虚拟摄像头实时推出去，支持多观众并发观看。

它能做什么：输入输出与典型用法

先说清楚输入输出，再决定要不要用：

• 输入：文本（HTTP 接口POST /human）或音频文件（POST /humanaudio），可选接大模型自动扩写成对话回复。
• 输出：三路直播协议任选——RTMP 推流到 B 站、YouTube 等直播平台，WebRTC 低延迟播给浏览器，或输出成虚拟摄像头供 OBS 等软件调用。
• 数字人模型：内置 wav2lip、musetalk、ultralight 三套口型模型，支持用一段参考音频做声音克隆，也支持中途打断重说。
• 典型场景：虚拟主播 24 小时无人直播（配合大模型自动生成话术）、AI 客服实时答疑、在线教育讲师分身、产品演示短视频批量生产。

跑起来：装依赖、放模型、一条命令启动

整个过程分三步，代码都在下面。

git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream pip install -r requirements.txt

第二步是放模型文件。从网盘下载 wav2lip 权重后，把wav2lip256.pth拷到models/目录并重命名为wav2lip.pth；把数字人形象包（如wav2lip256_avatar1）解压到data/avatars/目录下。形象包里是预切好的人脸帧和坐标文件，决定你的虚拟长什么样。

第三步，启动服务：

python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

启动后浏览器打开http://服务器IP:8010/index.html，点"开始连接"，输入文本就能看效果。注意服务端要开放 TCP 8010 和 UDP 1-65536 端口，否则 WebRTC 连不通。

数据是怎么流动的：一条链路五步走完

整条链路是一条流水线，不用记四套独立模块。文本或音频先到 API 层（可选走 LLM 生成回复，或直接复读）；接着 TTS 引擎把文字变成语音，默认用 edge-tts，也可换成 GPT-SoVITS、CosyVoice 等；然后做特征提取——Mel 频谱就是"把声音转成模型看得懂的向量"，wav2lip 靠它对齐口型；再进入渲染层，口型模型逐帧生成嘴部画面并贴回原视频；最后由推流层按你选的通道（webrtc / rtmp / virtualcam）实时送出去。每一路连接分配独立 sessionid，多用户同时看互不干扰。

虚拟主播推流配置：这几个参数你真正会改

日常调优集中在 config.yaml 和启动参数里，下面 5 个是高频项：

• --transport：webrtc / rtmp / virtualcam / rtcpush 四选一，改它决定画面送到浏览器、直播平台还是虚拟摄像头。
• --push_url：RTMP 推流地址，格式rtmp://服务器地址/应用名/流密钥，你的流密钥就填在这里；填错是推流失败的头号原因。
• --model/--avatar_id：换口型模型和数字人形象。形象必须与data/avatars/里的文件夹名一致，否则会加载失败。
• --tts/REF_FILE/REF_TEXT：换语音合成引擎、换音色，后两者配合可做声音克隆（参考音频需 16kHz 单声道 wav）。
• max_session/listenport：最大并发会话数和 Web 端口，默认 5 路并发、8010 端口。

顺带说明：--fps必须保持 25，不要改。

进阶能力：语音识别、大模型与动作编排

• 大模型对话：--llm_provider支持 dashscope（通义千问）或任意 OpenAI 兼容网关，文本输入走 chat 模式后数字人会说模型生成的回复，无人直播的话术就靠它。
• 语音识别：内置本地 ASR 服务（server/asr_server.py），支持 Whisper、HuBERT 等，可实现双向语音对话。
• 动作编排：--customvideo_config传入 JSON，配置"不说话时播什么视频"，主播停顿期间画面不呆板。
• 多形象与录制：同一服务可挂多个 avatar，支持按 session 指定音色和形象，还能通过/record接口把直播内容录成 mp4。

翻车了怎么办：三个高频问题

• 音画不同步：现象是嘴动和声音错拍。先确认 fps 保持 25，再看后端日志的inferfps和finalfps，两者都 ≥25 才算实时；低于 25 就调小--batch_size或换轻量模型。
• 推流失败：现象是平台上看不到流。检查push_url拼写（应用名和流密钥要和直播平台后台一致）、防火墙是否放行；走 WebRTC 时额外确认 UDP 1-65536 已开放。
• 生成质量差：现象是口型模糊或穿帮。确认 avatar_id 与实际形象包匹配、权重文件是 256 分辨率版本；musetalk 对显卡要求较高（建议 RTX 3080Ti 及以上），显存不足时先切回 wav2lip。

更多接口细节看 docs/api.md，推流页面在web/目录下（rtmpapi.html、rtcpushapi.html），全部配置项集中在 config.yaml。把文案贴进输入框，你的虚拟主播就可以开播了。

【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream