Duix Mobile:开源实时对话数字人 SDK 上手指南
【免费下载链接】Duix-Mobile🚀 The best real-time interactive AI avatar(digital human) with on-premise deployment and <1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile
给 App 做数字人,多数方案要依赖云端合成再回传画面,链路长、延迟高、成本不好控。Duix Mobile 是一套把实时交互式数字人完全放在移动端的开源 SDK:端侧推理、离线运行、不依赖云服务器,Android 和 iOS 开发者都能用,适合想把对话数字人嵌进产品里的团队。
什么是 Duix Mobile
一句话定位:在手机上本地渲染、由语音实时驱动的 2D 数字人 SDK。
核心亮点:
- 🔌 纯端侧推理,可完全离线运行
- ⚡ 响应延迟低于 120ms(骁龙 8 Gen 2 实测)
- 👄 口型同步、动作控制、支持打断
- 🧩 模块化设计,可自接 LLM/ASR/TTS
它支持 Android、iOS、平板、车机、VR、IoT 等端,官方给出的参考延迟低于 1.5 秒,核心能力本地运行,对网络依赖低。
核心能力速览
| 能力 | 实现思路 | 开发者收益 |
|---|---|---|
| 语音驱动口型 | 推送 16kHz/16bit 单声道 PCM 流,端侧逐段驱动口型 | 边合成边说,支持打断插话,不用等整段音频 |
| 本地渲染 | C++ 推理引擎(ncnn、onnx)+ Android GLES / iOS Metal 出图 | 透明通道渲染,可自由叠加背景与前景 |
| 动作控制 | 模型附带 SpecialAction.json 标注动作区间 | 一句话调用播放"打招呼"等指定动作,也可随机播放 |
| 资源管理 | SDK 内置模型下载与解压工具,也可自建托管 | 换形象只改模型地址,接入成本低 |
如何快速上手
三步跑通第一个数字人:
- 获取代码
git clone https://gitcode.com/GitHub_Trending/du/Duix-Mobile- 环境配置:Android 端要求 Android 10+、8GB 内存设备、1GB 以上可用存储,数字人运行需预留约 800MB 内存,Android Studio 使用 JDK 17;iOS 端要求 iOS 12.0+、Xcode 12+、iPhone 8 及以上,在 Info.plist 中声明麦克风权限。
- 首次运行:Android 用 Android Studio 打开
duix-android/dh_aigc_android,iOS 打开duix-ios/GJLocalDigitalDemo/GJLocalDigitalDemo.xcworkspace,编译运行 Demo 即可看到数字人播报;把 Demo 中的 modelUrl 换成官方公开模型,就能换形象。
仓库资源导航
代码
- Android SDK 源码:duix-android/dh_aigc_android/duix-sdk/(含 C++ 核心与 JNI 层)
- Android Demo:duix-android/dh_aigc_android/test/
- iOS SDK 源码:duix-ios/GJLocalDigitalDemo/GJLocalDigitalSDK/
- iOS Demo:duix-ios/GJLocalDigitalDemo/
文档与工具
- Android SDK 接入文档:duix-android/dh_aigc_android/README_zh.md
- iOS SDK 接入文档:duix-ios/GJLocalDigitalDemo/README_zh.md
- 隐私声明:PRIVACYSTATEMENT.md
数字人资源
- 官方形象库:res/avatar/,含 4 个公开模型 Leo、Oliver、Sofia、Lily 共 14 张形象图
- 行业模型视频:res/540p/(老师、律师、陪伴、医生)与 res/270p/(财神、观音、女友、寿司师傅)
- 测试音频素材:duix-android/dh_aigc_android/test/src/main/assets/(PCM、WAV、背景图)
如何参与社区共建
- 文档:完善中英文 README 与 SDK 接入文档,补充典型问题的排查说明
- 代码:优化 Android/iOS 封装层与 C++ 核心(如 duix-android/dh_aigc_android/duix-sdk/src/main/cpp/dhunet/ 的推理模块)
- 案例:落地行业场景(客服、导览、陪伴等)并沉淀接入经验
- 协议:项目采用 duix.com 社区许可协议,分发时需附带协议并展示 "Powered by Duix.com",详见 LICENSE
私有形象定制可通过 support@duix.com 联系官方,通常提供 15 秒至 2 分钟视频即可完成。
路线图与展望
从仓库版本记录看,迭代方向集中在三处:Android 4.0.1 引入 PCM 流驱动、动作区间播放与自研音频播放器;iOS 1.2.x 陆续增加 128 模型支持与渲染问题修复;带打断的流式音频自 2025 年 7 月 17 日版本起提供。后续可预期的是流式交互、模型兼容范围与端侧渲染稳定性的持续打磨。
Duix Mobile 把"能对话的数字人"从云端拉回了手机本地,离线、低延迟、可自接大模型,是移动端数字人方向里接入成本较低的开源选择。更多接口细节与排查指南,建议直接查阅官方文档。
官方文档 | 开源协议 | 贡献指南
【免费下载链接】Duix-Mobile🚀 The best real-time interactive AI avatar(digital human) with on-premise deployment and <1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考