☰
Duix Mobile:开源实时对话数字人 SDK 上手指南
2026/10/6 2:36:39 网站建设 项目流程

Duix Mobile:开源实时对话数字人 SDK 上手指南

【免费下载链接】Duix-Mobile🚀 The best real-time interactive AI avatar(digital human) with on-premise deployment and <1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile

给 App 做数字人,多数方案要依赖云端合成再回传画面,链路长、延迟高、成本不好控。Duix Mobile 是一套把实时交互式数字人完全放在移动端的开源 SDK:端侧推理、离线运行、不依赖云服务器,Android 和 iOS 开发者都能用,适合想把对话数字人嵌进产品里的团队。

什么是 Duix Mobile

一句话定位:在手机上本地渲染、由语音实时驱动的 2D 数字人 SDK。

核心亮点:

  • 🔌 纯端侧推理,可完全离线运行
  • ⚡ 响应延迟低于 120ms(骁龙 8 Gen 2 实测)
  • 👄 口型同步、动作控制、支持打断
  • 🧩 模块化设计,可自接 LLM/ASR/TTS

它支持 Android、iOS、平板、车机、VR、IoT 等端,官方给出的参考延迟低于 1.5 秒,核心能力本地运行,对网络依赖低。

核心能力速览

能力实现思路开发者收益
语音驱动口型推送 16kHz/16bit 单声道 PCM 流,端侧逐段驱动口型边合成边说,支持打断插话,不用等整段音频
本地渲染C++ 推理引擎(ncnn、onnx)+ Android GLES / iOS Metal 出图透明通道渲染,可自由叠加背景与前景
动作控制模型附带 SpecialAction.json 标注动作区间一句话调用播放"打招呼"等指定动作,也可随机播放
资源管理SDK 内置模型下载与解压工具,也可自建托管换形象只改模型地址,接入成本低

如何快速上手

三步跑通第一个数字人:

  1. 获取代码
git clone https://gitcode.com/GitHub_Trending/du/Duix-Mobile
  1. 环境配置:Android 端要求 Android 10+、8GB 内存设备、1GB 以上可用存储,数字人运行需预留约 800MB 内存,Android Studio 使用 JDK 17;iOS 端要求 iOS 12.0+、Xcode 12+、iPhone 8 及以上,在 Info.plist 中声明麦克风权限。
  2. 首次运行:Android 用 Android Studio 打开duix-android/dh_aigc_android,iOS 打开duix-ios/GJLocalDigitalDemo/GJLocalDigitalDemo.xcworkspace,编译运行 Demo 即可看到数字人播报;把 Demo 中的 modelUrl 换成官方公开模型,就能换形象。

仓库资源导航

代码

  • Android SDK 源码:duix-android/dh_aigc_android/duix-sdk/(含 C++ 核心与 JNI 层)
  • Android Demo:duix-android/dh_aigc_android/test/
  • iOS SDK 源码:duix-ios/GJLocalDigitalDemo/GJLocalDigitalSDK/
  • iOS Demo:duix-ios/GJLocalDigitalDemo/

文档与工具

  • Android SDK 接入文档:duix-android/dh_aigc_android/README_zh.md
  • iOS SDK 接入文档:duix-ios/GJLocalDigitalDemo/README_zh.md
  • 隐私声明:PRIVACYSTATEMENT.md

数字人资源

  • 官方形象库:res/avatar/,含 4 个公开模型 Leo、Oliver、Sofia、Lily 共 14 张形象图
  • 行业模型视频:res/540p/(老师、律师、陪伴、医生)与 res/270p/(财神、观音、女友、寿司师傅)
  • 测试音频素材:duix-android/dh_aigc_android/test/src/main/assets/(PCM、WAV、背景图)

如何参与社区共建

  • 文档:完善中英文 README 与 SDK 接入文档,补充典型问题的排查说明
  • 代码:优化 Android/iOS 封装层与 C++ 核心(如 duix-android/dh_aigc_android/duix-sdk/src/main/cpp/dhunet/ 的推理模块)
  • 案例:落地行业场景(客服、导览、陪伴等)并沉淀接入经验
  • 协议:项目采用 duix.com 社区许可协议,分发时需附带协议并展示 "Powered by Duix.com",详见 LICENSE

私有形象定制可通过 support@duix.com 联系官方,通常提供 15 秒至 2 分钟视频即可完成。

路线图与展望

从仓库版本记录看,迭代方向集中在三处:Android 4.0.1 引入 PCM 流驱动、动作区间播放与自研音频播放器;iOS 1.2.x 陆续增加 128 模型支持与渲染问题修复;带打断的流式音频自 2025 年 7 月 17 日版本起提供。后续可预期的是流式交互、模型兼容范围与端侧渲染稳定性的持续打磨。

Duix Mobile 把"能对话的数字人"从云端拉回了手机本地,离线、低延迟、可自接大模型,是移动端数字人方向里接入成本较低的开源选择。更多接口细节与排查指南,建议直接查阅官方文档。

官方文档 | 开源协议 | 贡献指南

【免费下载链接】Duix-Mobile🚀 The best real-time interactive AI avatar(digital human) with on-premise deployment and <1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询