Dify接入大模型
2026/6/6 13:20:23 网站建设 项目流程

文章目录

  • 1 本地大模型接入(Ollama 方案)
    • 1.1 什么是 Ollama?
    • 1.2 实战五步走
      • 1.2.1 安装 Ollama
      • 1.2.2 下载模型
      • 1.2.3 验证模型运行
      • 1.2.4 Dify 中配置 Ollama(关键步骤!)
      • 1.2.5 测试
  • 2 API 大模型接入(阿里云百炼方案)
    • 2.1 什么是 API?
    • 2.2 实战五步走
      • 2.2.1 注册阿里云账号
      • 2.2.2 登录百炼平台并实名
      • 2.2.3 获取 API Key(相当于密码)
      • 2.2.4 Dify 中配置 API Key
      • 2.2.5 测试
  • 3 两种方式怎么选?
  • 4 总结

上一篇文章我们讲了什么是Dify以及为什么要使用AI Agent。但工欲善其事,必先利其器。要让 Dify 真正跑起来,第一步就是要给它装上“大脑”——也就是接入大模型。

大模型接入一般分为两种姿势:本地私有化部署(免费、隐私)和云端 API 调用(强大、省心)。


1 本地大模型接入(Ollama 方案)

如果你想保护隐私不想花钱、或者没有网也能用 AI,本地部署是你的首选。这里我们用到的神器叫Ollama

1.1 什么是 Ollama?

简单说,它就是本地大模型的管理员。它能帮你一键下载、安装、运行各种开源大模型(比如 Llama、Qwen 等),不用你折腾复杂的代码环境。

1.2 实战五步走

1.2.1 安装 Ollama

  • 下载地址:https://ollama.com/download
  • 支持系统:Windows、macOS、Linux。
  • 下载完一路“Next”安装即可。

1.2.2 下载模型

安装好后,我们需要下载具体的模型文件。

  • 新手推荐:建议先跑个小模型,不然电脑风扇会疯转。
  • 推荐指令:在终端或 Ollama 界面搜索qwen2.5:1.5b
    • 注:1.5b 代表 15亿参数,体积小,速度快,适合入门测试。

1.2.3 验证模型运行

下载完成后,直接在 Ollama 的对话框里输入问题。如果能正常回复,说明你本地的“大脑”已经激活成功了。

1.2.4 Dify 中配置 Ollama(关键步骤!)

这是最容易出 Bug 的地方,注意看:

  1. 进入 Dify 后台 ->设置->模型供应商
  2. 找到Ollama,点击“添加模型”。
  3. 填写配置
    • 模型名称:填你下载的模型名(如qwen2.5:1.5b)。
    • 基础 URL(重点)
      • 如果你是Docker 部署 Dify 且在同台机器:填http://host.docker.internal:11434
      • 如果是不同机器:填http://你的IP地址:11434(例如http://192.168.1.10:11434)。

1.2.5 测试

在 Dify 里新建一个应用,选择刚配置好的本地模型,聊两句。如果通了,恭喜你,你的 Dify 已经拥有了一颗免费的“心脏”!

2 API 大模型接入(阿里云百炼方案)

如果你觉得本地模型太笨、太慢,想要体验顶级大模型(如通义千问 Qwen-Max)的能力,那就需要用API了。

2.1 什么是 API?

你可以把它理解为租用算力。你不用买显卡,也不用维护服务器,按调用次数给大厂付钱就行。

2.2 实战五步走

2.2.1 注册阿里云账号

  • 网址:https://www.aliyun.com
  • 用手机号注册即可。

2.2.2 登录百炼平台并实名

  • 网址:https://www.aliyun.com/product/bailian
  • 重要:必须完成实名认证。新用户通常会有一定的免费额度,记得查看账户余额。

2.2.3 获取 API Key(相当于密码)

  • 进入控制台:https://bailian.console.aliyun.com/
  • 找到API Key 管理,创建一个新的 Key。
  • 注意:复制保存好这个 Key!它只显示一次,丢了就得重新建。

2.2.4 Dify 中配置 API Key

  1. 回到 Dify 后台 ->模型供应商
  2. 找到通义千问 (Qwen),点击安装。
  3. 填入刚才复制的API Key,保存。

2.2.5 测试

同样新建一个应用,这次选择qwen-maxqwen-plus之类的云端模型。你会发现它的智商明显比本地小模型高一大截。

3 两种方式怎么选?

特性本地模型 (Ollama)API 模型 (阿里云/OpenAI)
成本免费(只需电费)按量付费(Token 计费)
速度取决于你的显卡极快
能力较弱,适合简单任务极强,适合复杂推理
隐私数据不出本地数据上传云端
适用场景学习、涉密文档处理生产环境、复杂业务

4 总结

  1. Ollama是本地跑模型的最好用的工具,适合新手。
  2. API Key是调用云端算力的钥匙,注意保密。
  3. Dify 的强大之处在于:你可以在同一个界面里,随时切换本地模型和云端模型,哪个好用用哪个!

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询