文章目录
- 1 本地大模型接入(Ollama 方案)
- 1.1 什么是 Ollama?
- 1.2 实战五步走
- 1.2.1 安装 Ollama
- 1.2.2 下载模型
- 1.2.3 验证模型运行
- 1.2.4 Dify 中配置 Ollama(关键步骤!)
- 1.2.5 测试
- 2 API 大模型接入(阿里云百炼方案)
- 2.1 什么是 API?
- 2.2 实战五步走
- 2.2.1 注册阿里云账号
- 2.2.2 登录百炼平台并实名
- 2.2.3 获取 API Key(相当于密码)
- 2.2.4 Dify 中配置 API Key
- 2.2.5 测试
- 3 两种方式怎么选?
- 4 总结
上一篇文章我们讲了什么是Dify以及为什么要使用AI Agent。但工欲善其事,必先利其器。要让 Dify 真正跑起来,第一步就是要给它装上“大脑”——也就是接入大模型。
大模型接入一般分为两种姿势:本地私有化部署(免费、隐私)和云端 API 调用(强大、省心)。
1 本地大模型接入(Ollama 方案)
如果你想保护隐私、不想花钱、或者没有网也能用 AI,本地部署是你的首选。这里我们用到的神器叫Ollama。
1.1 什么是 Ollama?
简单说,它就是本地大模型的管理员。它能帮你一键下载、安装、运行各种开源大模型(比如 Llama、Qwen 等),不用你折腾复杂的代码环境。
1.2 实战五步走
1.2.1 安装 Ollama
- 下载地址:https://ollama.com/download
- 支持系统:Windows、macOS、Linux。
- 下载完一路“Next”安装即可。
1.2.2 下载模型
安装好后,我们需要下载具体的模型文件。
- 新手推荐:建议先跑个小模型,不然电脑风扇会疯转。
- 推荐指令:在终端或 Ollama 界面搜索
qwen2.5:1.5b。- 注:1.5b 代表 15亿参数,体积小,速度快,适合入门测试。
1.2.3 验证模型运行
下载完成后,直接在 Ollama 的对话框里输入问题。如果能正常回复,说明你本地的“大脑”已经激活成功了。
1.2.4 Dify 中配置 Ollama(关键步骤!)
这是最容易出 Bug 的地方,注意看:
- 进入 Dify 后台 ->设置->模型供应商。
- 找到Ollama,点击“添加模型”。
- 填写配置:
- 模型名称:填你下载的模型名(如
qwen2.5:1.5b)。 - 基础 URL(重点):
- 如果你是Docker 部署 Dify 且在同台机器:填
http://host.docker.internal:11434 - 如果是不同机器:填
http://你的IP地址:11434(例如http://192.168.1.10:11434)。
- 如果你是Docker 部署 Dify 且在同台机器:填
- 模型名称:填你下载的模型名(如
1.2.5 测试
在 Dify 里新建一个应用,选择刚配置好的本地模型,聊两句。如果通了,恭喜你,你的 Dify 已经拥有了一颗免费的“心脏”!
2 API 大模型接入(阿里云百炼方案)
如果你觉得本地模型太笨、太慢,想要体验顶级大模型(如通义千问 Qwen-Max)的能力,那就需要用API了。
2.1 什么是 API?
你可以把它理解为租用算力。你不用买显卡,也不用维护服务器,按调用次数给大厂付钱就行。
2.2 实战五步走
2.2.1 注册阿里云账号
- 网址:https://www.aliyun.com
- 用手机号注册即可。
2.2.2 登录百炼平台并实名
- 网址:https://www.aliyun.com/product/bailian
- 重要:必须完成实名认证。新用户通常会有一定的免费额度,记得查看账户余额。
2.2.3 获取 API Key(相当于密码)
- 进入控制台:https://bailian.console.aliyun.com/
- 找到API Key 管理,创建一个新的 Key。
- 注意:复制保存好这个 Key!它只显示一次,丢了就得重新建。
2.2.4 Dify 中配置 API Key
- 回到 Dify 后台 ->模型供应商。
- 找到通义千问 (Qwen),点击安装。
- 填入刚才复制的API Key,保存。
2.2.5 测试
同样新建一个应用,这次选择qwen-max或qwen-plus之类的云端模型。你会发现它的智商明显比本地小模型高一大截。
3 两种方式怎么选?
| 特性 | 本地模型 (Ollama) | API 模型 (阿里云/OpenAI) |
|---|---|---|
| 成本 | 免费(只需电费) | 按量付费(Token 计费) |
| 速度 | 取决于你的显卡 | 极快 |
| 能力 | 较弱,适合简单任务 | 极强,适合复杂推理 |
| 隐私 | 数据不出本地 | 数据上传云端 |
| 适用场景 | 学习、涉密文档处理 | 生产环境、复杂业务 |
4 总结
- Ollama是本地跑模型的最好用的工具,适合新手。
- API Key是调用云端算力的钥匙,注意保密。
- Dify 的强大之处在于:你可以在同一个界面里,随时切换本地模型和云端模型,哪个好用用哪个!