Ollama介绍
Ollama 是一个专注于本地化运行的开源跨平台工具,它的核心使命是让普通开发者能轻松在自己的电脑上跑起那些庞大的模型。
- 一键部署:如果没有 Ollama,你想在本地跑 DeepSeek,可能需要自己配置复杂的 Python 环境、CUDA 驱动,写几十行代码去加载权重。但有了 Ollama,你只需要敲一行命令 ollama run deepseek-r1:7b,它就会自动帮你下载模型并启动服务。
- 生态丰富:它不仅支持运行 DeepSeek 和 Qwen,还支持 Llama、Gemma 等主流开源模型,相当于一个“模型应用商店”。
- 无缝对接开发:它会在后台开启一个 RESTful API 服务(默认端口为 11434)。这意味着你可以直接用 Spring AI 或 LangChain4j 把请求发给本地的 Ollama,从而调用里面的 Qwen 或 DeepSeek。
Ollama下载安装
访问Ollama官网,根据自己的操作系统选择对应版本下载,个人学习先下载windwos在本机安装学习
https://ollama.com/downloadwindows操作系统安装
下载 exe 傻瓜式安装
linux 系统安装
原生安装方式
# 原生部署方式下载安装指令 直接在服务器执行curl下载curl-fsSLhttps://ollama.com/install.sh|shdocker安装方式
经测试,在 CentOS 7.9 原生系统上直接安装会遇到问题。执行安装脚本后,运行ollama --version命令会提示缺少各种核心依赖库。此外,在不更换操作系统的情况下,升级这些依赖的难度较大。
centos7.9需要使用docker安装
# docker 安装指令sudodockerrun-d-v