企业官网建设流程全解析

Ollama 用户必看：LLM Checker 深度集成本地大模型生态的完整攻略

【免费下载链接】llm-checkerAdvanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM models you can run locally, with full Ollama integration.项目地址: https://gitcode.com/gh_mirrors/ll/llm-checker

LLM Checker（llm-checker）是一款开源的命令行硬件检测工具：它扫描你的 CPU、GPU 和内存，从内置的 Ollama 模型目录与 3.3 万+ 多源模型注册表中，精确告诉你本机到底能跑哪些 LLM / sLLM 本地大模型，并给出具体的ollama pull安装命令。对 Ollama 用户来说，它解决的是最头疼的问题——"我这台机器到底该装哪个模型？"。

为什么 Ollama 用户需要 LLM Checker

装了 Ollama 之后，很多人面临的困境是：

• 模型库里有成百上千个模型和量化版本，不知从何下手
• 拉了个大模型结果内存不够、直接 OOM 崩溃
• 不知道num_ctx、并行数这些参数该设多少才安全

LLM Checker 的定位就是Ollama 之上的"实操运营层"：硬件感知 → 四维评分 → 给出可执行建议。详见 docs/guides/ollama-critical-needs-roadmap.md。

快速安装：3 分钟上手

要求Node.js 18+，并安装好 Ollama 本体（LLM Checker 负责选模型，Ollama 负责跑模型）。

# 全局安装（推荐） npm install -g llm-checker # 或者不安装直接试一下硬件检测 npx llm-checker hw-detect

💡 如果包管理器跳过了可选依赖导致 SQLite 相关命令报错，用npm install -g llm-checker --include=optional重装即可。

第一步：hw-detect 扫描硬件能力

llm-checker hw-detect

它会输出硬件层级（Tier）、可承载的最大模型体积、最佳推理后端（metal / CUDA / ROCm / CPU）等信息，例如：

Summary: Apple M4 Pro (24GB Unified Memory) Tier: MEDIUM HIGH Max model size: 15GB Best backend: metal

支持 Apple Silicon、NVIDIA CUDA、AMD ROCm、Intel Arc 以及混合核显笔记本，硬件检测逻辑在 src/hardware/detector.js 与 src/hardware/backends/ 目录下。

核心工作流：从检测到运行只需 5 条命令

llm-checker hw-detect # 1. 检测硬件 llm-checker recommend --category coding # 2. 按类别获取推荐 llm-checker sync # 3. 刷新 Ollama 模型目录 llm-checker ai-run --category coding \ --prompt "Write a hello world in Python" # 4. 自动选模型并运行

recommend命令会按 coding / reasoning / multimodal 等类别输出评分 Top 模型和拉取命令：

Coding: qwen2.5-coder:14b (14B) Score: 78/100 Command: ollama pull qwen2.5-coder:14b

四维评分系统：推荐结果的依据

每个模型都从四个维度打分，权重随使用场景变化（权重配置集中在 src/models/scoring-config.js）：

check、recommend、smart-recommend三个命令共用同一个确定性评分核心 src/models/scoring-core.js，同样的输入在任何命令下都会得到一致排名。

深度集成 Ollama 生态的 4 个实战技巧

技巧 1：用 sync 保持模型目录最新

llm-checker sync

工具自带一份预同步的 SQLite 模型目录（229 个 Ollama 模型、7176 个变体），首次运行即拷到~/.llm-checker/models.db，离线也能推荐；sync可随时刷新为 Ollama 官方最新数据。

技巧 2：给已装模型"排名体检"

llm-checker installed

把你已经下载的 Ollama 模型按硬件兼容性重新排名，帮你发现"装错了模型"的情况。

技巧 3：ollama-plan 生成安全运行参数

Ollama 用户最容易踩的坑就是内存崩溃。这条命令会计算安全的NUM_CTX、NUM_PARALLEL、MAX_LOADED_MODELS环境值：

llm-checker ollama-plan

规划逻辑实现在 src/ollama/capacity-planner.js。

技巧 4：ai-run 实时 tokens/sec 指标

ai-run自动挑选已安装的最佳模型，通过 Ollama 流式输出，并在回答末尾附上实测速度：

>>> hi Hello! How can I help you today? [42.8 tokens/sec]

配合--verify还能在运行前对模型文件做结构安全校验（ModelVet），避免加载可疑文件。Ollama 客户端与增强抓取逻辑分别在 src/ollama/client.js 和 src/ollama/enhanced-scraper.js。

进阶：让 AI 助手直接管理你的本地模型

LLM Checker 内置MCP 服务器，一条命令接入 Claude Code、Cursor、Codex 等 MCP 兼容客户端：

llm-checker mcp-setup --client claude

接入后，你只需对助手说"给我的硬件推荐最佳编码模型""清理一下我的 Ollama 冗余模型"，助手会自动调用hw_detect、recommend、ollama_list等工具给出结果。

多模型校准路由：按实测数据自动选路

如果你有多个候选模型，可以用calibrate基于自己的提示词套件生成路由策略，之后recommend/ai-run自动按策略分流：

cp ./docs/fixtures/calibration/sample-suite.jsonl ./sample-suite.jsonl llm-checker calibrate \ --suite ./sample-suite.jsonl \ --models qwen2.5-coder:7b llama3.2:3b \ --runtime ollama --objective balanced --dry-run \ --output ./artifacts/calibration-result.json \ --policy-out ./artifacts/calibration-policy.yaml llm-checker ai-run --calibrated ./artifacts/calibration-policy.yaml \ --category coding --prompt "Refactor this function"

示例策略文件见 docs/fixtures/calibration/sample-generated-policy.yaml，校准管理器源码在 src/calibration/calibration-manager.js。

常见问题速查

延伸阅读

• 使用指南：docs/guides/usage-guide.md
• 进阶用法（CI/CD 集成、环境变量）：docs/guides/advanced-usage.md
• 技术参考：docs/reference/technical-docs.md
• 智能选型源码：src/ai/intelligent-selector.js
• 评分引擎源码：src/models/scoring-engine.js

如果习惯从源码跑，可以克隆仓库https://gitcode.com/gh_mirrors/ll/llm-checker后用node bin/enhanced_cli.js hw-detect直接体验。

【免费下载链接】llm-checkerAdvanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM models you can run locally, with full Ollama integration.项目地址: https://gitcode.com/gh_mirrors/ll/llm-checker