企业官网建设流程全解析

agent-vision-toolkit 是一套面向纯文本大模型（LLM）的开源视觉工具箱，它为 Codex、Claude Code、OpenCode 等 Agent 装上"眼睛"：图片问答、长截图 OCR、前端 UI 还原、GUI 自动化都能完成，还可选无缝接入主流 Agent 框架——你直接粘贴一张图片，纯文本的 DeepSeek 也能"看懂"。

为什么纯文本模型"看不见"图？

很多高性价比的文本模型（如 DeepSeek 系列）本身不支持多模态：Agent 想调用内置看图工具（如view_image）时，会被系统直接拦截——view_image is not allowed because you do not support image inputs。

agent-vision-toolkit 的思路很直接：视觉能力不一定长在模型上，也可以长在 Agent 的"壳"（harness）上。它提供两层能力：

• 视觉工具箱 + Skill：一组本地 CLI 工具，教 Agent 何时看、看哪里、怎么验收，任何能执行 shell 的 Agent 都能用；
• 无缝接入层（可选升级）：透明本地代理 vision_proxy.py 与单文件原生插件，让你粘贴的图片、Agent 内置看图工具都自动走"图片转任务描述"的通路，无需改提示词。

所有代码均已在真实 Codex + DeepSeek 会话中验证，并在 Claude Code、Pi、Oh My Pi、OpenCode 中完成端到端验证。详见 README_CN.md。

核心原理：focus hint 让模型"按任务看图"

市面上的"图片转文字"方案大多让多模态模型输出一段通用描述，再交给文本模型自己猜——中间隔着一层语义，信息必然丢失，这也是"缝合方案必然掉效果"这一刻板印象的来源。

agent-vision-toolkit 的做法是先搞清楚 Agent 为什么要看这张图：从用户消息、或模型调用内置看图工具时自述的理由中提取"看图动机"，作为focus hint一并交给视觉模型。返回的就不再是"一个带侧边栏的软件界面"这种泛泛描述，而是突出当前这一步真正要紧的细节（布局、组件、间距、颜色、层级……）。

同一张图，通用提示词返回的是空泛描述；任务感知方案则围绕"将这个 UI 复刻成一个 HTML 页面"这一意图，精准产出复刻所需的视觉细节——成本更低、准确率更高、响应更快。

文本模型看图常见场景：图片问答、UI 还原、长图 OCR

工具箱内置的 vision-skills 会教 Agent 根据问题选工具：

几个真实效果 📸：

图片问答与调试：DeepSeek 直接看懂 UI 截图，回答"这种前端背景风格叫什么"，并对比 Mesh Gradient、Aurora 等相近风格；

GUI 自动化：用ground在截图中定位国际象棋棋子的坐标，DeepSeek V4 就这样"看着"屏幕自主下棋，一路下到 CHECKMATE：

从手绘稿到成品界面：把一张手绘 JupyterLab 界面交给 Agent：

它能按 UI 还原 playbook 优先复用项目已有组件，结合截图素材、渲染对比逐轮对齐，最终产出可运行的还原界面：

信息图还原：一句话把 PPT 风格信息图复刻为可编辑的 HTML/CSS：

长截图 OCR：对几千像素高的聊天记录长截图，内置脚本会自动寻找安全切口、逐块 OCR、合并重叠内容并输出边界复查报告，180 条消息 0 丢失。完整示例见 examples/long-screenshot-ocr/ 与方法论文档。

一键安装：最快接入方式

最简单的安装方式，是把这句话直接发给你的 Agent（Codex、Claude Code 均可）：

根据 https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit 的仓库指引，在本地安装视觉工具箱和 skill。如果视觉 API 尚未配置，请按当前系统找到配置文件，并引导我填写VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。

你只需要准备一个多模态视觉 API（支持 OpenAI Chat Completions、OpenAI Responses 或 Anthropic Messages 均可）的 base URL、API key 和模型名，Agent 会引导你完成写入。

偏好手动安装的，三步即可：

1. 配置视觉 API：在~/.config/agent-vision-toolkit/env写入VISION_API_KEY、VISION_BASE_URL、VISION_MODEL三个变量；
2. 把 CLI 加入 PATH：git clone https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit后，将bin/目录加入 PATH（glance仅需 Python 3.11+）；
3. 安装 Skill：把skills/vision-skills/复制到 Agent 的 skills 目录（如~/.codex/skills/），重启生效。

无缝接入：粘贴图片即识，内置看图不再报错

如果你希望"粘贴图片直接可用"、Agent 调内置看图工具也不再报错，可以启用可选的接入层（完整流程见 AGENT_INSTALL.md）：

所有入口共享同一份VISION_*配置，配一次，处处可用。

常见问题

再加一个多模态模型，费用会暴涨吗？不会。每次看图只把"意图 + 图片"送入视觉模型上下文，且有截断机制，不存在超长或累积上下文的问题。想进一步省钱，还可以用本地部署的小多模态模型（如 Gemma 4、Qwen 3.5/3.6 系列）充当视觉后端。

有哪些限制？它是"图片转文字"的一层，并不会把视觉 token 直接喂给文本模型；整体效果由主 LLM + 多模态 LLM 共同决定；代理缓存仅存于进程内，重启会清空。

一句话总结：agent-vision-toolkit 证明了纯文本模型不一定要"换模型"才能看图——用对工具箱和方法论，带工具的文本模型 Agent 在多模态任务上的体验，可以无限接近甚至反超原生多模态方案。如果它为你省了时间，不妨去仓库点个 Star，或直接让 Agent 帮你一键装上这双眼睛 👀