Skill Seekers 完整指南:把文档、GitHub 仓库与 PDF 一键转化为可用的 AI Skill
【免费下载链接】Skill_SeekersConvert documentation websites, GitHub repositories, and PDFs into Claude AI skills with automatic conflict detection项目地址: https://gitcode.com/gh_mirrors/sk/Skill_Seekers
本文是 Skill Seekers 的技术导读与实战指南。Skill Seekers 定位为「AI 系统的数据层」,能够将文档站点、GitHub 仓库、PDF、视频、笔记本、Wiki 等 18 类来源,转化为结构化的知识资产,供 AI Skill(Claude、Gemini、OpenAI)、RAG 流水线(LangChain、LlamaIndex、Pinecone)与 AI 编程助手(Cursor、Windsurf、Cline)直接使用;一次准备,可导出到 22 个目标。读完本文,你将掌握从安装、抓取、AI 增强、打包上传到 MCP 集成的完整链路,以及每个环节背后的源码级原理。
一、项目概览与定位
Skill Seekers 是一个 Python 3.10+ 编写的命令行工具与 MCP 服务器(当前仓库 pyproject.toml 中记录的版本为3.10.0.dev0)。它的核心主张是:
- 18 种来源类型:文档网站、GitHub 仓库、本地代码库、PDF、Word、EPUB、Jupyter、OpenAPI/Swagger、PowerPoint、AsciiDoc、本地 HTML、RSS/Atom、man 手册、视频(YouTube/Vimeo/本地)、Confluence、Notion、Slack/Discord 聊天导出等;
- 22 个导出目标:12 个 LLM 平台(claude、gemini、openai、minimax、opencode、kimi、deepseek、qwen、openrouter、together、fireworks、markdown)+ 8 个 RAG/向量库(langchain、llama-index、haystack、chroma、faiss、weaviate、qdrant、pinecone)+ atlas、ibm-bob;
- 一次抓取,处处可用:抓取与增强只做一次,导出时按目标平台重新打包,无需重复抓取。
这个定位在仓库源码中也有印证:src/skill_seekers/cli/下聚集了create_command.py、package_skill.py、enhance_command.py、unified_scraper.py、scan_command.py等数十个命令模块,入口统一由 src/skill_seekers/cli/main.py 调度,COMMAND_CLASSES与COMMAND_MODULES两张表注册了create、scan、doctor、enhance、package、upload、install-agent、sync-config、stream、update、multilang等全部子命令。
二、快速开始:3 条命令拿到第一个 Skill
安装并创建第一个 Skill 只需三步:
# 1. 安装 pip install skill-seekers # 2. 从任意来源创建 skill skill-seekers create https://docs.djangoproject.com/ # 3. 为指定 AI 平台打包 skill-seekers package output/django --target claude执行完毕后,你会在output/下得到django-claude.zip,可直接用于 Claude。
2.1 更换增强用的 AI 代理
create默认使用 claude 作为增强代理,可通过--agent切换,或用--agent-cmd指向任意自定义 CLI 代理:
skill-seekers create https://docs.djangoproject.com/ --agent kimi skill-seekers create https://docs.djangoproject.com/ --agent-cmd "my-custom-agent run"从源码结构看,这条调用链由 src/skill_seekers/cli/create_command.py 接收参数、source_detector.py完成来源自动识别,再交由enhance_command.py调用统一传输层(AgentClient)完成增强,这正是 README 所述「单一传输、多代理」设计(详见 docs/reference/API_REFERENCE.md)。
2.2 AI 驱动的项目扫描(scan)
scan命令让 AI 代理读取项目的 manifests、README、Dockerfile/CI 以及源码 import 样本,为检测到的每个框架生成一份配置,并额外产出一份<project>-codebase.json描述项目自身代码:
skill-seekers scan ./my-react-app --out ./configs/scanned/ # → react.json, vite.json, tailwind.json, jest.json, my-react-app-codebase.json skill-seekers create ./configs/scanned/react.json如果检测到的技术栈没有现成 preset,AI 会现场生成一份新配置;退出时可选择将其发布到社区配置仓库。
2.3 18 种来源的调用一览
| 来源 | 命令示例 |
|---|---|
| GitHub 仓库 | skill-seekers create facebook/react |
| 本地代码库 | skill-seekers create ./my-project |
skill-seekers create manual.pdf | |
| Word | skill-seekers create report.docx |
| EPUB | skill-seekers create book.epub |
| Jupyter | skill-seekers create notebook.ipynb |
| OpenAPI/Swagger | skill-seekers create openapi.yaml |
| PowerPoint | skill-seekers create presentation.pptx |
| AsciiDoc | skill-seekers create guide.adoc |
| 本地 HTML | skill-seekers create page.html |
| RSS/Atom | skill-seekers create feed.rss |
| man 手册 | skill-seekers create curl.1 |
| 视频(YouTube/Vimeo/本地) | skill-seekers create --video-url https://www.youtube.com/watch?v=... --name mytutorial(需skill-seekers[video]) |
| 视频依赖安装 | skill-seekers create --setup(按 GPU 自动安装视觉依赖) |
| Confluence | skill-seekers create --space-key TEAM --name wiki |
| Notion | skill-seekers create --database-id ... --name docs |
| Slack/Discord | skill-seekers create --chat-export-path ./slack-export --name team-chat |
每种来源的完整选项参见 docs/user-guide/02-scraping.md。这些来源类型在源码中也以白名单形式固化:src/skill_seekers/cli/config_validator.py中的VALID_SOURCE_TYPES集合列出了documentation、github、pdf、local、word、video、epub、jupyter、html、openapi、asciidoc、pptx、confluence、notion、rss、manpage、chat等类型,任何不属于该集合的type都会被校验器直接拒绝。
三、安装方式与可选依赖
pip install skill-seekers # 核心:scraping、GitHub、PDF、打包 pip install skill-seekers[all-llms] # + 所有 LLM 平台 pip install skill-seekers[mcp] # + MCP 服务器 pip install skill-seekers[all] # 全部拿不准需要什么?直接运行交互式向导skill-seekers-setup。
完整 extras 一览(与 pyproject.toml 的[project.optional-dependencies]逐项对应):
| 安装 | 增加能力 |
|---|---|
skill-seekers[gemini] | Google Gemini 支持 |
skill-seekers[openai] | OpenAI ChatGPT 支持 |
skill-seekers[all-llms] | 所有 LLM 平台 |
skill-seekers[mcp] | Claude Code、Cursor 等使用的 MCP 服务器 |
skill-seekers[video] | YouTube/Vimeo 字幕与元数据提取 |
skill-seekers[video-full] | + Whisper 转写、视觉帧提取 |
skill-seekers[jupyter] | Jupyter Notebook 支持 |
skill-seekers[pptx] | PowerPoint 支持 |
skill-seekers[confluence] | Confluence Wiki 支持 |
skill-seekers[notion] | Notion 页面支持 |
skill-seekers[rss] | RSS/Atom 支持 |
skill-seekers[chat] | Slack/Discord 聊天导出支持 |
skill-seekers[asciidoc] | AsciiDoc 支持 |
skill-seekers[all] | 全部 |
视频视觉依赖说明:安装
skill-seekers[video-full]后,需执行skill-seekers create --setup让工具自动检测 GPU 并安装对应版本的 PyTorch 与 easyocr。相关实现可见 src/skill_seekers/cli/video_setup.py。
前置条件:Python 3.10+ 与 Git。首次使用建议直接阅读 docs/getting-started/BULLETPROOF_QUICKSTART.md。
四、文档导航
| 想做什么 | 读什么 |
|---|---|
| 快速上手 | docs/getting-started/02-quick-start.md |
| 理解核心概念 | docs/user-guide/01-core-concepts.md |
| 提取来源 | docs/user-guide/02-scraping.md |
| AI 增强 | docs/user-guide/03-enhancement.md · docs/features/ENHANCEMENT_MODES.md |
| 导出 Skill | docs/user-guide/04-packaging.md |
| 工作流 | docs/user-guide/05-workflows.md |
| 查询命令 | docs/reference/CLI_REFERENCE.md |
| 配置 | docs/reference/CONFIG_FORMAT.md · docs/reference/ENVIRONMENT_VARIABLES.md |
| MCP 配置 | docs/guides/MCP_SETUP.md · docs/reference/MCP_REFERENCE.md |
| RAG / IDE 集成 | docs/integrations/LANGCHAIN.md · docs/integrations/RAG_PIPELINES.md · docs/integrations/CURSOR.md · docs/integrations/WINDSURF.md · docs/integrations/CLINE.md |
| 超大文档集 | docs/reference/LARGE_DOCUMENTATION.md |
| 架构理解 | docs/UML_ARCHITECTURE.md |
| 排障 | docs/user-guide/06-troubleshooting.md |
完整文档索引见 docs/README.md。
五、你能得到什么
| 使用场景 | 产出 | 驱动对象 |
|---|---|---|
| AI Skills | 一份完整SKILL.md+ 引用文件 | Claude Code、Gemini、GPT |
| RAG 流水线 | 带丰富元数据的文档分块 | LangChain、LlamaIndex、Haystack |
| 向量数据库 | 预格式化、可直接 upsert 的数据 | Pinecone、Chroma、Weaviate、FAISS、Qdrant |
| AI 编程助手 | IDE 的 AI 自动读取的上下文文件 | Cursor、Windsurf、Cline、Continue.dev |
5.1 导出目标与命令
skill-seekers package output/react --target claude # → Claude Skill(ZIP + YAML) skill-seekers package output/react --target langchain # → LangChain 文档 skill-seekers package output/react --target llama-index # → LlamaIndex TextNodes skill-seekers package output/react --target ibm-bob # → IBM Bob skill 目录平台兼容性细节参见 docs/reference/FEATURE_MATRIX.md。从源码看,src/skill_seekers/cli/adaptors/目录下每个目标对应一个 adaptor 文件(claude.py、gemini.py、langchain.py、chroma.py、pinecone_adaptor.py、qdrant.py、weaviate.py、ibm_bob.py等),它们共同继承统一的SkillAdaptor抽象基类(src/skill_seekers/cli/adaptors/base.py),这就是「单一来源、22 目标」的底层机制。
5.2 为什么值得用
- 速度快:从数天的人工数据准备缩短到 15–45 分钟(README 自称「99% 更快」,属于项目自述口径);
- Skill 质量高:生成的
SKILL.md常超过 500 行,包含示例、模式与指南; - RAG 就绪分块:智能分块保留代码块与上下文结构;
- 多来源融合:文档 + GitHub + PDF + 视频可合成单一知识资产;
- 一次准备、多目标导出:无需重复抓取;
- 测试充分:README 声称超过 3,900 项测试、68 个 workflow preset,仓库中 tests/ 目录与
src/skill_seekers/workflows/下的 68 个 YAML(如default.yaml、unity-game-dev.yaml、api-documentation.yaml)与之对应。
六、核心能力详解
6.1 文档抓取:SPA 三层发现 + llms.txt + 容错解析
对 JavaScript SPA 站点采用三层发现策略:
sitemap.xml优先;- 无 sitemap 时尝试
llms.txt(存在时抓取速度约提升 10 倍); - 兜底使用无头浏览器渲染。
同时具备主题智能分类、以及容忍坏标记的 HTML 容错解析器(html5lib兜底,见 pyproject.toml 依赖注释),保证畸形页面也能被提取而非得到空结果。
→ docs/user-guide/02-scraping.md · docs/reference/LLMS_TXT_SUPPORT.md
6.2 GitHub 与代码库分析(C3.x):AST、模式检测、实操指南
三条分析流并行:代码分析(AST、设计模式、测试)、文档分析(README、docs/、wiki)、社区分析(issues、PR、元数据)。C3.x 管线进一步提供:10 个 GoF 模式检测器(覆盖 9 种语言)、从测试中提取使用示例、AI 编写的实操指南、配置提取与架构摘要。
skill-seekers create ./my-project --preset quick # 1–2 分钟,浅层 skill-seekers create ./my-project --preset standard # 均衡(默认) skill-seekers create ./my-project --preset comprehensive # 深度全面→ docs/features/PATTERN_DETECTION.md · docs/features/HOW_TO_GUIDES.md · docs/features/TEST_EXAMPLE_EXTRACTION.md
6.3 AI 增强:API 模式与 LOCAL 模式
每次 AI 调用都经过同一传输层,支持两种模式:
- API 模式:Anthropic、Google Gemini、OpenAI、Moonshot/Kimi、MiniMax,产生 API 费用;
- LOCAL 模式:Claude Code、Kimi Code、Codex、Copilot、OpenCode、自定义 agent,零 API 成本。
深度由--enhance-level 0-3控制,代理由--agent选择:
skill-seekers create ./my-project --enhance-level 2 --agent gemini→ docs/user-guide/03-enhancement.md · docs/features/ENHANCEMENT_MODES.md · docs/guides/MULTI_AGENT_SETUP.md
6.4 统一多源抓取:一份配置融合所有来源
单个配置文件可同时聚合文档、GitHub、PDF、视频等来源为一份知识资产,并支持来源间的冲突检测与两两合成。仓库中的 configs/react.json 就是典型样例:sources数组同时声明了documentation(base_url 指向 react.dev,含selectors、url_patterns、categories、rate_limit)与github(repo 指向 facebook/react,含code_analysis_depth、max_issues等)。
→ docs/features/UNIFIED_SCRAPING.md · docs/reference/CONFIG_FORMAT.md
6.5 视频提取:三级转写兜底 + 屏幕代码 OCR
支持 YouTube、Vimeo 与本地文件。转写按「字幕 → YouTube 转写 API → 本地 Whisper」三级兜底;可选视觉提取对采样帧中的屏幕代码做 OCR。
→ docs/VIDEO_GUIDE.md
6.6 质量、同步与规模化
- 质量门槛:
skill-seekers quality output/react/ --threshold 7用评分卡住低质量产出; - 变更同步:检测文档变更、定时重新抓取并发送通知;
- 超大文档集:流式摄取 + 增量更新,支撑 10K–40K+ 页。
→ docs/reference/LARGE_DOCUMENTATION.md · docs/reference/CODE_QUALITY.md
七、MCP 集成:40 个工具
Skill Seekers 自带 MCP 服务器,可接入 Claude Code、Cursor、Windsurf、VS Code + Cline、IntelliJ IDEA:
# stdio 模式(Claude Code、VS Code + Cline) python -m skill_seekers.mcp.server_fastmcp # HTTP 模式(Cursor、Windsurf、IntelliJ) python -m skill_seekers.mcp.server_fastmcp --transport http --port 8765接入后只需对助手说一句「把 React 的 skill 打包并上传」即可。从源码结构看,MCP 工具按主题拆分为 10 个模块(见 src/skill_seekers/mcp/tools/):scraping_tools.py、config_tools.py、packaging_tools.py、vector_db_tools.py、workflow_tools.py、marketplace_tools.py等。
→ docs/guides/MCP_SETUP.md · docs/reference/MCP_REFERENCE.md · docs/guides/HTTP_TRANSPORT.md
八、安装到 AI 编程代理
生成的 Skill 可一键安装到 19 个 AI 编程代理:
skill-seekers install-agent output/react/ --agent cursor skill-seekers install-agent output/react/ --agent all # 安装到所有已检测代理 skill-seekers install-agent output/react/ --agent cursor --dry-run--dry-run只预览不写入。各代理的安装路径在 src/skill_seekers/cli/install_agent.py 的AGENT_PATHS字典中定义,分「全局(home 目录)」与「项目级(当前目录)」两类:
| 代理 | 路径 | 范围 |
|---|---|---|
| Claude Code | ~/.claude/skills/ | 全局 |
| Cursor | .cursor/skills/ | 项目 |
| VS Code / Copilot | .github/skills/ | 项目 |
| Amp | ~/.amp/skills/ | 全局 |
| Goose | ~/.config/goose/skills/ | 全局 |
| OpenCode | ~/.opencode/skills/ | 全局 |
| Letta | ~/.letta/skills/ | 全局 |
| Aide | ~/.aide/skills/ | 全局 |
| Windsurf | ~/.windsurf/skills/ | 全局 |
| Neovate | ~/.neovate/skills/ | 全局 |
| Roo Code | .roo/skills/ | 项目 |
| Cline | .cline/skills/ | 项目 |
| Aider | ~/.aider/skills/ | 全局 |
| Bolt | .bolt/skills/ | 项目 |
| Kilo Code | .kilo/skills/ | 项目 |
| Continue | ~/.continue/skills/ | 全局 |
| Kimi Code | ~/.kimi/skills/ | 全局 |
| IBM Bob | .bob/skills/ | 项目 |
注:README 表格列出 19 个代理,源码
AGENT_PATHS中还包含opencode等条目,以仓库实际代码为准。
上传到 Claude
export ANTHROPIC_API_KEY=sk-ant-... skill-seekers package output/react/ --upload # 打包并上传 skill-seekers upload output/react.zip # 上传已有 zip没有 API Key?打包后在 claude.ai/skills 手动上传output/react.zip即可。→ docs/guides/UPLOAD_GUIDE.md
九、工作原理与整体架构
官方 mermaid 流程如下:
五个阶段:抓取(优先检查llms.txt)→分类(按 API、指南、教程等主题组织)→增强(AI 写出带示例的完整SKILL.md)→打包(生成平台就绪产物)→上传(可选)。
架构:8 个主模块 + 5 个工具模块(约 200 个类)
| 模块 | 职责 |
|---|---|
| CLICore | Git 风格命令分发器,来源自动检测 |
| Scrapers | 18 个来源提取器,共享构建层 |
| Adaptors | 22 个平台输出格式,统一继承SkillAdaptorABC |
| Analysis | 代码库 C3.x 管线,10 个 GoF 模式检测器 |
| Enhancement | 经统一AgentClient传输的 AI 增强 |
| Packaging | Skill 的打包、上传与安装 |
| MCP | FastMCP 服务器(40 个工具) |
| Sync | 文档变更检测与通知 |
→ docs/UML_ARCHITECTURE.md · docs/reference/API_REFERENCE.md · docs/reference/SKILL_ARCHITECTURE.md
十、v3.9.0 主要新特性(README 自述)
- 坏标记 HTML 容错解析:严重畸形的页面不再被提取为空,正常页面保持字节级一致;
- 瞬时故障重试:文档抓取与 MCP
fetch_config对断连与 5xx 做退避重试,4xx 立即失败; - Whisper 转写兜底:无字幕的本地视频也能获得真实转写;
- MiniMax 图片 OCR 与多模态注册:供应商在注册表中声明通信协议与图像能力,中国区签发的 Key 走正确端点;
- GitHub issues 默认更省 token:GitHub skill 不再默认包含全部已关闭 issue 历史;
- 可配置 CORS:三个服务器支持按环境配置 CORS,告别带凭据的通配 origin。
完整历史见 CHANGELOG.md。
十一、性能参考
| 文档规模 | 耗时 | 输出 |
|---|---|---|
| 小(< 100 页) | 5–10 分钟 | 约 2 MB |
| 中(100–500 页) | 15–30 分钟 | 约 10 MB |
| 大(500–2,000 页) | 30–60 分钟 | 约 40 MB |
| 超大(10K–40K+ 页) | 使用stream | 见 docs/reference/LARGE_DOCUMENTATION.md |
以上数据为 README 中的自述参考值,实际耗时取决于网络、目标站点结构与所选增强级别。
十二、排障与体检
skill-seekers doctor # 诊断安装与环境 skill-seekers sync-config # 检测配置偏差常见问题与解决方案见 docs/user-guide/06-troubleshooting.md 与 docs/TROUBLESHOOTING.md。doctor对应源码 src/skill_seekers/cli/doctor.py,sync-config对应 src/skill_seekers/cli/sync_config.py。
十三、周边生态与许可证
Skill Seekers 是一个多仓库项目,除本仓库(CLI 主程序 + MCP 服务器)外,还包括 Web 站点与文档仓库、社区配置仓库(skill-seekers-configs)、GitHub Action(distribution/github-action/)、Claude Code 插件(distribution/claude-plugin/)以及 Homebrew tap。项目以 MIT 协议开源(见 LICENSE),贡献指南见 CONTRIBUTING.md。
【免费下载链接】Skill_SeekersConvert documentation websites, GitHub repositories, and PDFs into Claude AI skills with automatic conflict detection项目地址: https://gitcode.com/gh_mirrors/sk/Skill_Seekers
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考