☰
公众号文章存进知识库:chubbyskills 文章与 PDF 双路径采集完整教程
2026/10/13 21:20:45 网站建设 项目流程
  • AI 技能/插件
  • 知识管理
  • MCP 服务
  • CLI

【免费下载链接】chubbyskills

把中文全渠道内容(抖音 / B站 / 小红书 / 公众号 / X / 播客)采集进个人知识库的 14 个 AI Skill:图文存图、视频转文字稿、字幕优先免 GPU、RSS/YouTube 订阅调度与每日情报简报,附带知识库 MCP server。| Ingest Chinese content into your personal knowledge base — image/video routing, subtitle-first transcription, feed subscriptions with daily digests, and a KB MCP server.

项目地址:https://gitcode.com/gh_mirrors/ch/chubbyskills
点击查看免费下载

chubbyskills 是一款面向中文内容创作者的开源知识库工具,能把微信公众号文章一键采集进本地知识库。本文围绕「公众号文章存进知识库」这个高频需求,完整讲解文章链接抓取与PDF 导入两条采集路径,以及如何把原文加工成观点提取和问题链,帮新手快速搭起一个能搜索、能回查来源的个人素材库。

一、为什么要把公众号文章存进知识库

在微信里"收藏"一篇文章很容易,但真要用起来时往往翻不出来:

  • 收藏的文章搜不到,写作引用时找不回原文;
  • 截图、复制粘贴格式混乱,还丢了来源和作者;
  • 没有统一索引,素材越攒越乱。

chubbyskills 做的事,就是把公众号文章转成带 frontmatter 的 Markdown(标题、作者、来源、时间都写进元数据),存入本地知识库,之后可以搜索、回查来源、导出资料包、交给 Agent 提炼。

公众号链接 / PDF → Markdown 原文 → 本地搜索 → 带出处资料包 → Agent 整理
你遇到的情况chubbyskills 提供的能力
文章在浏览器 / 微信里,想存下来链接直接抓取转 Markdown
已经导出成 PDFPDF 文字层提取入库
存完想快速找回来本地关键词搜索,自动更新索引
写作时要引用证据导出带行号、来源、SHA-256 的资料包
想让 AI 帮你提炼A 层观点提取 + B 层问题链

二、准备工作:安装 chubbyskills 与依赖

2.1 获取仓库

git clone https://gitcode.com/gh_mirrors/ch/chubbyskills cd chubbyskills

2.2 安装公众号处理依赖

bash setup.sh wechat

这条命令会安装公众号处理所需的beautifulsoup4(解析网页)、markitdown与pymupdf(提取 PDF)。

⚠️ PDF 提取里的 MarkItDown 需要 Python 3.10+,统一 CLI 建议 Python 3.11+。先用python3 --version确认一下,macOS 自带的 3.9 可能不够。运行依赖清单见 docs/installation.md。

三、路径一:公众号链接直接抓取(推荐)

链接抓取能尽量保留标题层级、图片和正文链接,是首选。公众号文章 URL 是公开的,不需要登录。

3.1 用统一 CLI 一条命令入库

推荐走统一命令,采集后自动进知识库并更新索引:

CHUBBY_VAULT="$HOME/Documents/creator-vault" python3 tools/chubby.py init --vault "$CHUBBY_VAULT" python3 tools/chubby.py ingest "https://mp.weixin.qq.com/s/xxxxx" --no-enrich
  • --no-enrich:只采集,不调用内容加工 API,离线可控;
  • 产物落到00_Inbox/,自带 frontmatter(标题、作者、来源、时间)。

公众号平台的来源类型与失败兜底,声明在 platforms/wechat.yaml:article/pdf两种来源,抓不到时可回退到已保存的 HTML 或 PDF。

3.2 用 Skill 脚本单独抓取

想先看提取效果、不接统一索引时,可直接跑 skill 脚本:

python3 wechat-article-ingest/scripts/fetch_article.py "https://mp.weixin.qq.com/s/xxxxx" --output ./output

它会尽量保留:

  • 标题层级:h1/h2/h3→ Markdown 标题;
  • 图片:data-src/src→ Markdown 图片引用;
  • 正文链接:<a>→ Markdown 链接。

脚本见 wechat-article-ingest/scripts/fetch_article.py。

3.3 采集后的产物长什么样

产物是一份带 frontmatter 的 Markdown(示例见 examples/outputs/wechat-sample.md):

--- title: 公众号文章样例 platform: wechat source: https://mp.weixin.qq.com/s/example author: 示例公众号 created: 2026-06-30 tags: [公众号] --- # 公众号文章样例 这是一篇公众号文章采集样例。正文会尽量保留标题层级、图片和链接。

四、路径二:PDF 导入采集

当链接抓取被防盗链拦住,或你已经用「笔记同步助手」等工具把文章导成了 PDF,就走 PDF 路径。

4.1 用 Skill 脚本提取 PDF

python3 wechat-article-ingest/scripts/extract.py "path/to/article.pdf" --output ./output

提取逻辑是先用 MarkItDown 转 Markdown,内容不够再回退到 PyMuPDF 按页取文字。脚本见 wechat-article-ingest/scripts/extract.py。

4.2 用统一 import 命令入库

更推荐直接走统一导入入口,和路径一共享搜索与索引:

python3 tools/chubby.py import "path/to/article.pdf" \ --source-url "https://mp.weixin.qq.com/s/xxxxx" --no-enrich
  • 只提取已有文字层,不做 OCR;扫描件需先用其他工具识别;
  • --source-url只记录原始来源,不下载网页;
  • 详细规则见 docs/document-import.md。

💡 链接模式比 PDF 模式更能保留图片和链接,能走路径一尽量走路径一。

五、进阶:A+B 加工,把原文变成观点与问题链

光存下原文还不够。wechat skill 支持A 层观点提取 + B 层问题链生成(需 Agent 配合):

帮我处理这篇文章:https://mp.weixin.qq.com/s/xxxxx 提取观点 + 问题链

5.1 A 层:观点提取

生成观点提取-{作者}-{主题}.md:

层级含义
🔴 支柱观点(P1-P6)文章最核心的论点
🟡 支撑观点(S1-S8)支撑支柱的论据
🟢 延伸观点(E1-E4)可以延伸思考的方向
Takeaway每条含核心观点 + 行动指向

5.2 B 层:问题链

生成问题链-{作者}-{主题}.md:3-5 条问题链,每条对应一个核心主题,分L1(安全区)→ L2(边缘区)→ L3(核心区),每条链 6 道问题,最后给一个"终局种子"带回家。

六、入库之后:搜索原文与导出资料包

采集入库后索引会增量同步,写作时随时搜回来:

python3 tools/chubby.py search "文章里的关键词"

需要一份带出处和行号的资料包交给 Agent 整理选题:

python3 tools/chubby.py brief --topic "文章主题" \ --output "$CHUBBY_VAULT/30_Output/brief.md"

brief输出逐字摘录、原文行号、来源链接和文件 SHA-256,引用时能回查。完整工作流见 docs/creator-workflow.md。

七、知识库目录结构

素材默认按下面方式落盘,用 Obsidian 或任意文本编辑器都能直接打开:

知识库/ ├── 素材库/ │ └── 公众号文章/ │ └── {公众号名}/ │ └── article.md └── wiki/ └── 外部输入/ └── 公众号/ └── {公众号名}/ └── {主题}/ ├── 观点提取.md └── 问题链.md

八、常见问题与失败兜底

现象原因处理方式
抓取失败部分公众号有防盗链导出 PDF 后走路径二
纯图片文章取不到文字图片无文字层先用 OCR 工具导出 Markdown 再导入
PDF 提取质量差原文排版复杂人工核对复杂排版与图表
提示缺依赖未装beautifulsoup4/pymupdfbash setup.sh wechat重装

更完整的失败模式与替代方案见 docs/platform-fallbacks.md。

小结

公众号文章存进知识库,记住两条路径 + 三步收尾:

  1. 能抓链接就走路径一(ingest链接),图片和链接保留最完整;
  2. 抓不到就导出 PDF 走路径二(importPDF),文字层照样能入库;
  3. 入库后搜索、出资料包、交给 Agent 提炼观点与问题链,让收藏的文章真正被用起来。

常用模块入口:

  • 公众号 Skill 说明:wechat-article-ingest/SKILL.md
  • 文档导入规则:docs/document-import.md
  • 创作者工作流:docs/creator-workflow.md
  • 知识库管理 Skill:knowledge-base-management/SKILL.md
  • AI 技能/插件
  • 知识管理
  • MCP 服务
  • CLI

【免费下载链接】chubbyskills

把中文全渠道内容(抖音 / B站 / 小红书 / 公众号 / X / 播客)采集进个人知识库的 14 个 AI Skill:图文存图、视频转文字稿、字幕优先免 GPU、RSS/YouTube 订阅调度与每日情报简报,附带知识库 MCP server。| Ingest Chinese content into your personal knowledge base — image/video routing, subtitle-first transcription, feed subscriptions with daily digests, and a KB MCP server.

项目地址:https://gitcode.com/gh_mirrors/ch/chubbyskills
点击查看免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询