企业官网建设流程全解析

目录

一、多个知识库文件怎么整合成一份文本

1）常见文件解析工具

伪代码逻辑（Python）

二、RAG 预处理到底是做什么？

✅预处理主要做的事情（生产环境实际步骤）

预处理前后对比

三、完整链路：文件 → RAG 向量入库

四、两种工程实现方案

简易预处理示例代码片段

五、关键注意点

场景：本地一堆 PDF、Word、Markdown、TXT、HTML，要喂给 RAG，第一步就是文件解析→合并成原始文本→文本预处理→分块 (chunk)。

一、多个知识库文件怎么整合成一份文本

流程：文件读取解析 → 提取每个文件正文 → 拼接 / 组装成大文本（保留元数据）

1）常见文件解析工具

⚠️不要直接二进制拼接！要解析出人类可读正文，不能把 pdf 二进制流拼在一起。

伪代码逻辑（Python）

python

import os from unstructured.partition.auto import partition all_docs = [] folder_path = "./knowledge_base" for fname in os.listdir(folder_path): file_path = os.path.join(folder_path, fname) # 解析文件，输出文本块 elements = partition(filename=file_path) file_text = "\n".join([str(elem) for elem in elements]) # 带上元数据：来源文件名，后续RAG溯源用 all_docs.append({ "source": fname, "raw_text": file_text }) # 方式1：全部合并成一个超大字符串（不推荐，丢失来源） # full_text = "\n=====文档分割=====\n".join([d["raw_text"] for d in all_docs]) # 方式2：保留每个文档独立文本+元数据（工程推荐，用于后续分块） # 后续直接对all_docs做预处理、分块

重点：不要把所有文件无脑拼成一个大长文本丢给向量化。保留每个文档的来源元数据，检索后可以实现「引用溯源」，告诉大模型这段内容来自哪个文档。

二、RAG 预处理到底是做什么？

原始解析出来的 raw_text 会有大量噪声：换行乱码、页眉页脚、页码、广告、重复内容、多余空格、表格乱解析符号、脚注、目录、水印文字。预处理目标：清洗噪声，保留有效业务语义，提升召回质量，减少无效 token，降低向量库垃圾数据。

✅预处理主要做的事情（生产环境实际步骤）

1. 空白字符归一化

• 多个换行\n\n\n、制表符\t、大量空格压缩；
• 把\r、零宽字符、不可见特殊 unicode 删掉。

示例： 原始："大模型\r\n\n\n RAG\t\t技术 。" 清洗后："大模型\nRAG 技术。"

1. 去除无效噪声片段

• 页眉、页脚、页码、文档水印、版权声明、目录、脚注、参考文献；
• PDF 解析经常会出现的乱码字符、OCR 识别错字。

1. 文本去重

• 同一文档内部重复段落；多份文档重复拷贝的内容，避免向量库大量重复向量，导致检索结果重复。

1. 格式规整

• 表格解析后乱码修复；
• 把无意义的分割符号、多余特殊符号清理；
• 保留有语义的换行（段落之间换行保留，段落内部多余换行删掉）。

1. 过滤过短垃圾片段

• 过滤单字符、只有标点、只有页码的无效片段。

❗预处理不做的事：不要做语义改写、摘要、翻译！RAG 预处理尽量保留原文，改写会丢失原始事实，造成幻觉。

预处理前后对比

• 原始 raw_text：混杂页码、页眉、大量空行、水印文字、重复脚注
• 预处理后：干净的段落文本，语义完整，噪声被剔除，适合下一步分块。

三、完整链路：文件 → RAG 向量入库

多文件(PDF/docx/md) ↓ 文件解析（提取正文文本，带上source元数据） ↓ 【文本预处理】清洗噪声、归一化、去无效片段、去重 ↓ 文档分块Chunking（固定大小/语义分块，重叠overlap） ↓ 每个chunk带上元数据(source, page, chunk_id) ↓ Embedding向量化 ↓ 存入向量数据库

很多新手踩坑：跳过预处理直接分块。PDF 解析出来一堆页码水印，全部进向量库，检索时经常召回一堆页码、版权文字，答案质量极差。

四、两种工程实现方案

1. 轻量自研：自己写正则做预处理，适合内部简单知识库；
2. 成熟库：Unstructured、LlamaIndex 的 DocumentTransformers、LangChain TextCleaner，内置很多预处理规则。

简易预处理示例代码片段

python

import re def preprocess_text(raw: str) -> str: # 1. 替换多个换行、制表符 text = re.sub(r'\n+', '\n', raw) text = re.sub(r'\t', ' ', text) text = re.sub(r' +', ' ', text) # 2. 删除页码类简单模式（示例，复杂文档需要更复杂规则） text = re.sub(r'^\s*第?\d+\s*页\s*$', '', text, flags=re.MULTILINE) # 3. 去除零宽不可见字符 text = re.sub(r'[\u2000-\u200F]', '', text) return text.strip()

五、关键注意点

1. 元数据非常重要：预处理不要丢掉来源、页码；后续 RAG 回答溯源、文档版本归档依赖元数据。
2. 不要过度清洗：不要把短标题、列表项删掉；业务专有符号不要乱删。
3. 预处理≠分块：预处理是清洗文本；分块是把长文本切为小片段，两个步骤分开。
4. OCR 扫描版 PDF：解析出来噪声会更多，预处理工作量更大。