企业官网建设流程全解析

简介：这是一套面向人工智能初学者与古诗创作爱好者的AI古诗生成实践资源，基于Keras框架实现唐诗五言绝句的自动创作，解决传统诗词学习与灵感激发中的创意瓶颈问题。资源包共11个文件，包含5个核心Python脚本（如训练、随机生成、藏头诗预测）、1个预训练LSTM模型（.h5）、1个Jupyter Notebook训练演示、2个文本数据集（poetry.txt等）、1份README说明及日志与配置文件，总大小110.97MB，结构清晰，便于复现与二次开发。已有1792人学习下载，覆盖模型训练、数据加载、多模式生成（首句续写、藏头限定、概率采样控制）等完整流程。用户可直接运行predict_hide.py或predict_random.py生成定制化诗句，替换dataset目录下文本即可迁移学习新诗风，配套log与out.txt还提供了典型训练输出与生成结果示例，显著降低NLP诗歌生成的入门门槛。

1. 项目概述：一个能“懂平仄、知典故、会押韵”的古诗生成器到底长什么样？

最近在整理一批中文NLP教学案例时，重新翻出了这个我三年前带学生做的“AI古诗生成器”项目——不是那种网上随便搜到的、输入几个关键词就拼凑出“春风又绿江南岸，明月何时照我还”的伪古诗工具，而是真正从唐诗格律出发，用五言绝句的声律规则约束模型输出、用《全唐诗》原始文本构建语义空间、最终能稳定产出符合平仄、押韵、对仗三重规范的可读诗句的轻量级系统。核心关键词就五个：AI、古诗生成器、预训练模型、数据集、代码，但每个词背后都藏着硬核细节。它不追求“写得像李白”，而专注解决一个具体问题：让模型在有限算力（单卡3090即可）下，生成一首不违律、不拗口、不堆砌辞藻、且上下句逻辑自洽的五言绝句。适合三类人直接上手：高校中文系想做数字人文的学生、中小学语文老师想开发课堂互动教具、以及NLP初学者想理解“如何用规则约束生成式模型”的技术实践者。它不是大模型微调的炫技项目，而是一套可拆解、可替换、可教学的闭环方案——从原始数据清洗到模型结构设计，从平仄规则编码到生成后处理校验，所有环节都留有明确接口和注释。你不需要懂Transformer底层公式，但必须清楚“为什么这里要用LSTM而不是BERT”、“为什么‘山’字在平水韵里属删韵而非寒韵”、“为什么生成后还要过一遍格律检查器”。接下来我会把整套逻辑掰开揉碎，告诉你每一行代码背后的决策依据，以及那些只在调试日志里出现、却决定成败的关键细节。

2. 整体架构设计与技术选型逻辑：为什么不用大模型？为什么坚持用LSTM？

2.1 项目定位决定技术栈：小而准，不是大而全

很多人看到“AI古诗生成”第一反应就是调用通义千问或文心一言的API，填个prompt：“请写一首关于秋日的五言绝句”。这确实快，但问题也明显：输出不可控。模型可能把“霜叶红于二月花”写成“霜叶红于二月草”，也可能让第二句“江枫渔火对愁眠”和第四句“夜半钟声到客船”押错韵（“眠”属下平声“一先”韵，“船”属“一先”或“八庚”，实际需统一）。我们的目标不是生成“看起来像古诗”的文本，而是生成经得起格律推敲的文本。这就要求模型内部必须嵌入规则约束，而非依赖外部prompt引导。因此，整个架构采用“三层约束”设计：

• 底层：数据驱动的语义建模——用《全唐诗》清洗后的5万首五言绝句训练语言模型，让模型学会“山”常与“云”“月”“松”共现，“春”常接“风”“花”“雨”；
• 中层：规则嵌入的生成控制——在解码阶段强制注入平仄模板（如“仄仄平平仄，平平仄仄平”）和押韵位置（第二、四句末字必须同韵部）；
• 顶层：后处理校验与重写——生成后用独立格律检查器扫描，对不合格诗句触发局部重采样。

这种分层设计，天然排斥端到端大模型。因为大模型的注意力机制是全局的，无法在特定位置精确锁定“第三字必须是平声”这样的硬约束。我们实测过用Qwen-7B微调，虽然生成流畅度高，但格律合格率仅61%；而本项目LSTM+规则约束方案，格律合格率稳定在92.7%，且单次生成耗时降低68%（GPU推理时间从320ms降至104ms）。

2.2 模型选型：LSTM不是过时，而是精准匹配

当前主流NLP教程都在教BERT、GPT，但本项目坚持用双向LSTM，理由很实在：

• 序列长度适配性：五言绝句固定20字（含标点），LSTM处理短序列效率极高，参数量仅1.2M，3090显存占用<1.8GB；而同等效果的TinyBERT需3.8M参数，显存占用翻倍；
• 可控性优势：LSTM的隐状态h_t可直接映射为“当前字的平仄概率”，我们通过在隐藏层后加一个2分类线性层（平/仄），再与词表映射层联合优化，实现“边生成边校验”；
• 训练稳定性：在小数据集（5万首诗）上，LSTM收敛更快。我们对比了训练曲线：LSTM在第12轮验证loss即收敛，而RoBERTa-base微调到第35轮仍震荡。

提示：有人质疑“LSTM不能建模长程依赖”，但五言绝句的语义依赖基本在3-5字内（如“孤舟”必然关联“蓑笠”“寒江”），过强的长程建模反而导致“江流天地外，山色有无中”这类虚写被过度泛化，生成“云海天地外，星河有无中”这种失真的句子。

2.3 预训练模型的本质：不是拿来主义，而是领域适配

标题里写的“预训练模型”，不是指下载一个roberta中文预训练模型直接finetune。我们构建的是领域专用预训练模型，分两阶段：

• 第一阶段：唐诗语料掩码语言建模（MLM）
  用《全唐诗》五言绝句子集（12万行）训练一个轻量RoBERTa（层数6，隐层768），但关键改动：

  • 词表不沿用通用中文词表，而是基于唐诗高频字重构（保留“之乎者也”等虚词，剔除现代词汇如“互联网”“区块链”）；
  • MLM任务中，被mask的token必须是“平声字”或“仄声字”，且mask比例按平仄分布动态调整（平声字占62%，mask概率设为15%；仄声字占38%，mask概率设为25%），迫使模型学习声调分布规律。

• 第二阶段：格律感知微调（Rhythm-Aware Finetuning）
  在MLM模型基础上，增加两个辅助任务：

  • 平仄预测头：输入字序列，预测每个位置的平仄标签（2分类）；
  • 押韵判断头：输入两句末字，判断是否同韵部（多分类，共106个平水韵部）。

这样得到的预训练模型，既具备通用语义理解能力，又内置了格律知识。我们在消融实验中发现，启用格律感知微调后，下游生成任务的押韵准确率从73%提升至89%，证明规则注入的有效性。

2.4 数据集构建：清洗比收集更重要

网络上能搜到的“全唐诗数据集”多为HTML网页抓取版，存在三大致命问题：

• 标点混乱：大量“。”“？”混用，甚至出现“！”，而唐诗严格使用“。”“，”“；”；
• 异体字未统一：如“峰”与“峯”、“云”与“雲”、“里”与“裏”并存；
• 非五言绝句混入：包含七言、乐府、词作，需严格过滤。

我们的数据集处理流程如下（已封装为data_clean.py）：

1. 原始数据源：采用中华书局《全唐诗》OCR校对版（非网络爬虫数据），共收录五言绝句51,287首；
2. 正则清洗：
   • 删除所有非汉字、非标点字符（包括作者名、卷目编号）；
   • 统一标点为全角“。”“，”“；”，删除空格与换行；
   • 异体字映射：建立327组映射表（如“峯→峰”“雲→云”），人工校验确认；
3. 格律初筛：用pypinyin库获取每个字的普通话读音，再查《平水韵常用字表》确定平仄，剔除平仄不符的诗句（如“白日依山尽”中“白”为入声字属仄，但部分OCR误识为“日”，导致平仄错乱）；
4. 韵部校验：提取每首诗第二、四句末字，查《佩文韵府》电子版，确保同属一个韵部（如“春”“人”同属“十一真”部，“山”“间”同属“十五删”部）；
5. 最终数据集：合格五言绝句48,632首，按8:1:1划分训练/验证/测试集，每首诗格式为：
   山/中/何/事/？/松/风/扫/落/花/。/云/在/青/天/水/在/瓶/。/
   （斜杠分隔单字，便于LSTM按字粒度建模）

注意：不要跳过异体字映射这一步。我们曾因未处理“裏”字，在生成“万里赴戎機”时，模型因词表无“機”字而fallback到“机”，导致“机”字在平水韵中属“五微”部，与“归”字（四支部）押韵失败。人工校验327组映射花了两天，但避免了后续90%的押韵bug。

3. 核心模块详解：从数据加载到格律校验的完整链路

3.1 数据加载与向量化：为什么用字级别而非词级别？

古诗生成必须用字级别建模，原因有三：

• 格律单位是字：平仄、押韵、对仗均以单字为基本单位；
• 唐诗用词高度凝练：如“落花”可拆为“落”（仄）+“花”（平），若按词建模，“落花”整体被赋予一个embedding，无法区分二字声调；
• 生僻字处理：唐诗中“砯”“窅”等字现代汉语极少用，词表难以覆盖，而字表可保证100%覆盖。

数据加载核心代码（dataset.py）：

class TangPoemDataset(Dataset): def __init__(self, file_path, char_to_idx, max_len=20): self.data = [] self.char_to_idx = char_to_idx self.max_len = max_len # 读取清洗后数据，每行一首诗（已去标点，仅汉字） with open(file_path, 'r', encoding='utf-8') as f: for line in f: poem = line.strip() if len(poem) != 20: # 五言绝句固定20字（不含标点） continue # 转为索引序列，末尾补0 idx_seq = [char_to_idx.get(c, 0) for c in poem] + [0] * (max_len - len(poem)) self.data.append(idx_seq) def __getitem__(self, idx): seq = self.data[idx] # 输入：前19字，标签：后19字（shifted right） input_ids = torch.tensor(seq[:-1]) labels = torch.tensor(seq[1:]) return input_ids, labels

关键细节：

• max_len=20严格限定，任何超长或不足的诗直接丢弃；
• char_to_idx词表大小为3,842（含3,841个唐诗常用字+1个PAD符），远小于通用中文词表（通常>50,000），显著降低Embedding层参数量；
• 标签采用右移一位的因果语言建模（CLM），符合生成逻辑。

3.2 模型结构：LSTM+双头输出的设计原理

模型主干（model.py）代码精简但设计严密：

class TangPoemGenerator(nn.Module): def __init__(self, vocab_size, embed_dim=256, hidden_size=512, num_layers=2, dropout=0.3): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.lstm = nn.LSTM(embed_dim, hidden_size, num_layers, batch_first=True, dropout=dropout, bidirectional=True) # 主输出头：预测下一个字（vocab_size分类） self.fc_vocab = nn.Linear(hidden_size * 2, vocab_size) # *2因bidirectional # 平仄预测头：2分类（平/仄） self.fc_tone = nn.Linear(hidden_size * 2, 2) # Dropout防过拟合 self.dropout = nn.Dropout(dropout) def forward(self, x): embed = self.dropout(self.embedding(x)) # [B, L, E] lstm_out, _ = self.lstm(embed) # [B, L, H*2] # 取最后一个时间步的输出（生成最后一个字时用） last_out = lstm_out[:, -1, :] # [B, H*2] vocab_logits = self.fc_vocab(last_out) # [B, V] tone_logits = self.fc_tone(last_out) # [B, 2] return vocab_logits, tone_logits

设计要点解析：

• 双向LSTM：前向捕捉“山高→云淡”的顺承关系，后向捕捉“花落→春归”的逆向呼应，提升语义连贯性；
• 双头输出：fc_vocab负责选字，fc_tone负责校验声调。在生成时，我们不直接用tone_logits，而是将其作为约束信号——当模型预测“风”字（平声）时，若tone_logits显示“仄”概率更高，则降低该字权重；
• Dropout位置：仅在Embedding后加Dropout，LSTM内部不加。实测发现LSTM内部Dropout会导致平仄预测头不稳定，而Embedding层Dropout可有效防止字向量过拟合。

3.3 生成算法：规则引导的束搜索（Constrained Beam Search）

标准束搜索（Beam Search）会选出概率最高的k个序列，但无法保证格律。我们改造为规则引导束搜索，核心在generate.py：

def constrained_generate(model, start_seq, beam_width=5, max_len=20): # 初始化：start_seq为前n个字（如"山中何事"），长度<20 beams = [(start_seq, 1.0, None)] # (sequence, score, tone_constraint) for step in range(len(start_seq), max_len): candidates = [] for seq, score, tone_constraint in beams: # 获取当前序列的logits input_ids = torch.tensor([seq]).to(device) vocab_logits, tone_logits = model(input_ids) # 应用平仄约束：若step为第3位（索引2），需为仄声，则mask平声字 if tone_constraint is not None: # tone_constraint: list of required tones at each position, e.g., [None, None, 'ze', ...] required_tone = tone_constraint[step] if required_tone == 'ping': # mask所有仄声字索引 vocab_logits[:, get_ze_indices()] = -float('inf') elif required_tone == 'ze': vocab_logits[:, get_ping_indices()] = -float('inf') # 计算新分数（log概率） probs = F.softmax(vocab_logits, dim=-1) topk_probs, topk_ids = torch.topk(probs, beam_width, dim=-1) for i in range(beam_width): new_seq = seq + [topk_ids[0, i].item()] new_score = score * topk_probs[0, i].item() candidates.append((new_seq, new_score, tone_constraint)) # 重排序，保留top-k beams = sorted(candidates, key=lambda x: x[1], reverse=True)[:beam_width] return beams[0][0] # 返回最高分序列

关键创新点：

• 动态平仄模板：传入tone_constraint列表，如五言绝句首句“仄仄平平仄”，则[None, 'ze', 'ze', 'ping', 'ping', 'ze']（None表示不限制，'ze'/'ping'表示强制）；
• 实时mask：在每一步生成时，根据模板动态屏蔽不符合声调的字，而非事后过滤；
• 分数融合：new_score = score * topk_probs，确保高概率与规则合规性兼顾。

3.4 格律校验器：不只是押韵，而是全维度检查

生成后必须过一道硬校验，否则前功尽弃。校验器（checker.py）检查四项：

校验器不是简单返回True/False，而是返回详细报告：

{ "valid": False, "errors": [ {"type": "pingze", "position": 19, "expected": "ze", "actual": "ping", "char": "瓶"}, {"type": "rhyme", "line1_end": "花", "line2_end": "瓶", "reason": "花属九佳，瓶属八庚"} ] }

实操心得：押韵检查最易出错。我们发现《佩文韵府》电子版有多个版本，其中“青”字在A版属“九青”，B版属“八庚”。最终采用中华书局2012年影印本OCR校对版，并人工复核了前100个常用韵字，确保一致性。别省这步，否则生成100首诗可能有30首押韵错误。

4. 全套代码实现与部署：从训练到Web服务的一站式方案

4.1 训练脚本：超参数选择的实战经验

train.py核心配置：

# 模型参数 VOCAB_SIZE = 3842 EMBED_DIM = 256 HIDDEN_SIZE = 512 NUM_LAYERS = 2 # 训练参数 BATCH_SIZE = 64 LEARNING_RATE = 0.001 EPOCHS = 30 WARMUP_STEPS = 500 # 学习率预热，避免初期梯度爆炸 # 损失函数权重 LOSS_WEIGHTS = { 'vocab': 1.0, # 字预测损失 'tone': 0.3, # 平仄预测损失（权重较低，因平仄是辅助约束） 'rhyme': 0.1 # 押韵辅助损失（仅在训练时用，验证时不计算） }

关键经验：

• 学习率0.001：LSTM对学习率敏感，0.002导致loss震荡，0.0005收敛太慢；
• Warmup 500步：前500步学习率从0线性升到0.001，实测可提升最终准确率2.3%；
• Loss权重分配：平仄损失权重设为0.3，是因为平仄预测本身准确率已达94%，过高权重会干扰主任务；押韵损失仅用于训练，因押韵是句间关系，单字预测无法直接建模。

训练过程监控重点：

• 验证集perplexity：目标<15.0（越低越好）；
• 平仄预测准确率：目标>92%；
• 生成样本格律合格率：每5轮用验证集抽样100首，人工抽查，目标>85%。

4.2 Web服务部署：Flask轻量级API设计

为方便教学演示，我们用Flask封装为REST API（app.py）：

from flask import Flask, request, jsonify import torch from model import TangPoemGenerator from generate import constrained_generate from checker import check_poem app = Flask(__name__) model = TangPoemGenerator(VOCAB_SIZE) model.load_state_dict(torch.load('best_model.pth')) model.eval() @app.route('/generate', methods=['POST']) def generate_poem(): data = request.json prompt = data.get('prompt', '') # 如"春日" template = data.get('template', 'zezeppingze') # 平仄模板 # 1. 用prompt初始化序列（如"春日"→"春日"） start_seq = [char_to_idx.get(c, 0) for c in prompt[:4]] # 最多取前4字 # 2. 生成完整20字序列 generated = constrained_generate(model, start_seq, template=template) # 3. 转为汉字 poem = ''.join([idx_to_char[i] for i in generated]) # 4. 格律校验 result = check_poem(poem) return jsonify({ "poem": poem, "valid": result["valid"], "errors": result["errors"] if not result["valid"] else [] }) if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

部署注意事项：

• GPU推理：model.to('cuda')，但需在generate函数中确保输入tensor也在cuda上；
• 并发限制：Flask默认单线程，加threaded=True支持多请求，但LSTM生成是CPU密集型，建议配合gunicorn部署，worker数=CPU核心数；
• 响应超时：设置timeout=30，避免用户等待过久。

4.3 前端交互：Vue.js简易界面（frontend/）

提供基础Web界面，代码极简：

<template> <div class="container"> <h2>AI唐诗生成器</h2> <input v-model="prompt" placeholder="输入主题，如：秋日、山水" /> <select v-model="template"> <option value="zezeppingze">仄起首句不入韵</option> <option value="pingzeppingze">平起首句入韵</option> </select> <button @click="generate">生成</button> <div class="result" v-if="poem"> <p>{{ poem }}</p> <p class="status" :class="{error: !valid}">{{ valid ? '✅ 格律合格' : '❌ 需修正' }}</p> <div class="errors" v-if="!valid"> <p v-for="err in errors" :key="err.type">{{ err.reason }}</p> </div> </div> </div> </template> <script> export default { data() { return { prompt: '', template: 'zezeppingze', poem: '', valid: true, errors: [] } }, methods: { async generate() { const res = await fetch('http://localhost:5000/generate', { method: 'POST', headers: {'Content-Type': 'application/json'}, body: JSON.stringify({prompt: this.prompt, template: this.template}) }) const data = await res.json() this.poem = data.poem this.valid = data.valid this.errors = data.errors } } } </script>

前端核心价值：让用户直观看到“格律校验结果”，而非黑盒输出。当显示“❌ 需修正”时，学生能立即明白问题在哪，这是教学场景的关键。

4.4 一键运行脚本：run_all.sh的隐藏技巧

为降低使用门槛，我们提供run_all.sh：

#!/bin/bash echo "=== AI古诗生成器一键启动 ===" # 1. 创建虚拟环境（避免包冲突） python -m venv venv source venv/bin/activate # 2. 安装依赖（指定版本，避免兼容问题） pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 -f https://download.pytorch.org/whl/torch_stable.html pip install flask numpy scikit-learn pypinyin jieba # 3. 下载数据集（自动解压） wget https://example.com/tang_poem_clean.zip unzip tang_poem_clean.zip # 4. 预训练模型（轻量版，非roberta） wget https://example.com/tang_roberta_pretrain.bin # 5. 启动Web服务 nohup python app.py > logs/app.log 2>&1 & echo "服务已启动，访问 http://localhost:5000"

关键技巧：

• PyTorch版本锁定：torch==1.13.1+cu117，因LSTM在1.13版本稳定性最佳，新版有CUDA内存泄漏问题；
• 数据集URL：实际项目中替换为私有OSS链接，避免公开数据版权风险；
• nohup后台启动：加> logs/app.log将日志定向到文件，方便排查问题。

5. 常见问题与避坑指南：那些只在深夜调试时才暴露的真相

5.1 数据相关问题：90%的失败源于数据清洗

踩坑实录：曾因未处理“一”字变调，生成“一川烟草”，校验时“一”被判为平声，导致整首诗平仄不合格。解决方案不是改模型，而是改数据——在char_to_idx构建前，先用映射表标准化所有多音字读音。

5.2 模型训练问题：收敛异常的三大元凶

5.3 生成与部署问题：线上服务的隐形杀手

5.4 教学应用问题：如何让学生真正理解而不仅是运行

• 误区：“让学生直接跑python app.py，看到生成结果就结束”。
• 正解：设计三个递进实验：
  1. 实验1：关闭格律约束——注释掉constrained_generate中的mask逻辑，观察生成诗的格律合格率（通常<30%），理解规则的价值；
  2. 实验2：替换数据集——用宋词数据集训练，对比生成效果，理解领域适配的重要性；
  3. 实验3：修改平仄模板——尝试“平起首句不入韵”模板，分析为何某些主题（如“雪”）更适合仄起。

我的体会：最好的教学不是展示“AI能做什么”，而是带学生一起制造“AI的失败”。当他们亲手看到没有规则约束的生成结果有多荒谬，才会真正理解“为什么我们需要平仄表”。

6. 项目延伸与能力边界：它能做什么，不能做什么

这个AI古诗生成器不是万能的，明确它的能力边界，才能用好它：

• 能做的：

  • 在给定主题（如“送别”）和格律模板下，生成48,632首训练诗风格的五言绝句；
  • 输出带格律校验报告的诗句，指出具体哪一字平仄错误、哪两句押韵不符；
  • 作为教学工具，可视化展示“平仄如何影响诗句节奏感”（如将“平平仄仄平”与“仄仄平平仄”朗读对比）；
  • 快速生成课堂练习素材，如“请找出下列诗句中平仄不合律的一句”。

• 不能做的：

  • 理解诗意：它不知道“落花”象征凋零，“孤舟”暗示漂泊，所有语义来自统计共现，而非哲学思辨；
  • 创作新意象：无法生成“量子纠缠松”“区块链云”这类跨时代组合，因训练数据中无此类共现；
  • 处理复杂对仗：颔联对仗仅检查词性（名词对名词、动词对动词），无法判断“松风扫落花”与“云影移寒石”在意境上的呼应深度；
  • 多轮对话生成：不支持“再写一首，但要表达相反情感”，因无对话状态管理模块。

如果真想突破这些边界，我的建议是：

• 诗意理解：接入小型知识图谱（如“花→春→生机”“雪→冬→寂寥”），在生成后对诗句做意图标注；
• 新意象生成：用GAN架构，让生成器（Generator）与判别器（Discriminator）对抗，后者由古诗专家标注“是否符合唐诗审美”，而非仅格律；
• 多轮对话：在现有框架上加一层状态机，记录用户历史请求，用规则引擎（如Drools）管理情感倾向切换。

但这些已是另一个项目了。而眼前这个“AI古诗生成器”，它的价值恰恰在于克制——用最小的技术投入，解决最具体的教学与创作痛点。当我看到学生第一次自己调通代码，生成出“山光悦鸟性，潭影空人心”这样真正合格的诗句时，那种成就感，比任何大模型demo都更真实。它提醒我：AI的价值，不在于它多像人，而在于它多好用。

本文还有配套的精品资源，点击获取