企业官网建设流程全解析

简介：聚焦零售业智能补货场景的实战型技术文档，面向供应链管理、数据科学及强化学习入门与进阶读者。内容围绕DeepSeek动态补货模型，系统讲解零售库存管理的挑战、强化学习原理、模型架构与调优全流程，帮助读者突破传统定性与定量订货模式的局限。资源为单个PDF文件，共28页，压缩包仅1.76MB，内容完整、目录清晰，适合快速查阅。已有55人学习浏览。文档从传统库存模式与现代供应链痛点切入，详细拆解状态空间、动作空间、奖励函数设计等核心模块，并给出学习率、折扣因子、批量大小等超参数调整方法，以及隐藏层、神经元数量、激活函数等网络结构优化手段。后续覆盖自动化调优策略（网格搜索、随机搜索、贝叶斯优化）与性能评估监控方法，并通过完整实际案例展示从数据准备、初始训练到调优后效果对比的落地过程。读者可借此掌握一套可操作的强化学习调优方法论，为零售库存优化项目提供直接参考。

1. 库存革命的起点：为什么补货模型要从规则走向强化学习

零售业的库存管理，说到底是同一个问题在反复拷问运营者：订多了积压资金、损耗过期，订少了缺货跑单、得罪顾客。传统的手段无非两种——定量订货模型和定期订货模型，前者看库存掉到某个点就补一批固定数量，后者到点就按近期销量估算补货量。这两套规则在品类少、需求稳的时代勉强够用，但到了多渠道销售、促销轰炸、需求波动动辄上下几十个百分点的今天，规则式补货的局限性已经非常明显：它不会学习，不会根据市场变化自我修正。这就是强化学习进入库存管理的原因，而基于强化学习的DeepSeek动态补货模型，正是把这种自学习能力落到补货场景中的一套完整方案。这份指南的价值在于它的调优路径——不只是告诉你模型长什么样，而是把状态空间、奖励函数、超参数、网络结构这些可调的部分一步步拆开，适合正在做库存优化项目、想引入强化学习但找不到落地抓手的技术从业者。

2. DeepSeek动态补货模型架构解析：状态空间、奖励函数与网络设计

2.1 模型整体流程：从数据输入到补货指令

DeepSeek动态补货模型的整体架构可以概括为五层：数据输入层、特征提取与处理模块、强化学习核心模块、决策输出层、反馈调整机制。数据输入层接收销售、库存、市场、供应商四类原始数据，特征提取模块把原始数据转换成模型可用的状态表达，强化学习核心模块负责根据状态选出补货动作，决策输出层把动作翻译成实际的补货指令，反馈调整机制则根据实际销售结果回传误差、更新策略。

这个流程的关键在于它是闭环的。传统补货模型做完预测就结束了，而强化学习模型每次补货指令执行之后，会从环境中拿到新的状态和奖励信号，用于下一次决策的修正。我在理解这个架构时习惯把它拆成两段看：前段是“感知”，解决的是“现在库存什么情况、需求大概多少”的问题；后段是“决策”，解决的是“这个状态下补多少货最划算”的问题。调优时的很多参数调整，本质上都是在改这两段里某个环节的行为。

数据输入层需要特别注意的是多源数据的时间对齐问题。销售数据通常是天级的，库存数据可能是实时的，供应商交货提前期则是按合同约定的，这三者在时间粒度上天然不一致。常见做法是把所有数据统一重采样到天级，用当天零点时的库存快照作为状态中的库存分量，用过去 N 天的平均销售速度作为需求趋势分量，这样状态向量里每个分量才有可比性。

2.2 状态空间与动作空间的定义

状态空间描述的是“智能体当前看到了什么”，动作空间描述的是“智能体现在能做什么”。在DeepSeek模型中，一个典型的状态向量可以表示为：

import numpy as np # 状态向量: [当前库存, 平均日销, 补货提前期, 需求预测值] def build_state(inventory, sales_history, lead_time, forecast): avg_sales = np.mean(sales_history[-7:]) # 取最近7天平均日销 state = np.array([ inventory, avg_sales, lead_time, forecast ], dtype=np.float32) return state

这里的状态向量选取了四个核心维度，分别是当前库存数量、过去七天的平均日销速度、供应商补货提前期、模型对下一周期的需求预测值。之所以取最近七天平均而不是单日值，是为了平滑掉促销、天气等短期扰动对销售数据的冲击。补货提前期这个维度容易被忽略，但它直接决定了补货指令需要提前多久下达，是判断“当前库存还能撑几天”的关键参数。

动作空间在库存场景中通常定义为离散的补货数量集合，常见做法是A = {0, 10, 20, 30, 40, 50}这样一组选项，0 表示本期不补货。离散动作空间的优势在于和实际业务匹配度高——采购订单通常按箱、按件下单，很少有人会下“37.5 件”这种订单。如果你的场景允许任意数量补货，也可以把动作空间设为连续区间，但连续动作对算法要求更高，调优难度会明显上升，建议先从离散动作开始。

2.3 奖励函数设计：库存成本与销售收益的权衡

奖励函数是强化学习中最重要的部分，它定义了“什么样的行为是好的”。在DeepSeek补货场景里，奖励函数需要同时权衡销售收益、库存持有成本和缺货损失。一个常用的设定是：

def compute_reward(sales_revenue, inventory_cost, stockout_cost, alpha=1.0, beta=0.5, gamma=1.2): reward = alpha * sales_revenue - beta * inventory_cost - gamma * stockout_cost return reward

alpha、beta、gamma 三个权重系数分别控制销售收益、库存成本、缺货成本在奖励中的占比。它们怎么设置直接决定了模型的行为倾向——如果 beta 偏大，模型会倾向于保守补货，宁可缺货也不愿意积压；如果 gamma 偏大，模型则会偏向于多备货来避免缺货。我拆这份指南时看到的一个比较实用的经验是：先用库存持有成本的实际数值来标定 beta，再用缺货导致的利润损失来标定 gamma，最后用毛利率来标定 alpha，这样三者的量级从一开始就是可比的。

奖励函数的设计还有几个细节值得注意。库存成本不是只算一次就结束的，商品压在仓库里每天都会产生仓储成本和资金占用成本，所以严格来说应该按天累加。缺货成本也不是只有当期销售损失，还包括顾客流失带来的长期影响——这也是强化学习相比于传统补货模型的一个核心优势，它天生就是面向长期累积奖励优化的。

2.4 策略网络与价值网络的搭建

策略网络负责“给定状态，选哪个动作”，价值网络负责“给定状态或状态动作对，能拿到多少长期回报”。在DeepSeek模型的实现中，这两个网络可以用 TensorFlow 或 PyTorch 搭建，结构上一般是两到三层的全连接网络。下面给出一个基于 TensorFlow 的搭建示例：

import tensorflow as tf from tensorflow.keras.layers import Dense class PolicyNetwork(tf.keras.Model): def __init__(self, num_actions): super(PolicyNetwork, self).__init__() self.dense1 = Dense(64, activation='relu') self.dense2 = Dense(64, activation='relu') self.output_layer = Dense(num_actions, activation='softmax') def call(self, state): x = self.dense1(state) x = self.dense2(x) return self.output_layer(x) class ValueNetwork(tf.keras.Model): def __init__(self): super(ValueNetwork, self).__init__() self.dense1 = Dense(64, activation='relu') self.dense2 = Dense(64, activation='relu') self.output_layer = Dense(1) def call(self, state): x = self.dense1(state) x = self.dense2(x) return self.output_layer(x)

这里策略网络输出层的 softmax 把每个候选补货动作映射成一个概率，价值网络输出层只有一个神经元，输出的是状态价值的标量估计。两个网络都用了两层 64 个神经元的隐藏层，这个规模对库存补货这种特征维度不高的场景通常是够用的。

网络深度的选择有一个基本判断依据：状态向量的维度越高、状态到最优策略的映射关系越复杂，需要的网络容量越大。但库存补货的状态维度一般就十几个到几十个，两层隐藏层基本够用，盲目加深反而会增加训练难度和过拟合风险。激活函数优先用 ReLU，输出层根据任务类型选择——策略网络用 softmax 是合理的，因为它在离散动作空间里天然表达概率分布。

3. 调优前的四项准备：数据、环境、指标与基线模型

3.1 数据收集与预处理：四类数据源的处理要点

数据准备是调优前最耗时也最容易出问题的一步。DeepSeek模型需要的数据分四类：销售数据、库存数据、市场数据、供应商数据。销售数据记录的是历史销量、销售金额、销售价格，库存数据包含当前库存量、库存周转率、补货提前期，市场数据涵盖促销活动、竞争对手价格变动，供应商数据则是交付时间、供货能力、价格波动。四类数据缺一不可——只靠销售和库存数据，模型对市场变化的感知就是盲的。

预处理环节有几个必须处理的坑。第一个是缺失值，尤其是促销期间的销售记录经常因为系统并发写入出问题，常见的补法是用前几天的均值填充或者向前填充。第二个是异常值，某商品单日销量突然变成平时的五倍，并不一定是真实需求，可能是退货入库被记成了销售，也可能是数据录入时多了个零。第三个是量纲问题，库存数量可能是几千的量级，而销售速度只有几十，直接喂给神经网络会让数值大的维度主导更新方向。

import pandas as pd from sklearn.preprocessing import MinMaxScaler # 读取销售数据，统一日期格式 sales_df = pd.read_csv('sales.csv', parse_dates=['date']) # 缺失值处理：用前向填充补齐促销中断的记录 sales_df['quantity'] = sales_df['quantity'].fillna(method='ffill') # 异常值处理：销售量为负或超过三倍标准差的置为最近七天均值 daily_mean = sales_df['quantity'].rolling(7).mean() upper_bound = daily_mean + 3 * sales_df['quantity'].std() sales_df['quantity'] = sales_df['quantity'].mask( (sales_df['quantity'] < 0) | (sales_df['quantity'] > upper_bound), daily_mean ) # 归一化：将销量映射到 [0, 1] 区间 scaler = MinMaxScaler() sales_df['quantity_scaled'] = scaler.fit_transform(sales_df[['quantity']])

这段代码做了三个关键操作：用向前填充处理缺失值，用“七日均值加减三倍标准差”识别异常值，再统一做最小最大归一化。滚动均值窗口选七天，是零售数据的惯例，兼顾了周内各天的周期波动。如果选三十天，对短期促销的响应会变迟钝；如果选一天，又会被单日噪声带偏。

3.2 训练环境搭建：硬件配置与软件选型

训练强化学习补货模型对硬件的要求不像大语言模型那么苛刻，但也不能太随意。模型规模中等的情况下，一张消费级 GPU 就够跑完整个调优周期，但如果你想多组超参数并行实验，就需要两张以上 GPU 或者考虑分时复用。CPU 方面建议至少 8 核，因为数据预处理和特征工程阶段大量用到 pandas 操作，单核跑会等到怀疑人生。内存按数据集大小估算，一份含三年销售数据和 500 个 SKU 的数据集，展开成特征后的内存占用通常在 2~4 GB，预留 16 GB 比较稳妥。

软件环境方面，操作系统用 Ubuntu 或 CentOS 这类 Linux 发行版是主流选择。深度学习框架在 TensorFlow 和 PyTorch 之间选一个即可，两类框图都支持强化学习模型的搭建，选你团队更熟的那个。强化学习库方面，Stable-Baselines3 在 PyTorch 生态里用得多，对 DQN、PPO、SAC 这些常见算法都有现成实现，能省掉不少从零写算法的功夫。需要注意框架版本和强化学习库版本的兼容性，装环境时最好先把 requirements.txt 里的版本对清楚，否则 import 阶段就会翻车。

3.3 评估指标定义：库存周转率、缺货率与综合成本

评估指标是调优的“仪表盘”，没有它，你没法判断一次参数调整到底是变好了还是变差了。库存相关指标里最重要的是库存周转率，计算方法是销售成本除以平均库存余额，数值越高说明资金使用效率越好。缺货率的定义是缺货订单数占总订单数的比例，这个指标直接反映顾客服务水平。库存持有成本则包括仓储费、资金占用成本、损耗退货三部分，是补货决策中最直接的优化目标。

销售相关指标也不容忽视。毛利率反映了补货策略对利润的实际贡献，服务水平（订单即时满足率）和缺货率是一体两面，但口径不同——缺货率按订单计，服务水平按商品件数计，两种口径下的数值可能差不少，选定一个口径后整个调优周期内不要更换。综合指标方面，可以定义一个总成本函数，把库存持有成本、缺货损失、物流补货成本加在一起，作为业务结果的总览。这个总成本指标是最终向管理层汇报时最有说服力的一张牌。

3.4 基线模型建立与初始结果记录

基线模型的意义在于给所有后续调优提供一个参照点。没有基线，你就不知道调大的学习率到底是变好了还是变差了。建立基线至少三步：第一步选基准模型，可以是一种不调参的 DQN 默认配置，也可以是传统库存管理策略如(s, S)补货策略，后者做基线的好处是能直观看出强化学习相对于传统方法的增益；第二步训练基准模型，训练轮数建议和后续调优实验保持一致，否则指标对比不公平；第三步把每个关键指标的结果记录成表格，包括训练轮数、最终奖励值、库存周转率、缺货率、总成本，这些数据是所有后续实验的对照基准。

基线建立后还有一个容易被忽视的点：把评估指标的记录频率也固定下来。比如每隔 1000 轮训练记录一次奖励曲线，每隔一周的业务模拟记录一次缺货率。调优过程中你会做大量实验，如果每次实验的记录密度不一致，对实验之间的横向对比会带来不小的干扰。

4. 模型调优主流程：从超参数到网络结构的实操路径

4.1 超参数调整：学习率、折扣因子与批量大小

超参数调整是调优中最常规也最能看到即时反馈的步骤。学习率控制策略网络和价值网络参数更新的步长，步长太大模型震荡不收敛，步长太小收敛速度慢到无法忍受。常见做法是先按1e-3起步观察训练曲线，如果奖励曲线波动剧烈，降到3e-4；如果收敛太慢，试试3e-3。折扣因子（gamma）决定智能体对未来奖励的重视程度，值越接近 1 越“远视”，库存场景一般设在 0.9~0.99 之间。这是因为零售商库存决策的全局优化跨度通常是一到两个补货周期，gamma 太高反而会让模型去关注那些不确定的远期收益，干扰短期决策。批量大小影响每次参数更新的方差，常用的是 32~256 之间，批量太小更新方向抖动大，太大则单次更新计算成本高。

# DQN 训练流程中的核心超参数配置示例 from collections import deque import random learning_rate = 0.001 # 学习率，过大震荡，过小收敛慢 discount_factor = 0.95 # 折扣因子，库存场景常用 0.9~0.99 batch_size = 64 # 经验回放采样批量大小 replay_buffer = deque(maxlen=50000) # 经验回放池容量 def train_step(policy_net, target_net, optimizer): if len(replay_buffer) < batch_size: return batch = random.sample(replay_buffer, batch_size) states, actions, rewards, next_states, dones = zip(*batch) # 计算目标 Q 值：r + gamma * max(Q_target(next_state)) next_q_values = target_net(np.array(next_states)).numpy().max(axis=1) targets = np.array(rewards) + discount_factor * next_q_values * (1 - np.array(dones)) # 只更新被选取动作对应的 Q 值 with tf.GradientTape() as tape: current_q = policy_net(np.array(states)).numpy() action_indices = np.array(actions).astype(int) current_q_values = current_q[np.arange(batch_size), action_indices] loss = tf.keras.losses.MSE(current_q_values, targets) grads = tape.gradient(loss, policy_net.trainable_variables) optimizer.apply_gradients(zip(grads, policy_net.trainable_variables))

这里的replay_buffer用双端队列存历史状态转移记录，容量设为 50000，超过后自动丢弃最旧的样本。target_net是目标网络，它的参数不实时更新，而是每隔一定步数从policy_net拷贝过来，这个机制会把训练的稳定性提升不少——如果只用一个网络同时计算目标 Q 值和当前 Q 值，目标本身一直在变，训练很容易发散。经验回放加目标网络是 DQN 的两大标配，缺一不可。

4.2 网络结构优化：隐藏层、神经元与激活函数

网络结构优化的空间比超参数小，但效果同样明显。最常见的操作是增减隐藏层层数和调整每层神经元数量。状态维度在 20 以内的补货场景，两层 64 神经元的隐藏层是一个不错的起点，之后可以做两个方向的实验：把神经元数从 64 提到 128，看看奖励收敛速度是否变快；或者加一层 128 的隐藏层，看看是否改善了最终收敛值。每轮实验只需要改一处，跑同样的训练轮数，然后对比奖励曲线和库存成本指标，用数据说话而不是凭感觉堆网络容量。

激活函数方面，隐藏层用 ReLU 是默认选择，它的梯度不回传负值的特性对深层网络很友好。输出层的选择跟着任务走，策略网络用 softmax、价值网络用线性输出。需要警惕的一个情况是 ReLU 容易造成神经元“死亡”——如果某次更新后某个神经元的输入总是负值，它的输出就永远是 0，梯度也传不过去，这个神经元就废了。排查方法是在 TensorBoard 里看每一层的激活分布，如果有大量神经元长期输出 0，就把学习率调小一点，或者换用 Leaky ReLU 试试。

4.3 探索与利用平衡：epsilon 衰减策略

探索与利用的平衡是强化学习里一个很微妙的问题。模型刚训练时对环境一无所知，需要多尝试各种动作来收集信息——这就是探索；训练到后期，策略逐渐成型，应该更多选择当前认为最优的动作——这就是利用。在 DQN 里最通用的做法是 epsilon-greedy 策略：以 epsilon 的概率随机探索，以 1-epsilon 的概率按策略网络选择最优动作。

epsilon_start = 1.0 epsilon_end = 0.01 epsilon_decay = 0.9995 def choose_action(state, policy_net, epsilon): if random.random() < epsilon: return random.randint(0, num_actions - 1) q_values = policy_net(np.array([state])).numpy() return np.argmax(q_values[0]) # 训练循环中每步之后更新 epsilon epsilon = max(epsilon_end, epsilon_start * epsilon_decay)

epsilon 从 1.0 开始，初始几乎全随机探索，然后按 0.9995 的衰减系数逐步降低。这个衰减率的选择要注意：如果训练 10000 步，epsilon 大致会衰减到 0.9995 的 10000 次方约等于 0.0067，已经接近下限 0.01。如果你的训练步数更多，比如 50000 步，还是用这个衰减率的话，后期几乎完全失去了探索能力。经验做法是回看训练日志，如果奖励曲线在后期长时间持平不动，说明探索不足，可以调低衰减率；如果曲线一直在抖，说明随机动作太多，可以调高衰减率让模型更快收敛到贪心策略。

4.4 训练与验证流程：数据划分和模型检查

训练集和验证集的划分在强化学习里和监督学习不太一样——强化学习没有独立的“测试集”，因为模型的行为会改变环境状态。常见做法是准备两套环境：一套训练环境用于模型学习和经验采集，一套验证环境用于评估当前策略的补货效果。训练环境里的需求序列是随机生成的，验证环境用一段固定历史数据，保证每次验证的条件一致。

验证频率一般设为每 500 或 1000 轮训练跑一次。验证时关闭探索，让模型完全按当前策略决策，记录这段验证周期的总奖励、缺货次数、平均库存水平。一个值得关注的点是训练奖励和验证指标可能背离：训练奖励在上升，验证缺货率却变高了，这通常说明模型过拟合了训练环境里的噪声。此时可以用数据增强策略，在训练环境里随机扰动需求序列——给每天的需求量乘一个 0.9~1.1 的随机系数——增加环境的多样性。

5. 调优避坑指南：五个高频故障的排查与修复

5.1 训练不收敛：奖励曲线持续震荡或发散

现象：训练了几千轮，奖励曲线不仅没有抬升，反而在一个区间内来回震荡，甚至出现数值爆炸的迹像。

原因：最常见的是学习率偏大，策略网络更新时跨步过猛，参数的数值在几次更新内被推到极端区间。其次是奖励信号本身的问题——如果奖励函数里某个成本项的量级比其他项大几个数量级，梯度方向会被这个项主导，其他因素的信号完全被淹没。还有一个隐蔽的原因是目标网络同步频率过快，导致 Q 值估计的目标本身在频繁变化，模型追着一个移动的在移动靶上开枪，怎么都打不中。

解决：先把学习率降到1e-4量级跑 1000 轮看趋势。奖励震荡幅度收窄说明方向对了，再逐步回调。同时检查奖励函数中各项的量级：把库存成本、销售收益、缺货成本分别打出来看均值，如果差异超过一个数量级，回到奖励函数设计那里做归一化。目标网络同步频率如果是一步一同步，改成每 500 或 1000 步同步一次，给目标 Q 值一个稳定窗口。

5.2 库存成本不降反升：坏指标消灭好指标

现象：训练完成后的仿真测试里，总库存成本比基线模型还高，但缺货率确实下降了。

原因：奖励函数里各类成本的权重失衡。如果你为了减少缺货给了 gamma 一个很大的值，模型学会了宁可过量补货也不缺货——缺货率变量好看了，但库存持有成本和资金占用成本蹭蹭涨，总成本自然难看。这是补货场景里经典的“拆东墙补西墙”。我在实际项目里见过有人把 gamma 设成 beta 的三倍，结果平均库存翻了一番。

解决：重新审视奖励函数的权重标定。先把三项成本都按真实业务数据换算成金额，然后跑一次只有“不做任何补货”的仿真，记录总成本；再跑一次“永远补货到底线”的仿真，记录总成本。两个极端值框定了成本的可变范围，再回头调 alpha、beta、gamma，让模型在这两个极端之间找到平衡点。另外要给总成本设置一个月度红线指标——缺货率再好看，月度总成本超了红线就得调参。

5.3 状态空间里的维度被“吃掉”了

现象：模型训练结束后，把价格促销、天气、节假日这些额外特征加进状态空间，效果不但没有提升，反而变差了。

原因：状态向量里每个维度的权重是网络自主学习出来的，如果额外特征的噪声太大，网络会把它们当成有效信号去拟合，最终被噪声带偏。另一个可能的原因是特征之间存在高度共线性——比如“节假日特征”和“历史同期销量特征”本质上包含的信息高度重叠，多加了反而增加过拟合风险。

解决：加特征要逐步验证，不要一口气全塞进去。每加入一个新特征，跑一轮训练，对比加了之后的累计奖励曲线和库存指标。如果无明显提升或反而下降，就把特征去掉。特征选择可以用 SelectKBest 之类的工具做评分筛选，但最终判断标准一定要落到仿真验证的指标上，而不是评分工具的输出上。

5.4 线上表现与仿真结果不一致

现象：仿真环境里模型表现很好，缺货率降了 30%，但部署到生产环境跑了两周，实际缺货率几乎没有变化，甚至还有个别品类断货。

原因：仿真环境里用了训练数据中的需求分布，而实际市场环境在持续变化——促销力度变了、竞争对手调价了、季节在切换。仿真没有覆盖这些分布偏移（distribution shift），模型在仿真环境里学到的策略，一到真实世界就水土不服。还有一个常见原因是延迟：仿真环境假设补货当天到货，但实际供应链有物流延迟和不确定的交货日期，模型的补货时机判断在现实里全部偏移了。

解决：建模时就要把供应商交货提前期的不确定性写进环境。在仿真环境的 transition 函数里，对到货天数做随机扰动，每天有 5% 的概率延迟一天。这样模型从训练阶段就得学会应对交货不确定性。上线阶段采用影子模式——先让模型并行运行，只看它给出的补货建议，不直接执行，与现行策略做对比，观察两周再切实际执行，给足纠错窗口。

5.5 训练时间过长：几十个 SKU 跑几天不出结果

现象：单 SKU 模型训练一切正常，扩展到 50 个 SKU 后，训练时间呈线性爆炸，一天只能跑几千步，调优周期拉长到无法接受。

原因：强化学习的样本效率天然较低，每个 SKU 需要和环境交互数万次才能形成可靠策略，SKU 数量翻倍后训练时间也近似翻倍。加上许多实现在多 SKU 训练时是循环逐一把状态喂进网络的，计算效率堪忧。

解决：先按 SKU 聚类分批处理——把销售模式相似的 SKU 归入同一组，共享一个策略模型，只在组内做小幅差异化的输出调整，训练时间能压缩到原来的三分之一。其次检查经验回放池的采样效率，把 batch_size 调大一些，让每次梯度更新使用更多样本，减少训练步数。必要的时候用 PyTorch 的DataLoader做多进程数据加载，把环境的step()计算放到子进程里，别让它阻塞主训练循环。

6. 用评估闭环迭代调优：TensorBoard监控与业务指标验证

6.1 TensorBoard监控的关键指标

调优到一定阶段，你手里会攒下大量实验记录。只用一组评估指标做横向对比太粗了，建议把 TensorBoard 的监控指标分为两组，一组盯训练过程、一组盯业务结果。训练过程的指标包括每百步平均奖励、Q 值估计、epsilon 当前值、策略网络损失。业务结果的指标是每 1000 轮验证时统计的库存周转率、缺货率、平均库存持有成本。这六项分开看还不够，关键是把它们叠在同一张图上观察相关性——如果平均奖励在涨但缺货率也在涨，说明奖励函数在设计上有偏好问题，模型学会了用多库存换高奖励。

TensorBoard 的使用方式很直接，在训练循环的每个验证节点用tf.summary.scalar写入数据即可。写入频率有讲究：训练过程的指标每 100 步写一次足够，太密会把曲线拖成一条毛线；业务指标每个验证周期写一次，独立成一条曲线。调优的时候先看训练曲线，确认模型学到了东西了，再看业务曲线，确认学到的方向是业务想要的。两个视图对照看不偏科。

6.2 评估指标与业务指标的映射验证

仿真里的库存周转率、缺货率和业务实际指标之间，往往存在一个换算系数——仿真环境假设了特定的销售速度、交期和成本结构，真实世界的数字大概率不一样。我通常会做一次“口径对齐”：拿过去三个月的实际销售数据重放一遍，把模型输出的补货建议和实际执行的补货记录做对比，计算仿真缺货率与实际缺货率的偏差。如果偏差稳定在一个固定系数范围内，说明环境建模基本正确，之后的调优可以信赖仿真结果；如果偏差忽大忽小，就得回头检查环境的随机种子和成本参数设定。

做这个验证时曾经踩过一个很深的坑：模型在仿真里把缺货率从 8% 压到了 3%，但按真实成本结构换算后发现，节省的缺货损失刚好被增加的库存持有成本抵消了——供应链并没有真正变好，只是换了一种花钱方式。从那以后我每次调优完，第一件事就是把新模型的补货计划和上一轮的在库天数分布打出来对比，如果平均在库天数上升超过 15%，就直接判定这次调优不合格。复盘时发现当时看到的总成本下降，有一多半来自数据里促销时间段和退货周期的人为周期性，放到日常销售里根本兜不住。这个教训让我把“在库天数分布对比”固定成了每次调优实验的标准动作，这个习惯沿用至今，希望帮到你。

本文还有配套的精品资源，点击获取