企业官网建设流程全解析

AI产品A/B测试的实验设计：分流策略、指标选择与统计显著性的工程化实现

一、AI产品的A/B测试独特性：输出不是"蓝色按钮或红色按钮"

传统互联网产品的A/B测试对比的是UI元素（按钮颜色、布局），输出是可精确度量的（点击率、转化率）。AI产品的A/B测试对比的是模型版本、Prompt策略或Agent工作流，输出是"生成质量"这样的模糊概念。如何将"这篇日记写得好不好"转化为可量化的指标，是AI产品A/B测试的核心挑战。

二、实验设计的三层架构

分流层使用一致性哈希确保同一用户始终分到同一组（避免体验不一致）。指标采集层分离了三类指标：客观系统指标（延迟、成本）、用户行为指标（编辑次数、复制率）和质量感知指标（评分、次日留存）。统计分析层使用独立样本t检验判断组间差异是否显著。

三、分流策略与关键实现

# ab_testing/splitter.py """用户分流引擎 设计意图： 1. 使用一致性哈希确保同一用户ID始终分到同一实验组 2. 支持多实验并行，哈希空间互不重叠 3. 流量分配通过实验配置动态调整，无需重启服务 """ import hashlib from dataclasses import dataclass from enum import Enum from typing import Optional class Variant(Enum): CONTROL = "control" # 对照组 TREATMENT_A = "treatment_a" # 实验组A TREATMENT_B = "treatment_b" # 实验组B @dataclass class ExperimentConfig: experiment_id: str variants: dict[Variant, float] # 各变体的流量占比 salt: str # 哈希盐值，确保不同实验独立 min_sample_size: int # 最小样本量 def total_ratio(self) -> float: return sum(self.variants.values()) class UserSplitter: """一致性哈希分流器""" # 哈希环槽位数，2^14=16384的精度足以分配百分比级流量 RING_SIZE = 16384 def assign(self, user_id: str, config: ExperimentConfig) -> Optional[Variant]: """返回用户被分配到哪个实验变体""" # 使用MD5生成分布式哈希 hash_input = f"{config.salt}:{user_id}" hash_bytes = hashlib.md5(hash_input.encode()).digest() # 取前2字节映射到0-RING_SIZE范围 bucket = int.from_bytes(hash_bytes[:2], 'big') % self.RING_SIZE # 按累计占比确定bucket落在哪个变体的区间 cumulative = 0 total = config.total_ratio() for variant, ratio in config.variants.items(): cumulative += ratio # 将累计占比映射为hash区间 boundary = int(self.RING_SIZE * cumulative / total) if bucket < boundary: return variant return None # 未被分配（如流量占比<100%时剩余的用户） def should_collect(self, config: ExperimentConfig) -> bool: """判断是否还需收集数据（样本量是否达到要求）""" # 实际实现中从数据库读取当前各变体的样本量 return True # ab_testing/metrics.py """实验指标计算 指标分为三类： 1. 系统指标：延迟、Token消耗（客观、有标准答案） 2. 行为指标：编辑次数、分享率（客观、无标准答案） 3. 感知指标：用户评分、次日留存（主观、收集成本高） """ from scipy import stats import numpy as np class ExperimentAnalyzer: def analyze( self, control_values: list[float], treatment_values: list[float], alpha: float = 0.05, ) -> dict: """独立样本t检验分析两组差异显著性""" t_stat, p_value = stats.ttest_ind( treatment_values, control_values, equal_var=False ) # 计算效应量（Cohen's d） pooled_std = np.sqrt( (np.std(control_values, ddof=1) ** 2 + np.std(treatment_values, ddof=1) ** 2) / 2 ) cohens_d = ( (np.mean(treatment_values) - np.mean(control_values)) / pooled_std if pooled_std > 0 else 0 ) return { "t_statistic": float(t_stat), "p_value": float(p_value), "significant": p_value < alpha, "cohens_d": float(cohens_d), "effect_size": self._classify_effect(cohens_d), "control_mean": float(np.mean(control_values)), "treatment_mean": float(np.mean(treatment_values)), "relative_change": float( (np.mean(treatment_values) - np.mean(control_values)) / max(np.mean(control_values), 0.001) ), } def _classify_effect(self, d: float) -> str: """按Cohen's d分类效应大小""" if abs(d) < 0.2: return "可忽略" elif abs(d) < 0.5: return "小" elif abs(d) < 0.8: return "中" else: return "大"

一致性哈希保证了用户ID与变体的稳定映射——同一用户不会在一次对话中看到新旧两个版本的AI输出，避免混淆感知。

四、AI产品A/B测试的特殊陷附

第一个陷附是"p值迷信"——p<0.05不等于实验组更好。在AI日记润色实验中，新Prompt的"编辑次数"显著降低（p=0.02），但这可能是因为新Prompt生成的日记更短（平均少142字），用户不需要编辑。相关性不等于因果性。

第二个陷附是"峰值结束定律"——用户对AI质量的感知受到最后一次交互的强烈影响。如果用户的最后一次AI交互恰好出错了，他们的评分会显著低于整体体验。解决方案是同时采集"连续5次交互的滑动窗口均值"作为辅助指标。

第三个陷附是"实验时长不足"——AI产品的学习效应比传统产品更长。用户需要2-4次交互才能适应新的AI行为模式，前几次的低评分可能只是适应期的正常反应。

五、总结

本次AI产品A/B测试实验设计的核心结论：

1. 一致性哈希分流保障用户体验连续性：同一用户始终在同一变体，避免感知混淆。

2. 三维指标体系覆盖AI产品的评估盲区：系统指标（延迟/成本）+行为指标（编辑/分享）+感知指标（评分/留存）。

3. p值不是终点：显著差异需要结合效应量（Cohen's d）和业务判断共同解读。

4. 峰值结束定律与适应期是AI测试的两大噪音：滑动窗口均值和2-4次交互缓冲期可部分缓解。

5. 效应量的业务意义优先于统计显著性：0.1%的改善在统计上可显著但在业务上不可操作。