企业官网建设流程全解析

2.3数据变换（变形）
原始数据往往不符合模型输入要求，数据转换是连接"清洗后的数据"和"可训练的特征"之间的桥梁，针对不同数据类型有特定方法。
*对数据整体进行操作变形

特征值归一化处理：
（1）梯度下降更高效：不同特征量级一致，避免某些特征因数值大主导损失函数

（2）避免数值溢出或下溢：防止计算中出现极大或极小数

（3）正则化效果：某些归一化方法（如 Batch Norm）本身具有正则化作用

（4）加速收敛：优化器能在更"圆"的损失曲面上更快找到最优解
四种常见归一化方法：

（1）将数据线性映射到指定区间 [a,b] （通常是 [0,1] 或 [−1,1] ）

（2）将数据转换为均值为 0，标准差为 1 的分布（最常见）
（3）小数缩放
（4）对数缩放

图像的变换：
*图像的存储开销很大，核心是在大规模机器学习项目中如何降低图像存储和训练成本，同时尽量保持模型性能。
三种方法：
（1）裁剪（Cropping）

去除无关区域（如水印、黑边、无关背景）

聚焦 ROI（Region of Interest）

减少像素数量来降低存储和计算
（2）下采样（Downsampling）
降低图像分辨率
（3）压缩（Compression）

使用有损压缩格式（如 JPEG）

进一步减小文件体积

*中等质量（80%-90%）JPEG压缩可能导致 ImageNet准确率下降约 1%

这意味着：

压缩率越高->文件越小、加载越快、存储越省

但信息损失越大->模型性能可能下降
需要根据需求自行权衡

视频的变换：
核心挑战在于视频数据的高度可变性以及如何在预处理阶段做好存储、质量、加载速度的权衡。

对于ML短视频片段更易处理：
理想情况：每个片段是一个连贯的语义事件
*但是长视频语义分割极难

视频变换的核心是"化长为短、化编码为帧"，在保持语义完整性的前提下，把高可变性的原始视频转化为固定长度、易于加载、模型友好的输入格式，同时接受存储空间的代价。

*需要权衡存储，质量和加载速度

文本的变换：
核心是将原始文本转化为机器学习模型能处理的结构化形式
包括两大步骤：
（1）词形还原与词干提取

目标：将词语的不同形态归约为统一的基干形式

词干提取：基于规则的截断，准确率低，速度快（E2）
词干还原：基于词典的词性标注，准确率高，速度慢（E1）

（2）分词（Tokenization）

目标：将文本字符串切分为模型能处理的最小单元（tokens）

"gp" 是词根，"##u" 表示它是前一个 token 的延续（因为词典没”gpu”这个词需要分割）
能处理没在词典中的词