企业官网建设流程全解析

下面开始学课程2

1.1 训练_开发_测试集

训练集/验证集/测试集

1.2 偏差_方差

训练集误差 和 验证集误差

高方差，也就是数据出现过拟合，训练集误差小，但是验证集误差大

1.3 机器学习基础

高偏差->更大的网络/更长的训练时间

高方差->更多的数据/正则化

1.4 正则化

Regularization:

Regularization的数学解释如上面的公式所示，在cost函数的后面增加一个惩罚项！

如果一个权重太大，将导致代价过大，因此在后向传播后，就会对该权重进行惩罚，使其保持一个较小的值。

(9 封私信 / 80 条消息) 深度学习（Deep Learning）基础概念8：L2正则化（L2 Regularization）、Dropout原理及其python实现 - 知乎

λ是正则化参数

1.5 为什么正则化可以预防过拟合？

再来一个例子，激活函数为tanh函数：

如果 λ很大 -> 参数w很小 -> z相对变小（忽略b的影响） -> z的取值范围很小 -> tanh激活函数接近线性 -> 整个神经网络的计算接近线性 ->不会发生过拟合

1.6 dropout正则化

Dropout是一种随机失活技术，在训练阶段以概率p将部分神经元输出置零，并对保留的输出除以(1-p)（Inverted Dropout 反向随机失活），保持期望输出不变。这样相当于每次训练使用不同的子网络，减少神经元间的共适应性，提升泛化能力。

keep-prob表示保留某个隐藏单元的概率

测试和预测不dropout，且不用除以keep-prob

1.7 理解dropout

输入层的keep-prob值一般设为1.

dropout的一个缺点是无法确定J函数.

1.8 其他正则化方法

数据增强的方法：

水平翻转，随机裁剪、旋转，对于字符，可以随机扭曲+旋转

早停

1.9 归一化输入

step 1 ：零均值化(zero mean)

step 2 ：归一化方差