Xshell+Xftp教程
2026/7/8 8:34:13
优点
- 具备线性特性，计算开销小；
- 输出区间为[0,+∞)，能缓解梯度消失问题。
缺点
- 非零中心化，训练稳定性偏弱，需要更多迭代优化；
- 负输入会被完全抑制，易出现dead ReLU（神经元坏死），甚至让网络部分失效；
- 输出无界，权重 / 偏置偏大时容易出现梯度爆炸。
ReLU 计算简单、可缓解梯度消失；但存在非零中心化、神经元坏死、易梯度爆炸三大缺陷。
Leaky ReLU
优点
- 负区间赋予微小斜率，解决 ReLU 神经元坏死（dead ReLU）；
- 一定程度缓解深层网络梯度消失，梯度传递更顺畅；
- 正负区间均含线性特性，适配更多数据分布。
缺点
- 最优负斜率无通用标准，需针对任务调参，选值不当会降低效果；
- 正负区间函数形态不一致（正区间恒 1 梯度、负区间固定小斜率），模型行为不统一，可解释性差。
一句话速记
Leaky ReLU 给负值保留微弱梯度，解决神经元死亡、缓解梯度消失；但负斜率需手动调优，函数分段行为不一致。
FaceNet算法损失函数:三元组损失
重点（PPT）：
第一章：激活函数:ReLU函数，优缺点
ReLU(𝑥) = max(0, 𝑥)
ReLU激活函数优点:
（1）由于其线性特性，计算成本非常低。
（2）ReLU函数的输出范围在[0, ∞)之间，这使得它不会遇到梯度消失问题
。
ReLU激活函数缺点:
（1）ReLU函数不是零中心化的，训练可能稍显不稳定，需要更多迭代来获
得更好的性能。
（2）它会完全抑制负值输入，导致这些神经元无效。在某些情况下，这可
能导致整个网络架构处于非响应状态，这被称为“dead ReLU”。
（3）由于ReLU是无界的，当权重或偏置值较大时，可能容易受到梯度爆炸
问题的影响。
Leaky ReLU函数
LeakyReLU(x)={x,αx,x>0x≤0
多层感知器结构（输入层、隐藏层、输出层）
反向传播算法（损失函数）计算
梯度下降算法
损失函数
卷积神经网络结构（CNN结构）（不考计算） 池化层滤波器结果（最大池化层和平均池化层） 全连接层展平
第二章:FaceNet人脸识别算法（三元组损失函数是维度为128的向量表示，人脸识别的作用（三个词）、三元组损失函数的名称）
AL人脸特征身份识别协议的数字？？？、流程图
第三章（考得最多）：步态识别概念、优势
基于切片特征的步态识别算法（三个核心组件及各自的作用、组成、第二个组件的三个构成的作用？？？） Al步态特征身份认证系统的工作流程（全背下来）
第四章（较多）：指纹的特点（三个性）
AL指纹识别系统的五个步骤（记住第二个和第三个步骤） 指纹的第一级特征（基本认识、记住奇异点包括什么） 专门用于指纹细节点提取的深度学习模型FingerNet的工作流程 指纹匹配的技术:（全部记住）（两页PPT） 算法执行例子（计算距离和角度差看是否相似）（会考） AL指纹特征身份识别系统工作流程（考/不考？？？）