企业官网建设流程全解析

在监督学习中，我们的核心目标是找到最优参数 ，使得损失函数最小化：

2. 损失函数数学原理：

比较两个概率模型（一个是确定的现实模型，一个是我们设计的概率模型）

1）最小二乘法：

这里的1/2是为了求导方便

2）最大似然：

概率是从事件推结果，似然是从结果（概率）推事件

似然函数的推导过程：

这里使用log将连乘变成连加（同时log不改变其单调性）

添加-号将寻找最大值问题变成寻找最小值

3）信息论基础：

不同类型的模型可以使用熵来进行统一衡量,熵越大越混乱，此处应该寻找熵的最小值

信息量：一个系统从不确定变得确定难度有多大

为满足逻辑（下图公式2）自洽则信息量公式中应该有log

熵的计算公式：

相对熵（KL散度）：这里是以P为基准，看Q与P的距离

交叉熵：（这里P是人脑对应的模型，Q是用于分类的模型，此任务用于判断是不是猫）

3. 较为常见的损失函数两类：

（1）均方差损失函数（MSE）

通过计算模型预测值与真实值之间差值的平方的平均值，衡量回归任务中预测结果的准确性，旨在使预测值尽可能接近真实值。

（2）交叉熵损失函数（CE）

用于衡量分类任务中模型预测的概率分布与真实标签之间的差异，旨在通过最小化损失来使模型预测更加接近真实类别。

结合不同任务特性选用适配的损失函数，可参考知乎文章：(59 封私信 / 30 条消息) 深度学习损失函数完全指南：理论、实现与应用 - 知乎