Loss Function--Intelligent technology investment network-上海优钧机械设备科技

News Message

Loss Function

by wittx 2020-09-28

Loss Function

损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。
损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。
常见的损失函数以及其优缺点如下：
0-1损失函数(zero-one loss)
0-1损失是指预测值和目标值不相等为1，否则为0:
$L ( Y , f ( X ) ) = \left\{ \begin{array} { l } { 1 , Y \neq f ( X ) } \\ { 0 , Y = f ( X ) } \end{array} \right. \\$
特点：
(1)0-1损失函数直接对应分类判断错误的个数，但是它是一个非凸函数，不太适用.
(2)感知机就是用的这种损失函数。但是相等这个条件太过严格，因此可以放宽条件，即满足 $|Y - f(x)| < T$ 时认为相等，
$L ( Y , f ( X ) ) = \left\{ \begin{array} { l } { 1 , | Y - f ( X ) | \geq T } \\ { 0 , | Y = f ( X ) | < T } \end{array} \right. \\$
2. 绝对值损失函数
绝对值损失函数是计算预测值与目标值的差的绝对值：
$L(Y, f(x)) = |Y - f(x)| \\$
3. log对数损失函数
log对数损失函数的标准形式如下：
$L(Y, P(Y|X)) = -logP(Y|X) \\$
特点：
(1) log对数损失函数能非常好的表征概率分布，在很多场景尤其是多分类，如果需要知道结果属于每个类别的置信度，那它非常适合。
(2)健壮性不强，相比于hinge loss对噪声更敏感。
(3)逻辑回归的损失函数就是log对数损失函数。
4. 平方损失函数
平方损失函数标准形式如下：
$L ( Y | f ( X ) ) = \sum _ { N } ( Y - f ( X ) ) ^ { 2 } \\$
特点：
(1)经常应用与回归问题
5. 指数损失函数（exponential loss）
指数损失函数的标准形式如下：
$L(Y|f(X)) = exp[-yf(x)] \\$
特点：
(1)对离群点、噪声非常敏感。经常用在AdaBoost算法中。
6. Hinge 损失函数
Hinge损失函数标准形式如下：
$L(y, f(x)) = max(0, 1-yf(x)) \\$
特点：
(1)hinge损失函数表示如果被分类正确，损失为0，否则损失就为 $1-yf(x)$ 。SVM就是使用这个损失函数。
(2)一般的 $f(x)$ 是预测值，在-1到1之间， $y$ 是目标值(-1或1)。其含义是， $f(x)$ 的值在-1和+1之间就可以了，并不鼓励 $|f(x)| > 1$ ，即并不鼓励分类器过度自信，让某个正确分类的样本距离分割线超过1并不会有任何奖励，从而使分类器可以更专注于整体的误差。
(3) 健壮性相对较高，对异常点、噪声不敏感，但它没太好的概率解释。
7. 感知损失(perceptron loss)函数
感知损失函数的标准形式如下：
$L(y, f(x)) = max(0, -f(x)) \\$
特点：
(1)是Hinge损失函数的一个变种，Hinge loss对判定边界附近的点(正确端)惩罚力度很高。而perceptron loss只要样本的判定类别正确的话，它就满意，不管其判定边界的距离。它比Hinge loss简单，因为不是max-margin boundary，所以模型的泛化能力没 hinge loss强。
8. 交叉熵损失函数 (Cross-entropy loss function)
交叉熵损失函数的标准形式如下:
$C = - \frac { 1 } { n } \sum _ { x } [ y \ln a + ( 1 - y ) \ln ( 1 - a ) ] \\$
注意公式中 $x$ 表示样本， $y$ 表示实际的标签， $a$ 表示预测的输出， $n$ 表示样本总数量。
特点：
(1)本质上也是一种对数似然函数，可用于二分类和多分类任务中。
二分类问题中的loss函数（输入数据是softmax或者sigmoid函数的输出）：
$loss = - \frac { 1 } { n } \sum _ { x } [ y \ln a + ( 1 - y ) \ln ( 1 - a ) ] \\$
多分类问题中的loss函数（输入数据是softmax或者sigmoid函数的输出）：
$loss = - \frac{1}{n} \sum_i y_ilna_i \\$
(2)当使用sigmoid作为激活函数的时候，常用交叉熵损失函数而不用均方误差损失函数，因为它可以完美解决平方损失函数权重更新过慢的问题，具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。
最后奉献上交叉熵损失函数的实现代码：cross_entropy.

这里需要更正一点，对数损失函数和交叉熵损失函数应该是等价的！！！（此处感谢
@Areshyy
的指正，下面说明也是由他提供）
下面来具体说明：
相关高频问题：
1.交叉熵函数与最大似然函数的联系和区别？
区别：交叉熵函数使用来描述模型预测值和真实值的差距大小，越大代表越不相近；似然函数的本质就是衡量在某个参数下，整体的估计和真实的情况一样的概率，越大代表越相近。
联系：交叉熵函数可以由最大似然函数在伯努利分布的条件下推导出来，或者说最小化交叉熵函数的本质就是对数似然函数的最大化。
怎么推导的呢？我们具体来看一下。
设一个随机变量 $X$ 满足伯努利分布，
$P(X=1) = p, P(X=0)=1-p \\$
则 $X$ 的概率密度函数为：
$P(X)=p^X(1-p)^{1-X} \\$
因为我们只有一组采样数据 $D$ ，我们可以统计得到 $X$ 和 $1-X$ 的值，但是 $p$ 的概率是未知的，接下来我们就用极大似然估计的方法来估计这个 $p$ 值。
对于采样数据 $D$ ，其对数似然函数为:
$logP(D) = log\prod_{i}^{N}P(D_i) \\ = \sum_{i}logp(D_i) \\ = \sum_{i}(D_ilogp + (1-D_i)log(1-p)) \\$
可以看到上式和交叉熵函数的形式几乎相同，极大似然估计就是要求这个式子的最大值。而由于上面函数的值总是小于0，一般像神经网络等对于损失函数会用最小化的方法进行优化，所以一般会在前面加一个负号，得到交叉熵函数（或交叉熵损失函数）：
$loss = -\sum_{i}(D_ilogp + (1-D_i)log(1-p)) \\$
这个式子揭示了交叉熵函数与极大似然估计的联系，最小化交叉熵函数的本质就是对数似然函数的最大化。
现在我们可以用求导得到极大值点的方法来求其极大似然估计，首先将对数似然函数对 $p$ 进行求导，并令导数为0，得到
$\sum_{i}(D_i \frac{1}{p} + (1-D_i) \frac{1}{p-1}) =0 \\$
消去分母，得：
$\sum_{i}^{N}(p-D_i) = 0 \\$
所以:
$p = \frac{1}{N} \sum_i D_i \\$
这就是伯努利分布下最大似然估计求出的概率 $p$ 。
2. 在用sigmoid作为激活函数的时候，为什么要用交叉熵损失函数，而不用均方误差损失函数？
其实这个问题求个导，分析一下两个误差函数的参数更新过程就会发现原因了。
对于均方误差损失函数，常常定义为：
$C= \frac{1}{2n}\sum_x(a - y)^2 \\$
其中 $y$ 是我们期望的输出， $a$ 为神经元的实际输出（ $a = \sigma(z), z=wx+b$ ）。在训练神经网络的时候我们使用梯度下降的方法来更新 $w$ 和 $b$ ，因此需要计算代价函数对 $w$ 和 $b$ 的导数：
$\frac{\partial C }{\partial w} = (a-y)\sigma'(z)x \\ \frac{\partial C }{\partial b } = (a-y)\sigma'(z)\\$
然后更新参数 $w$ 和 $b$ ：
$w = w - \eta \frac{\partial C}{\partial w} = w - \eta (a-y)\sigma'(z)x \\ b = b - \eta \frac{\partial C}{\partial b} = b - \eta (a-y)\sigma'(z) \\$
因为sigmoid的性质，导致 $\sigma'(x)$ 在 $z$ 取大部分值时会很小（如下图标出来的两端，几乎接近于平坦），这样会使得 $\eta (a-y)\sigma'(z)$ 很小，导致参数 $w$ 和 $b$ 更新非常慢。
那么为什么交叉熵损失函数就会比较好了呢？同样的对于交叉熵损失函数，计算一下参数更新的梯度公式就会发现原因。交叉熵损失函数一般定义为：
$C = - \frac { 1 } { n } \sum _ { x } [ y \ln a + ( 1 - y ) \ln ( 1 - a ) ] \\$
其中 $y$ 是我们期望的输出， $a$ 为神经元的实际输出（ $a = \sigma(z), z=wx+b$ ）。同样可以看看它的导数：
$\frac{\partial C}{\partial a} = -\frac{1}{n}\sum_x[y\frac{1}{a}+(y-1)\frac{1}{1-a}] \\ = -\frac{1}{n}\sum_x[\frac{1}{a(1-a)}y - \frac{1}{1-a}] \\ = -\frac{1}{n}\sum_x[\frac{1}{\sigma(x)(1-\sigma(x))}y - \frac{1}{1-\sigma(x)}] \\$
另外，
$\frac{\partial C}{\partial z} = \frac{\partial C}{\partial a} \frac{\partial a}{\partial z} \\ =-\frac{1}{n}\sum_x[\frac{1}{\sigma(x)(1-\sigma(x))}y - \frac{1}{1-\sigma(x)}] \bullet \sigma'(x) \\ = -\frac{1}{n}\sum_x[\frac{1}{\sigma(x)(1-\sigma(x))}y - \frac{1}{1-\sigma(x)}]\bullet \sigma(x)(1-\sigma(x)) \\ = -\frac{1}{n} \sum_x(y-a) \\$
所以有：
$\frac{\partial C}{\partial w} = \frac{\partial C}{\partial z} \frac{\partial z}{\partial w} = (a-y)x \\$
$\frac{\partial C}{\partial b} = \frac{\partial C}{\partial z} \frac{\partial z}{\partial b} = (a-y) \\$
所以参数更新公式为：
$w = w - \eta \frac{\partial C}{\partial w} = w - \eta (a-y)x\\ b = b - \eta \frac{\partial C}{\partial b} = b - \eta (a-y) \\$
可以看到参数更新公式中没有 $\sigma'(x)$ 这一项，权重的更新受 $(a-y)$ 影响，受到误差的影响，所以当误差大的时候，权重更新快；当误差小的时候，权重更新慢。这是一个很好的性质。
所以当使用sigmoid作为激活函数的时候，常用交叉熵损失函数而不用均方误差损失函数。

https://zhuanlan.zhihu.com/p/58883095

https://www.jianshu.com/p/b448c196af62

信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。
一个事件或一个系统，准确的说是一个随机变量，它有着一定的不确定性。随机变量的不确定性很高，要消除这个不确定性，就需要引入很多的信息，这些很多信息的度量就用“信息熵”表达。需要引入消除不确定性的信息量越多，则信息熵越高，反之则越低。随机变量确定性很高，几乎不需要引入信息，因此信息熵很低。

Share Http URL: http://www.wittx.cn/get_news_message.do?new_id=456

©2021 上海优钧机械设备科技有限公司

Best Last Month

SDG,ADAM,LookAhead,Lion优化器

SDG,ADAM,LookAhead,Lion优化器
Information industry

by wittx

Introduction to Contact Mechanics

Introduction to Contact Mechanics
Information industry

by wittx

Nature论文石墨烯获得突破性进展

Nature论文石墨烯获得突破性进展
Electronic electrician

by wittx

Thermoelectric Energy Harvesti

Thermoelectric Energy Harvesti
Information industry

by wittx

强磁场中石墨烯的超导性

强磁场中石墨烯的超导性
Information industry

by wittx

Equivariant 3D-conditional diffusion model for molecular linker design

Equivariant 3D-conditional diffusion model for molecular linker design
Information industry

by wittx

概率投资理性投资

概率投资理性投资
Information industry

by wittx

Swin Transformer

Swin Transformer
Information industry

by wittx

证监会于8月7日发布公募REITs基金指引开启万亿级市场

证监会于8月7日发布公募REITs基金指引开启万亿级市场
Information industry

by wittx

2020/12/24 金融行情

2020/12/24 金融行情
Information industry

by wittx