Sigmoid 函数和 logistic 回归 · 机器学习数学基础

您所在的位置:网站首页 sigmoid函数原理 Sigmoid 函数和 logistic 回归 · 机器学习数学基础

Sigmoid 函数和 logistic 回归 · 机器学习数学基础

#Sigmoid 函数和 logistic 回归 · 机器学习数学基础| 来源: 网络整理| 查看: 265

Sigmoid 函数和 Logistic 回归

Sigmoid 函数和 Logistic 回归是与伯努利分布有关的函数,关于伯努利分布的基本内容,参阅《机器学习数学基础》。

Sigmoid 函数

Sigmoid 函数也称为 logistic 函数。

若根据给定的输入 ,预测二值输出 ,可以通过条件概率分布:

其中 ​ 是预测的输出分布函数,它可以有很多不同的具体形式。为了避免使用 ​ 约束条件,可以改一个无约束的函数,​即:

上式的函数 就是sigmoid 函数或logistic 函数,其具体函数形式如下:

其中 ,其函数曲线如下图所示,即为 S 形状。

易知,上述函数的值域是 ​​​ ,它符合作为概率的输出值范围(所以,伯努利参数有一个有效值)。换个角度看,Sigmoid 函数也可以看成是亥维赛阶梯状函数(Heaviside step function)的“柔软化”。如下,是亥维赛阶梯函数定义和图示。

​​

将 Sigmoid 函数代入到前面所定义的伯努利分布 中,得:

上式中的 ​​​ 称为对数几率(log odds):​ ,其中 ​ ,即:

​​

注:正是因为上述原因,logistic 函数不能翻译为“逻辑函数”,也因此,在周志华的《机器学习》一书中,将 logistic 回归译为“对数几率回归”。

因此,对数几率 ​ 与 之间形成的映射关系,称为 logistic 函数,其函数形式为:

取上式的逆(反函数),得到的函数称为 logit 函数,显然此函数值域是 :

以下关于 Sigmoid 函数的性质和有关计算:

​​​

logistic 回归

令 ,即使用线性模型进行预测,代入 中,得到:

考虑 ,则:

上式称为 logistic 回归(周志华在《机器学习》中译为“对数几率回归”)。

作者: 老齐 链接: http://math.itdiffer.com/sigmoid.html 来源: 机器学习 本文原创发布于「机器学习」,转载请注明出处,谢谢合作!

http://math.itdiffer.com/images/0.jpg



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3