Sigmoid 函数和 logistic 回归 · 机器学习数学基础 |
您所在的位置:网站首页 › sigmoid函数原理 › Sigmoid 函数和 logistic 回归 · 机器学习数学基础 |
Sigmoid 函数和 Logistic 回归
Sigmoid 函数和 Logistic 回归是与伯努利分布有关的函数,关于伯努利分布的基本内容,参阅《机器学习数学基础》。 Sigmoid 函数Sigmoid 函数也称为 logistic 函数。 若根据给定的输入 ,预测二值输出 ,可以通过条件概率分布: 其中 是预测的输出分布函数,它可以有很多不同的具体形式。为了避免使用 约束条件,可以改一个无约束的函数,即: 上式的函数 就是sigmoid 函数或logistic 函数,其具体函数形式如下: 其中 ,其函数曲线如下图所示,即为 S 形状。 易知,上述函数的值域是 ,它符合作为概率的输出值范围(所以,伯努利参数有一个有效值)。换个角度看,Sigmoid 函数也可以看成是亥维赛阶梯状函数(Heaviside step function)的“柔软化”。如下,是亥维赛阶梯函数定义和图示。 将 Sigmoid 函数代入到前面所定义的伯努利分布 中,得: 上式中的 称为对数几率(log odds): ,其中 ,即: 注:正是因为上述原因,logistic 函数不能翻译为“逻辑函数”,也因此,在周志华的《机器学习》一书中,将 logistic 回归译为“对数几率回归”。 因此,对数几率 与 之间形成的映射关系,称为 logistic 函数,其函数形式为: 取上式的逆(反函数),得到的函数称为 logit 函数,显然此函数值域是 : 以下关于 Sigmoid 函数的性质和有关计算: logistic 回归令 ,即使用线性模型进行预测,代入 中,得到: 考虑 ,则: 上式称为 logistic 回归(周志华在《机器学习》中译为“对数几率回归”)。 作者: 老齐 链接: http://math.itdiffer.com/sigmoid.html 来源: 机器学习 本文原创发布于「机器学习」,转载请注明出处,谢谢合作! |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |