理解逻辑回归中的后验概率和损失函数 |
您所在的位置:网站首页 › 最大后验概率准则推导 › 理解逻辑回归中的后验概率和损失函数 |
一、理解后验概率
在LR中, 后验概率 首先,由贝叶斯公式得 由全概率公式得 化简 (2) 式得 (3) 式在LR中的表示为 (3) 式分母第二项表达的意思是 1、 2、
3、 所以, 由上述三种情况的分析来看,逻辑回归中的后验概率表示和实际的后验概率表达的意图是相同的,只不过我们借助sigmod 和 一、理解损失函数 在大多数的参考资料中,LR中的损失函数定义为下式 如何去理解它那?其实很简单,我们来简单讨论一下。 如果一个实际为 1 分类的样本被划分到了分类边界以下,说明模型把它分错了,对应到上式,它的惩罚是 同样的,如果一个实际为 -1 分类的样本被划分到了分类边界以上,对应到上式,它的惩罚是 和人一样,犯的错误较大,惩罚要大一些;犯的错误小一点,惩罚也小一点。 那既然模型犯了错误,它如何改正错误那? 通过对损失函数求导得 这就是模型改错的具体行动,如果不犯错,上式为 0。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |