Logistic Regression 参数更新公式推导 |
您所在的位置:网站首页 › 逻辑回归公式 › Logistic Regression 参数更新公式推导 |
逻辑回归(Logistic Regression)是一种用于解决二分类(0 | 1)问题的机器学习方法,用于估计某事件发生的可能性。比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。 那么逻辑回归与线性回归是什么关系呢? 逻辑回归与线性回归都是一种广义线性模型。逻辑回归假设因变量 y 服从伯努利分布,而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处,去除Sigmoid映射函数的话,逻辑回归算法就是一个线性回归。可以说,逻辑回归是以线性回归为理论支持的,但是逻辑回归通过Sigmoid函数引入了非线性因素,因此可以轻松处理0/1分类问题。 下面我将给Logistic Regression的参数更新公式进行一个详细的推导。 首先引入Sigmoid函数,也称为逻辑函数(Logistic function),表达式为: 为了找到最可能导致上述概率分布成立的θ值,我们需要利用极大似然估计。 极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值。 首先求极大似然函数。对于这m个样本,我们可以得到极大似然函数为: 在逻辑回归中,我们将上式引入因子-1/m,转化为求下式的极小值: 类似于线性回归,我们采用梯度下降法不断更新θ,最终逼近J(θ)的极小值。 在J(θ)中对θ的各个分量求偏导:
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |