回归系列之L1和L2正则化

机器学习监督算法的基本思路是 让拟合的模型尽量接近真实数据， 换句更通俗的话, 要让我们的模型尽量简单⼜能很好的反应已知数据之间关

系。在这个贴近的过程可能存在两个截然相反的问题：过拟合和拟合不够。 拟合不够是模型预测值与真实值之间误差较⼤，上篇⽂章中提到梯度

下降就是讨论解决问题（求损失函数最⼩）。 ⽽正则化则是探讨过拟合的问题（当然正则化还能改善ill-posed(condition)等问题，本⽂不详细论

述）， 或者说是让模型更简单的⽅法。在详细讨论正则化之前，先了解相关数学基础知识。

⼀、数学基础

1. 范数

范数是衡量某个向量空间（或矩阵）中的每个向量以长度或⼤⼩。范数的⼀般化定义：对实数p>=1， 范数定义如下：

范数公式定义

L1范数

当p=1时，是L1范数，其表⽰某个向量中所有元素绝对值的和。

L2范数

当p=2时，是L2范数， 表⽰某个向量中所有元素平⽅和再开根， 也就是欧⼏⾥得距离公式。

2.拉普拉斯分布

如果随机变量的概率密度函数分布为:

Paste_Image.png

那么它就是拉普拉斯分布。其中，

μ

 是数学期望，

b

 > 0 是振幅。如果 

μ

 = 0，那么，正半部分恰好是尺度为 1/2 的指数分布。

拉普拉斯概率密度函数