机器学习算法性能评价,改进的理论基础以及改进措施 |
您所在的位置:网站首页 › 优化算法性能评价的基本内容 › 机器学习算法性能评价,改进的理论基础以及改进措施 |
1.introduction(介绍)
主要讲解一些机器学习中简单的模型评价,模型选择,模型改进的方法。主要分为性能评价,理论基础和改进措施三部分 content 1.introduction(介绍)2.How to evaluate algorithm's performance(性能评价)3.theoretical foundation(理论依据)3.1诊断偏差和方差3.2正则化和偏差,方差3.3学习曲线 4.improved method(改进方法)5.Additional words(额外的话)6.reference 2.How to evaluate algorithm’s performance(性能评价)一般情况下我们会选择训练集和测试集,按照70%和30%的比例进行分配。使用训练集来训练模型,使用测试集来评价训练的泛化性能,避免出现过拟合的情况。但是仔细想想,我们训练集训练的是系数 θ \theta θ,对于模型是否得当,用什么来评价呢?很自然的,我们会想到再来一个数据集用来评价模型怎么样,这就是进化版的性能评价训练集(training set),交叉验证集(cross validation set)和测试集(Test set),一般按照60%,20%,20%来分配。 下面举一个例子说明一下引入交叉验证集的作用。 对与线性回归的问题,假设我们需要选择多项式的次数,即对于 知道我们的算法是偏差问题还是方差问题是很重要的,这为我们进行下一步的优化奠定了基础。 首先我们定义:偏差问题是由欠拟合导致的,方差问题是由过拟合导致的。即进行模型优化的第一步是判断模型到底是欠拟合还是过拟合。 正则化系数
λ
\lambda
λ对偏差方差问题有什么影响呢?正则化是对非零项的
θ
\theta
θ施加惩罚,
λ
\lambda
λ大的话,对非零项的
θ
\theta
θ施加惩罚较大,即对各个项有惩罚,就会导致算法倾向于欠拟合,
λ
\lambda
λ小的话,对非零项的
θ
\theta
θ施加惩罚较小,算法更容易处于过拟合。 所谓学习曲线就是指代价函数
J
C
V
(
θ
)
J_{CV}(\theta)
JCV(θ)和
J
t
r
a
i
n
(
θ
)
J_{train}(\theta)
Jtrain(θ)随着training set size变化的曲线。对于欠拟合和过拟合会呈现出不同的特性。 对于欠拟合,我们可以得到下面的曲线 我们可以怎样来改进欠拟合和过拟合的不足呢? 对于欠拟合,我们可以 增加额外的特征增加更高的多项式次数减小 λ \lambda λ对于过拟合,我们可以 减小特征数目减小多项式的次数增加样本数增大 λ \lambda λ虽然前面主要是用线性回归来推导的,但是也适用于神经网络。一般情况下,我们把节点少,层数少的网络和线性回归中低次幂作为对照,要注意发没发生欠拟合的情况,把节点多,层数多的网络和线性回归中高次幂作为对照,要注意有没有发生过拟合的情况。 最后给出吴恩达在课上的一段话: So if you like you can to think of this as a way of avoiding whats sometimes called premature optimization in computer programming. And this idea that says we should let evidence guide our decisions on where to spend our time rather than use gut feeling, which is often wrong. 想要表达的意思就是小步快走,在前期不要花太多时间去构建一个完美无缺的模型,而是使得模型尽可能地简单,以方便你尽可能快的去尝试模型是否可以起作用。在简单的模型上进行迭代,优化,让事实来指导我们。回过头来看真是感慨万千,重要的不是想着要做多好,而是开始做。 6.reference吴恩达机器学习 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |