模型预测精度(数值regression)评价指标 |
您所在的位置:网站首页 › r的平方值多少最好 › 模型预测精度(数值regression)评价指标 |
模型预测精度(数值regression)评价指标 - RMSE, MAE, MAPE & Bias哪个指标更好?
在销量/需求预测时常用的一些模型评价指标,尤其是在supplychain销量预测等领域,哪些指标好,哪些不好?什么时候用什么指标。 Error 对于每一个数据,error等于预测减去实际值(这里是销量预测,所以为实际需求) Error = forecast (f) - demand (d) MAPE mean absolute percentage error 不是一个很好的评价指标,因为如果有一个实际值(demand)很低的时候,这时的百分比会很大,会对最后平均之后的百分比影响较大,如果根据MAPE值进行模型优化,会导致整体预测值小于实际值。最好不要用MAPE。 MAE mean absolute error 预测值与实际值的差值的绝对值,MAE反而是比较好的平均指标。 但有个缺点,就是因为不是正规化后的值,不好比较。比如MAE是10,我们不知道它到底是算好还是不好。如果实际值的平均是1000,那误差很低,但如果实际平均是1,误差则非常大。所以比较的时候,往往除以实际值的平均,做个正规化,这样变成百分比就好比较了,也有人把这个指标也叫MAPE,但是是不一样的。不管它叫什么,一定要解释好指标是怎么算出来的。
error的权重问题 和MAE相比,RMSE给每个错误的权重是不同的,error越大的数据给的权重越大,这导致只要你有一个非常不好的预测结果,整个RMSE都会很差。 举个例子。下面两个预测,只有最后一个period结果不同,一个是8,一个是9。 你觉得哪个的MAE最好?哪个RMSE最好?哪个MAPE最好? 所以其实 MAE优化的是中位数,而RMSE优化的平均值。 MAE是error绝对值,最小化时候看正负两拨预测值如何靠近实际值,即中位数 RMSE最小化时候,看预测值总和如何靠近实际值总和,即平均 (数学公式省略) MAE 和 RMSE选哪个? 所以究竟选哪个呢?当然你也可以两个都用。但哪个更好不能一概而论,我们先来看下这两个指标分别对偏差bias,异常值(outliers)敏感度,间歇性需求的不同影响。 1. bias 大多数supply chain的数据demand都是skewed。一般demand会不时有一些peak(peak可能由于promotion活动或者客户批量订货),其他时段则很低,总体会成一个skewed 分布。平均值会大于中位数。所以最小化MAE可能会造成偏差,这是MAE的主要弱点。 但对于异常值敏感一定是坏事么? 3. 间歇性需求 对于间歇性需求的产品,对于异常值敏感可能反而是好事。 举例:我们买一种产品给一个客户,客户喜欢批量购买,三周买一次,一次100件。 那么每周平均需求是33左右,中位数是0。 如果用平均(33件)来预测它每周的销量,由下表可以计算出RMSE为47,MAE为44 结论 所以MAE,RMSE究竟用哪个是没有一个定论的。如果用MAE导致很高的bias,那就试试RMSE。如果数据里面有很多异常值,导致预测skewed预测结果,那就试试MAE。 报告和模型优化可以用不同的指标来做。如果你的数据每个数据需求量太低,可以aggregate转换成更长期间的数据,比如月次等。如果必须日次预测,可以预测完月次再平均分配回去。这可以让你用MAE作为指标并同时平滑那些peaks。 【参考文献】 https://towardsdatascience.com/forecast-kpi-rmse-mae-mape-bias-cdc5703d242d |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |