数据平滑处理 |
您所在的位置:网站首页 › log1为底数 › 数据平滑处理 |
今天在做题的时候学到了一点有用的东西,所以这里做个记录分享一下,有关数据预处理的两个函数问题——log1p、expm1 优点: 在数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化,使其更加服从高斯分布,此步处理可能会使我们后续的分类结果得到一个更好的结果;平滑处理很容易被忽略掉,导致模型的结果总是达不到一定的标准,同样使用逼格更高的log1p能避免复值得问题——复值指一个自变量对应多个因变量;其它的优点暂时还没发现......log1p的使用就像是将一个数据压缩到了一个区间,与数据的标准化类似。下面再说说它的逆运算expm1函数。 由于前面使用过log1p将数据进行了压缩,所以最后需要记得将预测出的平滑数据进行一个还原,而还原过程就是log1p的逆运算expm1。 上面介绍了两者的概念和方法的优点,下面说说具体的数学含义: log1p和expm1的功能: log1p := expm1 := log1p函数有它存在的意义,即保证了x数据的有效性,当x很小时(如 两个数值相减后得到 同样的道理对于expm1,当x特别小,
在最开始看到这样的处理方式的时候,不是很理解包括为什么是逆运算(一下子没有想到),后来慢慢摸索就优点清晰了,比如为什么两这是逆运算(简单处理):
可以看到x经过对数的处理后,再经过指数处理再次得到x,这里对两者的逆运算做了简单的介绍。 另外RMSLE(均方根对数误差)会更多的惩罚欠拟合,所以在使用该误差定义时我们也可以用到上面的函数: np.loglp计算加一后的对数,其逆运算是np.expm1;采用此误差函数时,可以先对原始数据做np.log1p,再使用RMSE。
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |