费雪信息 (Fisher information) |
您所在的位置:网站首页 › matlab经典例题求导数 › 费雪信息 (Fisher information) |
------------------------------------------------------------------------------ 作者:知乎用户链接:https://www.zhihu.com/question/26561604/answer/33275982来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 ------------------------------------------------------------------------------ 首先我们看一下 Fisher Information 的定义:假设你观察到 i.i.d 的数据 那么Fisher Information,用 而且,如果log likelihood二阶可导,在一般情况下(under specific regularity conditions)可以很容易地证明: ![]() ----------------------------------------------------------------------------- 作者:小Q痴子链接:https://www.zhihu.com/question/26561604/answer/145734266来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 ------------------------------------------------------------------------------ 参数估计的本质是,假设样本的数据来自于某一个分布,然后利用样本中蕴含的信息来估计参数。一个自然的问题就是:对于分布里的未知参数,这个样本数据给出了多少信息呢?Fisher Information 就衡量了这样的“信息”。 什么样的样本给出的信息更多?直觉上思考这个问题,如果一个事件发生的概率很大,那发生这件事并不能带来太多信息;相反,如果一个事件发生的概率很小,那发生这件事可以带来比较多的信息。 现在我们再回顾一下最大似然估计(Maximum Likelihood Estimation)的基本思想。对于随机变量 定义对数似然函数为 根据上面的两段分析,如果 于是就有了Fisher Information的定义(1): 所以Fisher Information的定义(1)可以改写成定义(2): (其中用到 至此我们有了关于Fisher Information的第(3)个表达式: |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |