重参数化技巧

您所在的位置:网站首页 PKI参数结构化 重参数化技巧

重参数化技巧

2024-07-15 15:59| 来源: 网络整理| 查看: 265

一般这个东西在VAE中用的很多

比如说我们从标准正态分布里采样了一个随机数 ϵ,然后 Z =mean + ϵ*std,那么Z不就是服从 均值为mean,标准差std的某个未知的待训练的正态分布里采样出来的随机数了吗?

重参数化的公式如下:

Z 是从潜在分布中采样得到的样本。方差:  σ2μ 是潜在分布的均值,对应代码中的 mu。σ 是潜在分布的标准差 stdϵ 是从标准正态分布 N(0,1) 中采样得到的随机噪声

为什么使用重参数化?

在不使用重参数化的情况下,模型会直接从参数化的分布(例如,正态分布,由均值 μ 和方差 σ2 参数化)中采样,这使得梯度无法直接通过采样过程回传。重参数化技巧通过引入一个不依赖于模型参数的外部噪声源(通常是标准正态分布中抽取的),并对这个噪声进行变换(使用模型参数如均值和方差),来生成符合目标分布的样本。这样,模型的随机输出就可以表示为模型参数的确定性函数和一个随机噪声的组合。便可以完成梯度回传

vae和重参数化技巧 - 知乎



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3