Style Transfer Note

Domain Gap

内容和风格图片之间的 gap 一般是比较大的(有一些照片之间的风格转换或许还好?),多 style transfer 时生成图片需要在同一特征空间中同时向内容和风格图片靠近,有可能很难得到希望的结果。

特别类比最初的网络算法,内容和风格分别存在于两个特征空间中,更容易生成。

VAE

希望能够根据一些样本[latex]{x_1,\ddots, x_n}[/latex]建模出[latex]X[/latex]的分布,但实际上[latex]X[/latex]的分布可能非常复杂,所以我们就通过一个正态随机变量[latex]Z[/latex]来分担一些信息量,建模[latex]p(x|z)[/latex]。

对于一个[latex]x_i[/latex],我们通过网络拟合出[latex]p(z|x_i)[/latex],然后对这个分布采样,根据采样结果生成[latex]\widehat{x}[/latex],最小化生成结果与原来样本的差距。

为了保持[latex]z[/latex]的随机性,特意引入了[latex]p(z|x_i)[/latex]需要尽量贴近标准正态分布的要求,使用KL散度实现。

真正实现时为了让梯度传导至拟合[latex]p(z|x_i)[/latex]的网络,需要从标准正态分布采样,然后变换至正态分布[latex]Z[/latex]上。

Leave a Comment

您的电子邮箱地址不会被公开。 必填项已用*标注