はじめに

DENSITY ESTIMATION USING REAL NVPを読んだのでメモ．

前に読んでメモしたNICEの改善手法．なのでNormalizing flowの細かいところやNICEに関わることは以前の記事を参照．

real-valued non-volume preserving(real NVP)

まずnotationがわりに確率変数の変数変換による分布を以下に．

$\displaystyle \log p_X(x)=\log p_Z(f(x))+\log\left|\mathrm{det}\left(\frac{\partial f(x)}{\partial x^T}\right)\right|$

Real NVPでは基本的にはNICEで提案されたaffine coupling layerをベースに以下の変数変換に用いる．

$\displaystyle y_{1:d}=x_{1:d},\:y_{d+1:D}=x_{d+1:D}\odot\exp(s(x_{1:d}))+t(x_{1:d})$

$D$ はデータ数を表しており， $s,t$ はscaleとtranslationを表し $\mathbb{R}^d\rightarrow\mathbb{R}^{D-d}$ の関数になっている． $\odot$ はアダマール積で定義されている．

上記のようなaffine coupling layerを定義するとヤコビアンは

$\displaystyle \frac{\partial y}{\partial x^T}= \begin{bmatrix} \mathbb{I}_d & 0 \\ \frac{\partial y_{d+1:D}}{\partial x^T_{1:d}} & \mathrm{diag}(\exp[s(x_{1:d})]) \end{bmatrix}$

として計算ができる(amp;と出るのははてなブログの表示上のバグのよう)．ただし， $\mathrm{diag}(\exp[s(x_{1:d})])$ は対角成分が $\exp[s(x_{1:d})]$ の対角行列．よって分布の計算に必要なヤコビアンの行列式は $\exp[\sum_js(x_{1:d})_j$ ]として計算される．この論文では $s,t$ はCNNとして構成する．また，NICEの時と同様に逆変換も以下のように簡単に定義ができる．