normalizing flow
はじめに SRFlow: Learning the Super-Resolution Space with Normalizing Flowを読んだのでメモ． 従来のdeep super resolutionが決定的な出力をすることに対し，超解像はそもそも決定的に決まる問題ではないという考えからconditionalなgenerative flowを…
はじめに GraphNVP: An Invertible Flow Model for Generating Molecular Graphsを読んだのでメモ．Generative flowを使ってmolecular graphを生成する初めての試みとのこと． GraphNVP Generative Flowの一般的な話は何度か記事にしているのでここでは割愛…
はじめに Invertible Residual Networksを読んだのでメモ． 気持ち 昨今のdeepによる生成モデルは識別モデルに比べ汎用的なモデルの構造がないので，このgapを埋める新たなアーキテクチャを提案．具体的にはResNetそのままのアーキテクチャでflow-based gene…
はじめに VideoFlow: A Flow-Based Generative Model for Videoを読んだのでメモ．Generative Flowを使って動画生成をしたよという論文．モチベーションとしてはgenerative flowだから尤度最大化として学習可能という点． VideoFlow 基本的にはGlowを動画用…
はじめに Emerging Convolutions for Generative Normalizing Flowsを読んだのでメモ． 気持ち Deepな生成モデルでGlowが登場して，flow-basedな生成モデルの利点が広く認知されたが，結局全単射な関数からしかモデルを構成できず，表現力を上げるには多層に…
はじめに Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Modelsを読んだのでメモ．簡単に言えばGANのgeneratorをflow-basedなモデルに置き換えて密度推定もできるようにしたというもの． notation データの分布をとし，パ…
はじめに Sylvester Normalizing Flows for Variational Inferenceを読んだのでメモ．planer flowの一般化であるSylvester normalizing flowを提案．planer flowは以前勉強した． Normalizing flow 復習がてらnormalizing flowについて． 確率変数を関数を使…
はじめに 生成モデルの勉強も落ち着いたので理解深めるためにPytorchでGlowを実装した話（コードは載せてないので注意）． 所感 著者のコードは幸いgithubに公開されていたので実装自体はそこまで難しくなかった．予定外だった（ちゃんと論文読めばわかるけ…
はじめに Neural Autoregressive Flowsを読んだのでメモ．表裏一体の関係にあったMAFとIAFを統合して一般化したneural autoregressive flow(NAF)を提案した論文． お気持ち この論文で問題としているのは，Variational InferenceにおいてIAFやMAFなどかなり…
はじめに Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ． 変分推定 論文に章立ててあるのと復習も含め何度も書くことが重要かなということでおさらい． 観測変数を，潜在変数をとし，同時分布をとする．データセットが…
はじめに Glow: Generative Flow with Invertible 1×1 Convolutionsを読んだのでメモ． VAEやAdamでお馴染みのDr. DP.Kingmaの論文．生成された顔画像が高周波成分までしっかりと表現しており衝撃的． 位置付け イントロダクションに生成モデルについて完結…
はじめに DENSITY ESTIMATION USING REAL NVPを読んだのでメモ． 前に読んでメモしたNICEの改善手法．なのでNormalizing flowの細かいところやNICEに関わることは以前の記事を参照． real-valued non-volume preserving(real NVP) まずnotationがわりに確率…
はじめに NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATIONを読んだのでメモ． 基本アイディア Normalizing flowにおいて，変数変換における関数をニューラルネットを使って定義したという話（厳密には，議論の展開的にnormalizing flowは関係なく単純な…
はじめに Variational Inference with Normalizing Flowsを読んだのでメモ．OpenAIからでたGlowという生成モデルの論文が話題になっていて面白そうだったので関連知識を一から勉強してみる．まず手始めにnormalizing flowを使った変分推論について． Variati…
