Deep Energy: Using Energy Functions for Unsupervised Training of DNNsを読んだのでメモ

segmentation unsupervised

はじめに Deep Energy: Using Energy Functions for Unsupervised Training of DNNsを読んだのでメモ．気持ちデータセットの規模をスケールさせたいというモチベーション．ほぼほぼ完璧なアノテーションが自動で作れればデータセット作成に人手がほぼいら…

2018-07-27

Normalized Cut Loss for Weakly-supervised CNN Segmentation

segmentation weakly supervised

はじめに Normalized Cut Loss for Weakly-supervised CNN Segmentationを読んだのでメモ．生成モデル以外の論文読むのが久しぶり．気持ち Weakly-supervisedの枠組みにおけるsegmentationの手法は擬似的なマスクを生成してフィットさせていくことが多いが…

2018-07-26

IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesis

生成モデル VAE

はじめに IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesisを読んだのでメモ． stackGANやPGGANと違ってVAEのEncoderをGANのdiscriminatorとして扱うことでシンプルながらも高解像度の画像を生成することに成功した． In…

2018-07-25

Avoiding Latent Variable Collapse with Generative Skip Modelsを読んだのでメモ

生成モデル VAE

はじめに Avoiding Latent Variable Collapse with Generative Skip Modelsを読んだのでメモ．勉強メモがわりにブログ始めてからずっと生成モデルしか勉強してない... 気持ち VAEではdecoderが潜在変数を無視して画像を生成してしまうlatent variable collap…

2018-07-23

Glow: Generative Flow with Invertible 1×1 Convolutionsの実装をした

normalizing flow 生成モデル実装

はじめに生成モデルの勉強も落ち着いたので理解深めるためにPytorchでGlowを実装した話（コードは載せてないので注意）．所感著者のコードは幸いgithubに公開されていたので実装自体はそこまで難しくなかった．予定外だった（ちゃんと論文読めばわかるけ…

2018-07-19

Neural Autoregressive Flowsを読んだのでメモ

機械学習 normalizing flow 自己回帰モデル

はじめに Neural Autoregressive Flowsを読んだのでメモ．表裏一体の関係にあったMAFとIAFを統合して一般化したneural autoregressive flow(NAF)を提案した論文．お気持ちこの論文で問題としているのは，Variational InferenceにおいてIAFやMAFなどかなり…

2018-07-18

Masked Autoregressive Flow for Density Estimationを読んだのでメモ

機械学習自己回帰モデル

はじめに Masked Autoregressive Flow for Density Estimationを読んだのでメモ．お気持ち Inverse Autoregressive Flowと密接な関係がある，Real NVPの一般化手法Masked Autoregressive Flowを提案したぜということ．密度推定の課題ではnormalizing flow…

2018-07-17

Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ

自己回帰モデル生成モデル normalizing flow

はじめに Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ．変分推定論文に章立ててあるのと復習も含め何度も書くことが重要かなということでおさらい．観測変数を，潜在変数をとし，同時分布をとする．データセットが…

2018-07-17

MADE: Masked Autoencoder for Distribution Estimationを読んだのでメモ

機械学習自己回帰モデル

はじめに MADE: Masked Autoencoder for Distribution Estimationを読んだのでメモ．flow-basedな生成モデルが面白かったのでその一種であるautoregressive flowも勉強したいと思いとりあえず読んで見た．お気持ちこの論文ではAutoregressive models（自己…

2018-07-13

flow-based generative modelsの勉強メモ　まとめ

flow-basedな生成モデルの勉強メモのまとめ．順番は適当． Variational Inference with Normalizing Flows メモ元論文 Sylvester Normalizing Flows for Variational Inference メモ元論文 NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATION メモ元論…

2018-07-13

Glow: Generative Flow with Invertible 1×1 Convolutionsを読んだのでメモ

生成モデル normalizing flow

はじめに Glow: Generative Flow with Invertible 1×1 Convolutionsを読んだのでメモ． VAEやAdamでお馴染みのDr. DP.Kingmaの論文．生成された顔画像が高周波成分までしっかりと表現しており衝撃的．位置付けイントロダクションに生成モデルについて完結…

2018-07-13

Density estimation using Real NVPを読んだのでメモ

生成モデル normalizing flow

はじめに DENSITY ESTIMATION USING REAL NVPを読んだのでメモ．前に読んでメモしたNICEの改善手法．なのでNormalizing flowの細かいところやNICEに関わることは以前の記事を参照． real-valued non-volume preserving(real NVP) まずnotationがわりに確率…

2018-07-12

NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATIONを読んだのでメモ

生成モデル normalizing flow

はじめに NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATIONを読んだのでメモ．基本アイディア Normalizing flowにおいて，変数変換における関数をニューラルネットを使って定義したという話（厳密には，議論の展開的にnormalizing flowは関係なく単純な…

2018-07-12

ボルツマンマシンについて勉強したメモ　まとめ

ボルツマンマシンについて勉強したメモのまとめ．その1 ボルツマンマシンのモデルとその学習方程式についてその2 学習に用いるMCMCについてその3 学習に用いる平均場近似についてその4 制約ボルツマンマシンのモデルとその学習方程式についてその5 学習…

2018-07-12

Variational Inference with Normalizing Flowsを読んだのでメモ

生成モデル変分推論 normalizing flow

はじめに Variational Inference with Normalizing Flowsを読んだのでメモ．OpenAIからでたGlowという生成モデルの論文が話題になっていて面白そうだったので関連知識を一から勉強してみる．まず手始めにnormalizing flowを使った変分推論について． Variati…