生成モデル
はじめに SinGAN: Learning a Generative Model from a Single Natural Imageを読んだのでメモ． 一言で言えば1枚の学習画像からGANを学習するという研究． Method 目標は一枚の学習画像のinternal statistics(1枚の画像が従う分布という理解)をGANによって…
はじめに ELASTIC-INFOGAN: UNSUPERVISED DISENTANGLED REPRESENTATION LEARNING IN IMBALANCED DATAを読んだのでメモ． 気持ち InfoGANがclass-imbalancedなデータに対してうまく(離散の)潜在表現をdisentangleできないという課題に注目し，この論文ではそ…
はじめに GraphNVP: An Invertible Flow Model for Generating Molecular Graphsを読んだのでメモ．Generative flowを使ってmolecular graphを生成する初めての試みとのこと． GraphNVP Generative Flowの一般的な話は何度か記事にしているのでここでは割愛…
はじめに TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translationを読んだのでメモ． 気持ち Unsupervised Image-to-Image Translationはappearanceが大きく違う二つのdomain間の変換は難しいとされてきた．この論文では画像中のappearanceとge…
はじめに Few-Shot Unsupervised Image-to-Image Translationを読んだのでメモ． 気持ち 従来のimage-to-image translationはターゲットとなるクラスの画像が大量に必要となっていた．しかし，人間が同様のタスクを行おうと思った際には少量のデータで十分に…
はじめに DIVERSITY-SENSITIVE CONDITIONAL GENERATIVE ADVERSARIAL NETWORKSを読んだのでメモ． 気持ち Conditional GANのmode collapseを解決しようというもの．cGANはconditionに対して決定的な出力を出してしまうことが多々ある，すなわちstochasticな要…
はじめに Invertible Residual Networksを読んだのでメモ． 気持ち 昨今のdeepによる生成モデルは識別モデルに比べ汎用的なモデルの構造がないので，このgapを埋める新たなアーキテクチャを提案．具体的にはResNetそのままのアーキテクチャでflow-based gene…
はじめに Implicit Generation and Generalization in Energy-Based Modelsを読んだのでメモ．Glowに引き続きopenAIから生成モデルの論文． Energy-Based Models and Sampling 今回はVAEやGANと違い，ボルツマンマシンに代表されるenergy-based modelで高次…
はじめに VideoFlow: A Flow-Based Generative Model for Videoを読んだのでメモ．Generative Flowを使って動画生成をしたよという論文．モチベーションとしてはgenerative flowだから尤度最大化として学習可能という点． VideoFlow 基本的にはGlowを動画用…
はじめに Emerging Convolutions for Generative Normalizing Flowsを読んだのでメモ． 気持ち Deepな生成モデルでGlowが登場して，flow-basedな生成モデルの利点が広く認知されたが，結局全単射な関数からしかモデルを構成できず，表現力を上げるには多層に…
はじめに Fixing a Broken ELBOを読んだのでメモ． 気持ち 教師なし表現学習の一般的なアプローチとしてデータをで表現される様な潜在変数モデルにフィットさせる方法があげられる．通常はこのモデルを真の分布とのKLダイバージェンスを最小化する様に学習す…
はじめに Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Modelsを読んだのでメモ．簡単に言えばGANのgeneratorをflow-basedなモデルに置き換えて密度推定もできるようにしたというもの． notation データの分布をとし，パ…
はじめに Mutual information neural estimation（MINE）を使ってinfoGANを実装したのでメモ．MINEに関してのメモはこちら． 設定 オリジナルのinfoGANと同様にMNISTで離散変数1つ，連続変数2つでgeneratorを学習した．infoGANの特徴である相互情報量最大化…
はじめに Mutual Information Neural Estimationを読んだのでメモ．書き終わってちょっと殴り書きすぎたと反省．正直このメモ読んでもよくわからないと思う… 気持ち 相互情報量は二つの確率変数の依存関係を知る良い指標だが一般的に計算するのが難しく，離…
はじめに Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizerを読んだのでメモ． 気持ち Autoencoderはデータの潜在的な表現を学習することができ，その潜在空間上でデータ間の補間を行うと，デコードされた画像も…
はじめに Sylvester Normalizing Flows for Variational Inferenceを読んだのでメモ．planer flowの一般化であるSylvester normalizing flowを提案．planer flowは以前勉強した． Normalizing flow 復習がてらnormalizing flowについて． 確率変数を関数を使…
はじめに IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesisを読んだのでメモ． stackGANやPGGANと違ってVAEのEncoderをGANのdiscriminatorとして扱うことでシンプルながらも高解像度の画像を生成することに成功した． In…
はじめに Avoiding Latent Variable Collapse with Generative Skip Modelsを読んだのでメモ．勉強メモがわりにブログ始めてからずっと生成モデルしか勉強してない... 気持ち VAEではdecoderが潜在変数を無視して画像を生成してしまうlatent variable collap…
はじめに 生成モデルの勉強も落ち着いたので理解深めるためにPytorchでGlowを実装した話（コードは載せてないので注意）． 所感 著者のコードは幸いgithubに公開されていたので実装自体はそこまで難しくなかった．予定外だった（ちゃんと論文読めばわかるけ…
はじめに Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ． 変分推定 論文に章立ててあるのと復習も含め何度も書くことが重要かなということでおさらい． 観測変数を，潜在変数をとし，同時分布をとする．データセットが…
はじめに Glow: Generative Flow with Invertible 1×1 Convolutionsを読んだのでメモ． VAEやAdamでお馴染みのDr. DP.Kingmaの論文．生成された顔画像が高周波成分までしっかりと表現しており衝撃的． 位置付け イントロダクションに生成モデルについて完結…
はじめに DENSITY ESTIMATION USING REAL NVPを読んだのでメモ． 前に読んでメモしたNICEの改善手法．なのでNormalizing flowの細かいところやNICEに関わることは以前の記事を参照． real-valued non-volume preserving(real NVP) まずnotationがわりに確率…
はじめに NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATIONを読んだのでメモ． 基本アイディア Normalizing flowにおいて，変数変換における関数をニューラルネットを使って定義したという話（厳密には，議論の展開的にnormalizing flowは関係なく単純な…
はじめに Variational Inference with Normalizing Flowsを読んだのでメモ．OpenAIからでたGlowという生成モデルの論文が話題になっていて面白そうだったので関連知識を一から勉強してみる．まず手始めにnormalizing flowを使った変分推論について． Variati…
