はじめに Mutual information neural estimation（MINE）を使ってinfoGANを実装したのでメモ．MINEに関してのメモはこちら． 設定 オリジナルのinfoGANと同様にMNISTで離散変数1つ，連続変数2つでgeneratorを学習した．infoGANの特徴である相互情報量最大化…

はじめに Learning deep representations by mutual information estimation and maximizationを読んだのでメモ．Abstractの最後の１文で"DIM opens new avenues for unsupervised learn- ing of representations and is an important step towards flexible…

はじめに Mutual Information Neural Estimationを読んだのでメモ．書き終わってちょっと殴り書きすぎたと反省．正直このメモ読んでもよくわからないと思う… 気持ち 相互情報量は二つの確率変数の依存関係を知る良い指標だが一般的に計算するのが難しく，離…

はじめに Image Generation from Scene Graphsを読んだのでメモ．言語から画像を生成する研究．複雑な文章からでも安定して画像生成ができるとのこと． 概要 ここではシーングラフとノイズを入力として画像を生成するモデルの構築と学習を目標とする．モデル…

はじめに SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSを読んだのでメモ． Fast approximate convolutions on graphs ここでは次のような多層のgraph convolutional networks（GCN）を考える． は無向グラフに自己ループを加えた隣接…

はじめに Convolutional Neural Networks on Graphs with Fast Localized Spectral Filteringを読んだのでメモ． Convolution on Graph この論文ではグラフフーリエ変換に基づく畳み込みを考える． Graph Fourier transform 無向グラフで定義された信号を考…

はじめに Spectral Networks and Deep Locally Connected Networks on Graphsを読んだのでメモ．前回spectral clusteringの勉強の中でgraph Laplacianについて触れたので，せっかくだから今一度いわゆるgraph convolution関連の論文を読み漁ろうかなと．この…

はじめに A Tutorial on Spectral Clusteringを読んだのでメモその２． 準備ができたのでいよいよspectral clusteringについて Spectral Clustering Algorithms ここでは個のデータ点が与えられ，類似度関数が対象(入力を入れ替えても出力が変わらない)かつ…

はじめに A Tutorial on Spectral Clusteringを読んだのでメモ． タイトルからわかるようにspectral clusteringを基本の部分から解説した資料． 構成としてはsimilarity graphsgraph laplaciansspectral clusteringアルゴリズムの解析という感じ．とりあえず…

はじめに Local and Global Optimization Techniques in Graph-based Clusteringを読んだのでメモ．札幌で開催されたMIRU2018で著者の方が発表されていて気になったので読んでみた次第． graph-based clustering この論文では以下の目的関数の最小化問題とし…

はじめに Graph R-CNN for Scene Graph Generationを読んだのでメモ． 手法の概要 まず，を入力画像，をの物体領域と対応したグラフのノード，を物体間の関係性(グラフのエッジ)，が物体と関係性を示すラベルとしてそれぞれ定義．ゴールとしてはというモデル…

はじめに Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizerを読んだのでメモ． 気持ち Autoencoderはデータの潜在的な表現を学習することができ，その潜在空間上でデータ間の補間を行うと，デコードされた画像も…

はじめに Sylvester Normalizing Flows for Variational Inferenceを読んだのでメモ．planer flowの一般化であるSylvester normalizing flowを提案．planer flowは以前勉強した． Normalizing flow 復習がてらnormalizing flowについて． 確率変数を関数を使…

はじめに Deep Energy: Using Energy Functions for Unsupervised Training of DNNsを読んだのでメモ． 気持ち データセットの規模をスケールさせたいというモチベーション．ほぼほぼ完璧なアノテーションが自動で作れればデータセット作成に人手がほぼいら…

はじめに Normalized Cut Loss for Weakly-supervised CNN Segmentationを読んだのでメモ．生成モデル以外の論文読むのが久しぶり． 気持ち Weakly-supervisedの枠組みにおけるsegmentationの手法は擬似的なマスクを生成してフィットさせていくことが多いが…

はじめに IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesisを読んだのでメモ． stackGANやPGGANと違ってVAEのEncoderをGANのdiscriminatorとして扱うことでシンプルながらも高解像度の画像を生成することに成功した． In…

はじめに Avoiding Latent Variable Collapse with Generative Skip Modelsを読んだのでメモ．勉強メモがわりにブログ始めてからずっと生成モデルしか勉強してない... 気持ち VAEではdecoderが潜在変数を無視して画像を生成してしまうlatent variable collap…

はじめに 生成モデルの勉強も落ち着いたので理解深めるためにPytorchでGlowを実装した話（コードは載せてないので注意）． 所感 著者のコードは幸いgithubに公開されていたので実装自体はそこまで難しくなかった．予定外だった（ちゃんと論文読めばわかるけ…

はじめに Neural Autoregressive Flowsを読んだのでメモ．表裏一体の関係にあったMAFとIAFを統合して一般化したneural autoregressive flow(NAF)を提案した論文． お気持ち この論文で問題としているのは，Variational InferenceにおいてIAFやMAFなどかなり…

はじめに Masked Autoregressive Flow for Density Estimationを読んだのでメモ． お気持ち Inverse Autoregressive Flowと密接な関係がある，Real NVPの一般化手法Masked Autoregressive Flowを提案したぜということ． 密度推定の課題ではnormalizing flow…

はじめに Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ． 変分推定 論文に章立ててあるのと復習も含め何度も書くことが重要かなということでおさらい． 観測変数を，潜在変数をとし，同時分布をとする．データセットが…

はじめに MADE: Masked Autoencoder for Distribution Estimationを読んだのでメモ．flow-basedな生成モデルが面白かったのでその一種であるautoregressive flowも勉強したいと思いとりあえず読んで見た． お気持ち この論文ではAutoregressive models（自己…

flow-basedな生成モデルの勉強メモのまとめ．順番は適当． Variational Inference with Normalizing Flows メモ 元論文 Sylvester Normalizing Flows for Variational Inference メモ 元論文 NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATION メモ 元論…

はじめに Glow: Generative Flow with Invertible 1×1 Convolutionsを読んだのでメモ． VAEやAdamでお馴染みのDr. DP.Kingmaの論文．生成された顔画像が高周波成分までしっかりと表現しており衝撃的． 位置付け イントロダクションに生成モデルについて完結…

はじめに DENSITY ESTIMATION USING REAL NVPを読んだのでメモ． 前に読んでメモしたNICEの改善手法．なのでNormalizing flowの細かいところやNICEに関わることは以前の記事を参照． real-valued non-volume preserving(real NVP) まずnotationがわりに確率…

はじめに NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATIONを読んだのでメモ． 基本アイディア Normalizing flowにおいて，変数変換における関数をニューラルネットを使って定義したという話（厳密には，議論の展開的にnormalizing flowは関係なく単純な…

ボルツマンマシンについて勉強したメモのまとめ． その1 ボルツマンマシンのモデルとその学習方程式について その2 学習に用いるMCMCについて その3 学習に用いる平均場近似について その4 制約ボルツマンマシンのモデルとその学習方程式について その5 学習…

はじめに Variational Inference with Normalizing Flowsを読んだのでメモ．OpenAIからでたGlowという生成モデルの論文が話題になっていて面白そうだったので関連知識を一から勉強してみる．まず手始めにnormalizing flowを使った変分推論について． Variati…

ボルツマンマシンにおけるコントラスティブダイバージェンス法について勉強したからメモ

はじめに 今回は制限付きボルツマンマシン（Restricted Boltzmann Machine, RBM）について．教科書はいつもの． 機械学習スタートアップシリーズ これならわかる深層学習入門 (KS情報科学専門書)作者: 瀧雅人出版社/メーカー: 講談社発売日: 2017/10/21メデ…