機械学習とかコンピュータビジョンとか

CVやMLに関する勉強のメモ書き。

Neural Autoregressive Flowsを読んだのでメモ

はじめに Neural Autoregressive Flowsを読んだのでメモ.表裏一体の関係にあったMAFとIAFを統合して一般化したneural autoregressive flow(NAF)を提案した論文. お気持ち この論文で問題としているのは,Variational InferenceにおいてIAFやMAFなどかなり…

Masked Autoregressive Flow for Density Estimationを読んだのでメモ

はじめに Masked Autoregressive Flow for Density Estimationを読んだのでメモ. お気持ち Inverse Autoregressive Flowと密接な関係があるReal NVPの一般化手法Masked Autoregressive Flowを提案したぜということ. 密度推定の課題ではnormalizing flowやa…

Improved Variational Inference with Inverse Autoregressive Flow

はじめに Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ. 変分推定 論文に章立ててあるのと復習も含め何度も書くことが重要かなということでおさらい. 観測変数を,潜在変数をとし,同時分布をとする.データセットが…

MADE: Masked Autoencoder for Distribution Estimationを読んだのでメモ

はじめに MADE: Masked Autoencoder for Distribution Estimationを読んだのでメモ.flow-basedな生成モデルが面白かったのでその一種であるautoregressive flowも勉強したいと思いとりあえず読んで見た. お気持ち この論文ではAutoregressive models(自己…

flow-based generative modelsの勉強メモ まとめ

flow-basedな生成モデルの勉強メモのまとめ.全て論文ベース. Variational Inference with Normalizing Flows メモ 元論文 NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATION メモ 元論文 Density estimation using Real NVP メモ 元論文 Glow: Better R…

Glow: Generative Flow with Invertible 1×1 Convolutionsを読んだのでメモ

はじめに Glow: Generative Flow with Invertible 1×1 Convolutionsを読んだのでメモ. VAEやAdamでお馴染みのDr. DP.Kingmaの論文.生成された顔画像が高周波成分までしっかりと表現しており衝撃的. 位置付け イントロダクションに生成モデルについて完結…

Density estimation using Real NVPを読んだのでメモ

はじめに DENSITY ESTIMATION USING REAL NVPを読んだのでメモ. 前に読んでメモしたNICEの改善手法.なのでNormalizing flowの細かいところやNICEに関わることは以前の記事を参照. real-valued non-volume preserving(real NVP) まずnotationがわりにnorma…

NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATIONを読んだのでメモ

はじめに NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATIONを読んだのでメモ. 基本アイディア Normalizing flowにおいて,変数変換における関数をニューラルネットを使って定義したという話(厳密には,議論の展開的にnormalizing flowは関係なく単純な…

ボルツマンマシンについて勉強したメモ まとめ

ボルツマンマシンについて勉強したメモのまとめ. その1 ボルツマンマシンのモデルとその学習方程式について その2 学習に用いるMCMCについて その3 学習に用いる平均場近似について その4 制約ボルツマンマシンのモデルとその学習方程式について その5 学習…

Variational Inference with Normalizing Flowsを読んだのでメモ

はじめに Variational Inference with Normalizing Flowsを読んだのでメモ.OpenAIからでたGlowという生成モデルの論文が話題になっていて面白そうだったので関連知識を一から勉強してみる.まず手始めにnormalizing flowを使った変分推論について. Variati…

ボルツマンマシンについて勉強した その5

ボルツマンマシンにおけるコントラスティブダイバージェンス法について勉強したからメモ

ボルツマンマシンについて勉強した その4

はじめに 今回は制限付きボルツマンマシン(Restricted Boltzmann Machine, RBM)について.教科書はいつもの. 機械学習スタートアップシリーズ これならわかる深層学習入門 (KS情報科学専門書)作者: 瀧雅人出版社/メーカー: 講談社発売日: 2017/10/21メデ…

ボルツマンマシンについて勉強した その3

ボルツマンマシンにおける平均場近似の基本について勉強したのでメモ

ボルツマンマシンについて勉強した その2

ボルツマンマシンの最適化におけるMCMCについて勉強したメモ

ボルツマンマシンについて勉強した その1

ボルツマンマシンについて,学習方程式の導出に関するメモ

Concrete Distributionについて論文を読んだ

The Concrete Distribution: A Continuous Relaxation of Discrete Random Variablesを読んだからメモ.Gumbel-softmaxとほぼ同じコンセプトの論文.

Gumbel Max Trickについて勉強した

Gumbel Max Trickとは アルゴリズムと簡単な証明