機械学習とかコンピュータビジョンとか

CVやMLに関する勉強のメモ書き。

Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ

はじめに Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ. 気持ち DNNベースのクラスタリング手法について体系的にまとめて定式化することで,システマティックに新しいクラスタリングの方法を作れる様にしようというもの. モ…

Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ

VAE

はじめに Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ.VAEのKL collapse(latent variable collapse)をpriorに固定のvon Mises-Fisher分布 (vMF) を使う事で回避するというもの. 論文自体は自然言語に寄って書かれてい…

Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ

はじめに Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ. 気持ち データを作るコストが高いことからsemi-supervised learning (SSL)は重要で,最近はそれなりのラベルデータがあればsupervisedに匹敵する性能がでる.ただ…

Graph Convolutional Neural Networks for Web-Scale Recommender Systemsを読んだのでメモ

はじめに Graph Convolutional Neural Networks for Web-Scale Recommender Systemsを読んだのでメモ.30億ノード,180億エッジを持つグラフデータに対しても処理可能なrandom walkに基づくgraph convolutional neural network (GCN),PinSageを提案するとい…

Fixing a Broken ELBOを読んだのでメモ

はじめに Fixing a Broken ELBOを読んだのでメモ. 気持ち 教師なし表現学習の一般的なアプローチとしてデータをので表現される様な潜在変数モデルにフィットさせる方法があげられる.通常はこのモデルを真の分布とのKLダイバージェンスを最小化する様に学習…

Deep Graph Laplacian Regularizationを読んだのでメモ

はじめに Deep Graph Laplacian Regularizationを読んだのでメモ. 気持ち ノイズ除去等の逆問題は通常不良設定問題であるた、なんらかのpriorを仮定して解く必要がある.よく知られているpriorとしてtotal variation priorやsparsity prior,graph Laplacian…

Deep Spectral Clustering Learningを読んだのでメモ

はじめに Deep Spectral Clustering Learningを読んだのでメモ. 気持ち クラスタリングの良さは類似度の指標とデータの表現に依存する.多くの手法はデータの表現固定であったり線形の変換によって得られることが多かったり.deepな学習ベースの手法も提案…

Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Modelsを読んだのでメモ

はじめに Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Modelsを読んだのでメモ.簡単に言えばGANのgeneratorをflow-basedなモデルに置き換えて密度推定もできるようにしたというもの. notation データの分布をとし,パ…

MINEを使ってinfoGANを実装した

はじめに Mutual information neural estimation(MINE)を使ってinfoGANを実装したのでメモ.MINEに関してのメモはこちら. 設定 オリジナルのinfoGANと同様にMNISTで離散変数1つ,連続変数2つでgeneratorを学習した.infoGANの特徴である相互情報量最大化…

Learning deep representations by mutual information estimation and maximizationを読んだのでメモ

はじめに Learning deep representations by mutual information estimation and maximizationを読んだのでメモ.Abstractの最後の1文で"DIM opens new avenues for unsupervised learn- ing of representations and is an important step towards flexible…

Mutual Information Neural Estimationを読んだのでメモ

はじめに Mutual Information Neural Estimationを読んだのでメモ.書き終わってちょっと殴り書きすぎたと反省.正直このメモ読んでもよくわからないと思う… 気持ち 相互情報量は二つの確率変数の依存関係を知る良い指標だが一般的に計算するのが難しく,離…

Image Generation from Scene Graphsを読んだのでメモ

はじめに Image Generation from Scene Graphsを読んだのでメモ.言語から画像を生成する研究.複雑な文章からでも安定して画像生成ができるとのこと. 概要 ここではシーングラフとノイズを入力として画像を生成するモデルの構築と学習を目標とする.モデル…

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSを読んだのでメモ

はじめに SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSを読んだのでメモ. Fast approximate convolutions on graphs ここでは次のような多層のgraph convolutional networks(GCN)を考える. は無向グラフに自己ループを加えた隣接…

Convolutional Neural Networks on Graphs with Fast Localized Spectral Filteringを読んだのでメモ

はじめに Convolutional Neural Networks on Graphs with Fast Localized Spectral Filteringを読んだのでメモ. Convolution on Graph この論文ではグラフフーリエ変換に基づく畳み込みを考える.というのも,空間的なグラフ畳み込みは注目ノードごとの隣接…

Spectral Networks and Deep Locally Connected Networks on Graphsを読んだのでメモ

はじめに Spectral Networks and Deep Locally Connected Networks on Graphsを読んだのでメモ.前回spectral clusteringの勉強の中でgraph Laplacianについて触れたので,せっかくだから今一度いわゆるgraph convolution関連の論文を読み漁ろうかなと.この…

A Tutorial on Spectral Clusteringを読んだのでメモ その2

はじめに A Tutorial on Spectral Clusteringを読んだのでメモその2. 準備ができたのでいよいよspectral clusteringについて Spectral Clustering Algorithms ここでは個のデータ点が与えられ,類似度関数が対象(入力を入れ替えても出力が変わらない)かつ…

A Tutorial on Spectral Clusteringを読んだのでメモ その1

はじめに A Tutorial on Spectral Clusteringを読んだのでメモ. タイトルからわかるようにspectral clusteringを基本の部分から解説した資料. 構成としてはsimilarity graphsgraph laplaciansspectral clusteringアルゴリズムの解析という感じ.とりあえず…

Local and Global Optimization Techniques in Graph-based Clusteringを読んだのでメモ

はじめに Local and Global Optimization Techniques in Graph-based Clusteringを読んだのでメモ.札幌で開催されたMIRU2018で著者の方が発表されていて気になったので読んでみた次第. graph-based clustering この論文では以下の目的関数の最小化問題とし…

Graph R-CNN for Scene Graph Generationを読んだのでメモ

はじめに Graph R-CNN for Scene Graph Generationを読んだのでメモ. 手法の概要 まず,を入力画像,をの物体領域と対応したグラフのノード,を物体間の関係性(グラフのエッジ),が物体と関係性を示すラベルとしてそれぞれ定義.ゴールとしてはというモデル…

Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizerを読んだのでメモ

はじめに Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizerを読んだのでメモ. 気持ち Autoencoderはデータの潜在的な表現を学習することができ,その潜在空間上でデータ間の補間を行うと,デコードされた画像も…

Sylvester Normalizing Flows for Variational Inferenceを読んだのでメモ

はじめに Sylvester Normalizing Flows for Variational Inferenceを読んだのでメモ.planer flowの一般化であるSylvester normalizing flowを提案.planer flowは以前勉強した. Normalizing flow 復習がてらnormalizing flowについて. 確率変数を関数を使…

Deep Energy: Using Energy Functions for Unsupervised Training of DNNsを読んだのでメモ

はじめに Deep Energy: Using Energy Functions for Unsupervised Training of DNNsを読んだのでメモ. 気持ち データセットの規模をスケールさせたいというモチベーション.ほぼほぼ完璧なアノテーションが自動で作れればデータセット作成に人手がほぼいら…

Normalized Cut Loss for Weakly-supervised CNN Segmentation

はじめに Normalized Cut Loss for Weakly-supervised CNN Segmentationを読んだのでメモ.生成モデル以外の論文読むのが久しぶり. 気持ち Weakly-supervisedの枠組みにおけるsegmentationの手法は擬似的なマスクを生成してフィットさせていくことが多いが…

IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesis

はじめに IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesisを読んだのでメモ. stackGANやPGGANと違ってVAEのEncoderをGANのdiscriminatorとして扱うことでシンプルながらも高解像度の画像を生成することに成功した. In…

Avoiding Latent Variable Collapse with Generative Skip Modelsを読んだのでメモ

はじめに Avoiding Latent Variable Collapse with Generative Skip Modelsを読んだのでメモ.勉強メモがわりにブログ始めてからずっと生成モデルしか勉強してない... 気持ち VAEではdecoderが潜在変数を無視して画像を生成してしまうlatent variable collap…

Glow: Generative Flow with Invertible 1×1 Convolutionsの実装をした

はじめに 生成モデルの勉強も落ち着いたので理解深めるためにPytorchでGlowを実装した話. 所感 著者のコードは幸いgithubに公開されていたので実装自体はそこまで難しくなかった.予定外だった(ちゃんと論文読めばわかるけど)のがglowがめちゃくちゃメモ…

Neural Autoregressive Flowsを読んだのでメモ

はじめに Neural Autoregressive Flowsを読んだのでメモ.表裏一体の関係にあったMAFとIAFを統合して一般化したneural autoregressive flow(NAF)を提案した論文. お気持ち この論文で問題としているのは,Variational InferenceにおいてIAFやMAFなどかなり…

Masked Autoregressive Flow for Density Estimationを読んだのでメモ

はじめに Masked Autoregressive Flow for Density Estimationを読んだのでメモ. お気持ち Inverse Autoregressive Flowと密接な関係がある,Real NVPの一般化手法Masked Autoregressive Flowを提案したぜということ. 密度推定の課題ではnormalizing flow…

Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ

はじめに Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ. 変分推定 論文に章立ててあるのと復習も含め何度も書くことが重要かなということでおさらい. 観測変数を,潜在変数をとし,同時分布をとする.データセットが…

MADE: Masked Autoencoder for Distribution Estimationを読んだのでメモ

はじめに MADE: Masked Autoencoder for Distribution Estimationを読んだのでメモ.flow-basedな生成モデルが面白かったのでその一種であるautoregressive flowも勉強したいと思いとりあえず読んで見た. お気持ち この論文ではAutoregressive models(自己…