はじめに Higher-order Graph Convolutional Networksを読んだのでメモ 気持ち 現状のgraph convolutional networks（GCN）はone-hopの隣接関係のみを考慮したものになっていて，高次の情報を捉え切れていない．そこでmulti-hopな重み付き隣接行列を使ったGC…
はじめに Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ． 気持ち DNNベースのクラスタリング手法について体系的にまとめて定式化することで，システマティックに新しいクラスタリングの方法を作れる様にしようというもの． モ…
はじめに Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ．VAEのKL collapse（latent variable collapse）をpriorに固定のvon Mises-Fisher分布 (vMF) を使う事で回避するというもの． 論文自体は自然言語に寄って書かれてい…
はじめに Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ．PyTorchで実装もしました．実装の話はこちら． 気持ち データを作るコストが高いことからsemi-supervised learning (SSL)は重要で，最近はそれなりのラベルデータが…
はじめに Graph Convolutional Neural Networks for Web-Scale Recommender Systemsを読んだのでメモ．30億ノード，180億エッジを持つグラフデータに対しても処理可能なrandom walkに基づくgraph convolutional neural network (GCN)，PinSageを提案するとい…
はじめに Fixing a Broken ELBOを読んだのでメモ． 気持ち 教師なし表現学習の一般的なアプローチとしてデータをで表現される様な潜在変数モデルにフィットさせる方法があげられる．通常はこのモデルを真の分布とのKLダイバージェンスを最小化する様に学習す…
はじめに Deep Graph Laplacian Regularizationを読んだのでメモ． 気持ち ノイズ除去等の逆問題は通常不良設定問題であるた、なんらかのpriorを仮定して解く必要がある．よく知られているpriorとしてtotal variation priorやsparsity prior，graph Laplacian…
はじめに Deep Spectral Clustering Learningを読んだのでメモ． 気持ち クラスタリングの良さは類似度の指標とデータの表現に依存する．多くの手法はデータの表現固定であったり線形の変換によって得られることが多かったり．deepな学習ベースの手法も提案…
はじめに Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Modelsを読んだのでメモ．簡単に言えばGANのgeneratorをflow-basedなモデルに置き換えて密度推定もできるようにしたというもの． notation データの分布をとし，パ…
はじめに Mutual information neural estimation（MINE）を使ってinfoGANを実装したのでメモ．MINEに関してのメモはこちら． 設定 オリジナルのinfoGANと同様にMNISTで離散変数1つ，連続変数2つでgeneratorを学習した．infoGANの特徴である相互情報量最大化…
はじめに Learning deep representations by mutual information estimation and maximizationを読んだのでメモ．Abstractの最後の１文で"DIM opens new avenues for unsupervised learn- ing of representations and is an important step towards flexible…
はじめに Mutual Information Neural Estimationを読んだのでメモ．書き終わってちょっと殴り書きすぎたと反省．正直このメモ読んでもよくわからないと思う… 気持ち 相互情報量は二つの確率変数の依存関係を知る良い指標だが一般的に計算するのが難しく，離…
はじめに Image Generation from Scene Graphsを読んだのでメモ．言語から画像を生成する研究．複雑な文章からでも安定して画像生成ができるとのこと． 概要 ここではシーングラフとノイズを入力として画像を生成するモデルの構築と学習を目標とする．モデル…
はじめに SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSを読んだのでメモ． Fast approximate convolutions on graphs ここでは次のような多層のgraph convolutional networks（GCN）を考える． は無向グラフに自己ループを加えた隣接…
はじめに Convolutional Neural Networks on Graphs with Fast Localized Spectral Filteringを読んだのでメモ． Convolution on Graph この論文ではグラフフーリエ変換に基づく畳み込みを考える． Graph Fourier transform 無向グラフで定義された信号を考…
はじめに Spectral Networks and Deep Locally Connected Networks on Graphsを読んだのでメモ．前回spectral clusteringの勉強の中でgraph Laplacianについて触れたので，せっかくだから今一度いわゆるgraph convolution関連の論文を読み漁ろうかなと．この…
はじめに A Tutorial on Spectral Clusteringを読んだのでメモその２． 準備ができたのでいよいよspectral clusteringについて Spectral Clustering Algorithms ここでは個のデータ点が与えられ，類似度関数が対象(入力を入れ替えても出力が変わらない)かつ…
はじめに A Tutorial on Spectral Clusteringを読んだのでメモ． タイトルからわかるようにspectral clusteringを基本の部分から解説した資料． 構成としてはsimilarity graphsgraph laplaciansspectral clusteringアルゴリズムの解析という感じ．とりあえず…
はじめに Local and Global Optimization Techniques in Graph-based Clusteringを読んだのでメモ．札幌で開催されたMIRU2018で著者の方が発表されていて気になったので読んでみた次第． graph-based clustering この論文では以下の目的関数の最小化問題とし…
はじめに Graph R-CNN for Scene Graph Generationを読んだのでメモ． 手法の概要 まず，を入力画像，をの物体領域と対応したグラフのノード，を物体間の関係性(グラフのエッジ)，が物体と関係性を示すラベルとしてそれぞれ定義．ゴールとしてはというモデル…
はじめに Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizerを読んだのでメモ． 気持ち Autoencoderはデータの潜在的な表現を学習することができ，その潜在空間上でデータ間の補間を行うと，デコードされた画像も…
はじめに Sylvester Normalizing Flows for Variational Inferenceを読んだのでメモ．planer flowの一般化であるSylvester normalizing flowを提案．planer flowは以前勉強した． Normalizing flow 復習がてらnormalizing flowについて． 確率変数を関数を使…
はじめに Deep Energy: Using Energy Functions for Unsupervised Training of DNNsを読んだのでメモ． 気持ち データセットの規模をスケールさせたいというモチベーション．ほぼほぼ完璧なアノテーションが自動で作れればデータセット作成に人手がほぼいら…
はじめに Normalized Cut Loss for Weakly-supervised CNN Segmentationを読んだのでメモ．生成モデル以外の論文読むのが久しぶり． 気持ち Weakly-supervisedの枠組みにおけるsegmentationの手法は擬似的なマスクを生成してフィットさせていくことが多いが…
はじめに IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesisを読んだのでメモ． stackGANやPGGANと違ってVAEのEncoderをGANのdiscriminatorとして扱うことでシンプルながらも高解像度の画像を生成することに成功した． In…
はじめに Avoiding Latent Variable Collapse with Generative Skip Modelsを読んだのでメモ．勉強メモがわりにブログ始めてからずっと生成モデルしか勉強してない... 気持ち VAEではdecoderが潜在変数を無視して画像を生成してしまうlatent variable collap…
はじめに 生成モデルの勉強も落ち着いたので理解深めるためにPytorchでGlowを実装した話（コードは載せてないので注意）． 所感 著者のコードは幸いgithubに公開されていたので実装自体はそこまで難しくなかった．予定外だった（ちゃんと論文読めばわかるけ…
はじめに Neural Autoregressive Flowsを読んだのでメモ．表裏一体の関係にあったMAFとIAFを統合して一般化したneural autoregressive flow(NAF)を提案した論文． お気持ち この論文で問題としているのは，Variational InferenceにおいてIAFやMAFなどかなり…
はじめに Masked Autoregressive Flow for Density Estimationを読んだのでメモ． お気持ち Inverse Autoregressive Flowと密接な関係がある，Real NVPの一般化手法Masked Autoregressive Flowを提案したぜということ． 密度推定の課題ではnormalizing flow…
はじめに Improved Variational Inference with Inverse Autoregressive Flowを読んだのでメモ． 変分推定 論文に章立ててあるのと復習も含め何度も書くことが重要かなということでおさらい． 観測変数を，潜在変数をとし，同時分布をとする．データセットが…
