はじめに PeerNets: Exploiting Peer Wisdom Against Adversarial Attacksを読んだのでメモ．adversarial attackに強いモデルをgraph convolutionを利用して作ったというもの． Peer Regularization データの空間構造を利用した新しいDNNを提案するというも…

はじめに GRAPH ATTENTION NETWORKSを読んだのでメモ． 気持ち Kipf & Wellingの提案したGraph Convolutional Networks (GCN)は学習されたフィルタがグラフラプラシアンの固有ベクトルに依存するため異なるグラフ構造に対応することができない．そこでフィル…

はじめに Higher-order Graph Convolutional Networksを読んだのでメモ 気持ち 現状のgraph convolutional networks（GCN）はone-hopの隣接関係のみを考慮したものになっていて，高次の情報を捉え切れていない．そこでmulti-hopな重み付き隣接行列を使ったGC…

はじめに Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ． 気持ち DNNベースのクラスタリング手法について体系的にまとめて定式化することで，システマティックに新しいクラスタリングの方法を作れる様にしようというもの． モ…

はじめに Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ．VAEのKL collapse（latent variable collapse）をpriorに固定のvon Mises-Fisher分布 (vMF) を使う事で回避するというもの． 論文自体は自然言語に寄って書かれてい…

はじめに Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ．PyTorchで実装もしました．実装の話はこちら． 気持ち データを作るコストが高いことからsemi-supervised learning (SSL)は重要で，最近はそれなりのラベルデータが…

はじめに Graph Convolutional Neural Networks for Web-Scale Recommender Systemsを読んだのでメモ．30億ノード，180億エッジを持つグラフデータに対しても処理可能なrandom walkに基づくgraph convolutional neural network (GCN)，PinSageを提案するとい…

はじめに Fixing a Broken ELBOを読んだのでメモ． 気持ち 教師なし表現学習の一般的なアプローチとしてデータをで表現される様な潜在変数モデルにフィットさせる方法があげられる．通常はこのモデルを真の分布とのKLダイバージェンスを最小化する様に学習す…

はじめに Deep Graph Laplacian Regularizationを読んだのでメモ． 気持ち ノイズ除去等の逆問題は通常不良設定問題であるた、なんらかのpriorを仮定して解く必要がある．よく知られているpriorとしてtotal variation priorやsparsity prior，graph Laplacian…