機械学習とかコンピュータビジョンとか

CVやMLに関する勉強のメモ書き。

OpenAIのSpinning Upで強化学習を勉強してみた その3

はじめに その3ということで一応Introduction to RLの最終回.今回勉強したページはこちら Part 3: Intro to Policy Optimization 今回はpolicy optimizationの基礎理論とその実装について. Deriving the Simplest Policy Gradient まずはでparameterizeさ…

OpenAIのSpinning Upで強化学習を勉強してみた その2

はじめに OpenAIが提供するSpinning Upで深層強化学習の勉強をしたのでメモその2.今回勉強した内容はこちら. Taxonomy of RL Algorithms RLアルゴリズムを手法ごとに分類しようというもの.Part2のページに木構造でいい感じにまとめた図がある.Part 2の…

OpenAIのSpinning Upで強化学習を勉強してみた その1

はじめに OpenAIが提供するSpinning Upで深層強化学習の勉強をしたのでメモ.ちなみに強化学習は完全素人で何も知らない状態から始めていて,とりあえずの取っ掛かりとしてSpinning Upを利用してみたと言うところ.個人的にtensorflowで書かれているのがしん…

HOW POWERFUL ARE GRAPH NEURAL NETWORKS?を読んだのでメモ

はじめに HOW POWERFUL ARE GRAPH NEURAL NETWORKS?を読んだのでメモ.各命題,定理の証明は今回は割愛. 気持ち Graph convolutional networks(GNN)がグラフデータに関する様々な課題においてstate-of-the-artを記録しているが,どの研究もヒューリスティ…

Neural Nearest Neighbors Networksを読んだのでメモ

はじめに Neural Nearest Neighbors Networksを読んだのでメモ.differentiableなKNN selection ruleを提案するというもの.NIPS 2018でgithubにコードも公開されている. Differentiable -Nearest Neighbors クエリとなるアイテムを,データベースの候補を…

Learning Laplacian Matrix in Smooth Graph Signal Representationsを読んだのでメモ

はじめに Learning Laplacian Matrix in Smooth Graph Signal Representationsを読んだのでメモ. 気持ち データの構造をグラフで表現する際に,一般的にはgeographicalもしくはsocial friendshipなどに基づいてグラフ構造を決定する.ただこのような決め方…

ScratchDet: Exploring to Train Single-Shot Object Detectors from Scratchを読んだのでメモ

はじめに ScratchDet: Exploring to Train Single-Shot Object Detectors from Scratchを読んだのでメモ. 気持ち 現状の物体検出器は基本的にimageNetなどのpretrainedモデルを使って学習している.この論文ではこれが精度の低下を起こすと主張.その理由と…

CornerNet: Detecting Objects as Paired Keypointsを読んだのでメモ.

はじめに CornerNet: Detecting Objects as Paired Keypointsを読んだのでメモ. 気持ち 現状のアンカーベースのobject detectorは,大量のアンカーを用意する必要があるのとハイパーパラメータが多くなるという課題があるのでそこを解決したいというもの.…

SHADE: INFORMATION-BASED REGULARIZATION FOR DEEP LEARNINGを読んだのでメモ

はじめに SHADE: INFORMATION-BASED REGULARIZATION FOR DEEP LEARNINGを読んだのでメモ.ICIP2018のベストペーパーに選ばれた論文.(調べてみるとICLR2018にrejectされてた) SHADE: SHAnnon DEcay まずを入力の変数,を出力の変数,をモデルパラメータ,…

THE UNREASONABLE EFFECTIVENESS OF (ZERO) INITIALIZATION IN DEEP RESIDUAL LEARNINGを読んだのでメモ

はじめに THE UNREASONABLE EFFECTIVENESS OF (ZERO) INITIALIZATION IN DEEP RESIDUAL LEARNINGを読んだのでメモ.ICLR2019の査読中論文. 気持ち NNの重みをゼロで初期化してしまおうという論文.ここではbatch normalizationのような正規化を行うことなく…

PeerNets: Exploiting Peer Wisdom Against Adversarial Attacksを読んだのでメモ

はじめに PeerNets: Exploiting Peer Wisdom Against Adversarial Attacksを読んだのでメモ.adversarial attackに強いモデルをgraph convolutionを利用して作ったというもの. Peer Regularization データの空間構造を利用した新しいDNNを提案するというも…

GRAPH ATTENTION NETWORKSを読んだのでメモ

はじめに GRAPH ATTENTION NETWORKSを読んだのでメモ. 気持ち Kipf & Wellingの提案したGraph Convolutional Networks (GCN)は学習されたフィルタがグラフラプラシアンの固有ベクトルに依存するため異なるグラフ構造に対応することができない.そこでフィル…

Higher-order Graph Convolutional Networksを読んだのでメモ

はじめに Higher-order Graph Convolutional Networksを読んだのでメモ 気持ち 現状のgraph convolutional networks(GCN)はone-hopの隣接関係のみを考慮したものになっていて,高次の情報を捉え切れていない.そこでmulti-hopな重み付き隣接行列を使ったGC…

Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ

はじめに Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ. 気持ち DNNベースのクラスタリング手法について体系的にまとめて定式化することで,システマティックに新しいクラスタリングの方法を作れる様にしようというもの. モ…

Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ

VAE

はじめに Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ.VAEのKL collapse(latent variable collapse)をpriorに固定のvon Mises-Fisher分布 (vMF) を使う事で回避するというもの. 論文自体は自然言語に寄って書かれてい…

Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ

はじめに Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ. 気持ち データを作るコストが高いことからsemi-supervised learning (SSL)は重要で,最近はそれなりのラベルデータがあればsupervisedに匹敵する性能がでる.ただ…

Graph Convolutional Neural Networks for Web-Scale Recommender Systemsを読んだのでメモ

はじめに Graph Convolutional Neural Networks for Web-Scale Recommender Systemsを読んだのでメモ.30億ノード,180億エッジを持つグラフデータに対しても処理可能なrandom walkに基づくgraph convolutional neural network (GCN),PinSageを提案するとい…

Fixing a Broken ELBOを読んだのでメモ

はじめに Fixing a Broken ELBOを読んだのでメモ. 気持ち 教師なし表現学習の一般的なアプローチとしてデータをので表現される様な潜在変数モデルにフィットさせる方法があげられる.通常はこのモデルを真の分布とのKLダイバージェンスを最小化する様に学習…

Deep Graph Laplacian Regularizationを読んだのでメモ

はじめに Deep Graph Laplacian Regularizationを読んだのでメモ. 気持ち ノイズ除去等の逆問題は通常不良設定問題であるた、なんらかのpriorを仮定して解く必要がある.よく知られているpriorとしてtotal variation priorやsparsity prior,graph Laplacian…

Deep Spectral Clustering Learningを読んだのでメモ

はじめに Deep Spectral Clustering Learningを読んだのでメモ. 気持ち クラスタリングの良さは類似度の指標とデータの表現に依存する.多くの手法はデータの表現固定であったり線形の変換によって得られることが多かったり.deepな学習ベースの手法も提案…

Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Modelsを読んだのでメモ

はじめに Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Modelsを読んだのでメモ.簡単に言えばGANのgeneratorをflow-basedなモデルに置き換えて密度推定もできるようにしたというもの. notation データの分布をとし,パ…

MINEを使ってinfoGANを実装した

はじめに Mutual information neural estimation(MINE)を使ってinfoGANを実装したのでメモ.MINEに関してのメモはこちら. 設定 オリジナルのinfoGANと同様にMNISTで離散変数1つ,連続変数2つでgeneratorを学習した.infoGANの特徴である相互情報量最大化…

Learning deep representations by mutual information estimation and maximizationを読んだのでメモ

はじめに Learning deep representations by mutual information estimation and maximizationを読んだのでメモ.Abstractの最後の1文で"DIM opens new avenues for unsupervised learn- ing of representations and is an important step towards flexible…

Mutual Information Neural Estimationを読んだのでメモ

はじめに Mutual Information Neural Estimationを読んだのでメモ.書き終わってちょっと殴り書きすぎたと反省.正直このメモ読んでもよくわからないと思う… 気持ち 相互情報量は二つの確率変数の依存関係を知る良い指標だが一般的に計算するのが難しく,離…

Image Generation from Scene Graphsを読んだのでメモ

はじめに Image Generation from Scene Graphsを読んだのでメモ.言語から画像を生成する研究.複雑な文章からでも安定して画像生成ができるとのこと. 概要 ここではシーングラフとノイズを入力として画像を生成するモデルの構築と学習を目標とする.モデル…

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSを読んだのでメモ

はじめに SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSを読んだのでメモ. Fast approximate convolutions on graphs ここでは次のような多層のgraph convolutional networks(GCN)を考える. は無向グラフに自己ループを加えた隣接…

Convolutional Neural Networks on Graphs with Fast Localized Spectral Filteringを読んだのでメモ

はじめに Convolutional Neural Networks on Graphs with Fast Localized Spectral Filteringを読んだのでメモ. Convolution on Graph この論文ではグラフフーリエ変換に基づく畳み込みを考える.というのも,空間的なグラフ畳み込みは注目ノードごとの隣接…

Spectral Networks and Deep Locally Connected Networks on Graphsを読んだのでメモ

はじめに Spectral Networks and Deep Locally Connected Networks on Graphsを読んだのでメモ.前回spectral clusteringの勉強の中でgraph Laplacianについて触れたので,せっかくだから今一度いわゆるgraph convolution関連の論文を読み漁ろうかなと.この…

A Tutorial on Spectral Clusteringを読んだのでメモ その2

はじめに A Tutorial on Spectral Clusteringを読んだのでメモその2. 準備ができたのでいよいよspectral clusteringについて Spectral Clustering Algorithms ここでは個のデータ点が与えられ,類似度関数が対象(入力を入れ替えても出力が変わらない)かつ…

A Tutorial on Spectral Clusteringを読んだのでメモ その1

はじめに A Tutorial on Spectral Clusteringを読んだのでメモ. タイトルからわかるようにspectral clusteringを基本の部分から解説した資料. 構成としてはsimilarity graphsgraph laplaciansspectral clusteringアルゴリズムの解析という感じ.とりあえず…