機械学習とかコンピュータビジョンとか

CVやMLに関する勉強のメモ書き。

Graph Warp Module: an Auxiliary Module for Boosting the Power of Graph Neural Networksを読んだのでメモ

はじめに Graph Warp Module: an Auxiliary Module for Boosting the Power of Graph Neural Networksを読んだのでメモ. 気持ち GNNの表現力の低さを問題視した論文.この問題は以前読んだICLR2019のHow Powerful are Graph Neural Networks?でも議論されて…

Emerging Convolutions for Generative Normalizing Flowsを読んだのでメモ

はじめに Emerging Convolutions for Generative Normalizing Flowsを読んだのでメモ. 気持ち Deepな生成モデルでGlowが登場して,flow-basedな生成モデルの利点が広く認知されたが,結局全単射な関数からしかモデルを構成できず,表現力を上げるには多層に…

Bottom-up Object Detection by Grouping Extreme and Center Pointsを読んだのでメモ

はじめに Bottom-up Object Detection by Grouping Extreme and Center Pointsを読んだのでメモ. 気持ち Object detectionにbounding boxを使うのは良くないのでextreme pointsと中心位置の4点をheatmapとして回帰しようというもの.Extreme pointというの…

Neural Relational Inference for Interacting Systemsを読んだのでメモ

はじめに Neural Relational Inference for Interacting Systemsを読んだのでメモ.ニューラルネットにより要素間のインタラクションを推定したいというもの.例としてバスケットボールをあげていて,ある選手のダイナミクスは相手選手や味方の選手の動きや…

Understanding the Effective Receptive Field in Deep Convolutional Neural Networksを読んだのでメモ

はじめに Understanding the Effective Receptive Field in Deep Convolutional Neural Networksを読んだのでメモ. 気持ち CNNにおけるreceptive fieldをちゃんと解析しようというもの.ここではeffective receptive field(ERF)という上位の概念を導入する…

強化学習勉強まとめ

主にOpenAIが公開している強化学習のプログラムであるSpinning upで勉強してみたメモのまとめ. その1 Introduction to RL Part1についてのメモ その2 Introduction to RL Part2についてのメモ その3 Introduction to RL Part3についてのメモ その4 Algorith…

OpenAIのSpinning Upで強化学習を勉強してみた その7

はじめに その7ということで今度はSoft Actor-Critic(SAC)をpytorchで実装する. Soft Actor-Critic SACはTD3とほぼ同時期にpublishされた論文.内容の肝としてはDDPGをベースにentropy regularizationを加えたというもの.簡単に言ってしまえば報酬に対して…

OpenAIのSpinning Upで強化学習を勉強してみた その6

はじめに その6ということで今度はTwin Delayed DDPG(TD3)をpytorchで実装する. Twin Delayed DDPG DDPGは基本的にはいいアルゴリズムだが,時たま学習が破綻する場合があるとのこと.その理由としてはQ関数が学習初期において過大評価を行なってしまい,…

OpenAIのSpinning Upで強化学習を勉強してみた その5

はじめに その5ということで今度はDeep Deterministic Policy Gradient(DDPG)をpytorchで実装する. Deep Deterministic Policy Gradient DDPGは今までと違いQ-learningの枠組みを取り入れた(論文の背景的にはQ-learningにpolicy gradientを取り柄れたと…

OpenAIのSpinning Upで強化学習を勉強してみた その4

はじめに その4ということで具体的なアルゴリズムの実装をpytorchでしてみる.今回はalgorithms docsの中にあるVanilla Policy Gradient(VPG)の実装をする. Vanilla Policy Gradient VPGはSpinning Upのintroduction to rlのpart 3で扱ったsimplest polic…

Grid R-CNNを読んだのでメモ

はじめに Grid R-CNNを読んだのでメモ.前に読んだcornerNetと同じくkey pointベースの検出方法.投稿時期とフォーマットからおそらくcvprに投稿された論文.また今年もSenseTimeから沢山の論文がアクセプトされるのでしょうか. Grid R-CNN 基本的にCornerN…

Deformable ConvNets v2: More Deformable, Better Resultsを読んだのでメモ

はじめに Deformable ConvNets v2: More Deformable, Better Resultsを読んだのでメモ.MSRAのインターンの成果でdeformable convolutionを改良したとのこと.著者は元の論文の人と一部同じ. 気持ち Deformable convolutionはより柔軟に物体の構造を捉える…

Self-Supervised Generative Adversarial Networksを読んだのでメモ

GAN

はじめに Self-Supervised Generative Adversarial Networksを読んだのでメモ。 気持ち まず,GAN関係なしにNeural Netは識別タスクにおいて,識別の環境が動的に変化する(タスクが変化する)と前の識別境界を忘れるという問題がある.この問題はGANのdiscr…

TGANv2: Efficient Training of Large Models for Video Generation with Multiple Subsampling Layersを読んだのでメモ

GAN

はじめに TGANv2: Efficient Training of Large Models for Video Generation with Multiple Subsampling Layersを読んだのでメモ.動画生成のGANは計算コストが大きくなってしまうため解像度の低い動画の生成しかできていなかった点を解決したという論文. …

OpenAIのSpinning Upで強化学習を勉強してみた その3

はじめに その3ということで一応Introduction to RLの最終回.今回勉強したページはこちら Part 3: Intro to Policy Optimization 今回はpolicy optimizationの基礎理論とその実装について. Deriving the Simplest Policy Gradient まずはでparameterizeさ…

OpenAIのSpinning Upで強化学習を勉強してみた その2

はじめに OpenAIが提供するSpinning Upで深層強化学習の勉強をしたのでメモその2.今回勉強した内容はこちら. Taxonomy of RL Algorithms RLアルゴリズムを手法ごとに分類しようというもの.Part2のページに木構造でいい感じにまとめた図がある.Part 2の…

OpenAIのSpinning Upで強化学習を勉強してみた その1

はじめに OpenAIが提供するSpinning Upで深層強化学習の勉強をしたのでメモ.ちなみに強化学習は完全素人で何も知らない状態から始めていて,とりあえずの取っ掛かりとしてSpinning Upを利用してみたと言うところ.個人的にtensorflowで書かれているのがしん…

HOW POWERFUL ARE GRAPH NEURAL NETWORKS?を読んだのでメモ

はじめに HOW POWERFUL ARE GRAPH NEURAL NETWORKS?を読んだのでメモ.各命題,定理の証明は今回は割愛. 2018.11.24 Openreviewにて論文で提案しているGINが定理3を満たさない(= WL testと同等の識別能力を有すると言えない)ということが示されて内容が変…

Neural Nearest Neighbors Networksを読んだのでメモ

はじめに Neural Nearest Neighbors Networksを読んだのでメモ.differentiableなKNN selection ruleを提案するというもの.NIPS 2018でgithubにコードも公開されている. Differentiable -Nearest Neighbors クエリとなるアイテムを,データベースの候補を…

Learning Laplacian Matrix in Smooth Graph Signal Representationsを読んだのでメモ

はじめに Learning Laplacian Matrix in Smooth Graph Signal Representationsを読んだのでメモ. 気持ち データの構造をグラフで表現する際に,一般的にはgeographicalもしくはsocial friendshipなどに基づいてグラフ構造を決定する.ただこのような決め方…

ScratchDet: Exploring to Train Single-Shot Object Detectors from Scratchを読んだのでメモ

はじめに ScratchDet: Exploring to Train Single-Shot Object Detectors from Scratchを読んだのでメモ. 気持ち 現状の物体検出器は基本的にimageNetなどのpretrainedモデルを使って学習している.この論文ではこれが精度の低下を起こすと主張.その理由と…

CornerNet: Detecting Objects as Paired Keypointsを読んだのでメモ.

はじめに CornerNet: Detecting Objects as Paired Keypointsを読んだのでメモ. 気持ち 現状のアンカーベースのobject detectorは,大量のアンカーを用意する必要があるのとハイパーパラメータが多くなるという課題があるのでそこを解決したいというもの.…

SHADE: INFORMATION-BASED REGULARIZATION FOR DEEP LEARNINGを読んだのでメモ

はじめに SHADE: INFORMATION-BASED REGULARIZATION FOR DEEP LEARNINGを読んだのでメモ.ICIP2018のベストペーパーに選ばれた論文.(調べてみるとICLR2018にrejectされてた) SHADE: SHAnnon DEcay まずを入力の変数,を出力の変数,をモデルパラメータ,…

THE UNREASONABLE EFFECTIVENESS OF (ZERO) INITIALIZATION IN DEEP RESIDUAL LEARNINGを読んだのでメモ

はじめに THE UNREASONABLE EFFECTIVENESS OF (ZERO) INITIALIZATION IN DEEP RESIDUAL LEARNINGを読んだのでメモ.ICLR2019の査読中論文. 2019/2/4 ICLR2019に採択されていたがタイトルがFIXUP INITIALIZATION:RESIDUAL LEARNING WITHOUT NORMALIZATIONに…

PeerNets: Exploiting Peer Wisdom Against Adversarial Attacksを読んだのでメモ

はじめに PeerNets: Exploiting Peer Wisdom Against Adversarial Attacksを読んだのでメモ.adversarial attackに強いモデルをgraph convolutionを利用して作ったというもの. Peer Regularization データの空間構造を利用した新しいDNNを提案するというも…

GRAPH ATTENTION NETWORKSを読んだのでメモ

はじめに GRAPH ATTENTION NETWORKSを読んだのでメモ. 気持ち Kipf & Wellingの提案したGraph Convolutional Networks (GCN)は学習されたフィルタがグラフラプラシアンの固有ベクトルに依存するため異なるグラフ構造に対応することができない.そこでフィル…

Higher-order Graph Convolutional Networksを読んだのでメモ

はじめに Higher-order Graph Convolutional Networksを読んだのでメモ 気持ち 現状のgraph convolutional networks(GCN)はone-hopの隣接関係のみを考慮したものになっていて,高次の情報を捉え切れていない.そこでmulti-hopな重み付き隣接行列を使ったGC…

Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ

はじめに Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ. 気持ち DNNベースのクラスタリング手法について体系的にまとめて定式化することで,システマティックに新しいクラスタリングの方法を作れる様にしようというもの. モ…

Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ

VAE

はじめに Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ.VAEのKL collapse(latent variable collapse)をpriorに固定のvon Mises-Fisher分布 (vMF) を使う事で回避するというもの. 論文自体は自然言語に寄って書かれてい…

Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ

はじめに Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ. 気持ち データを作るコストが高いことからsemi-supervised learning (SSL)は重要で,最近はそれなりのラベルデータがあればsupervisedに匹敵する性能がでる.ただ…