主にOpenAIが公開している強化学習のプログラムであるSpinning upで勉強してみたメモのまとめ． その1 Introduction to RL Part1についてのメモ その2 Introduction to RL Part2についてのメモ その3 Introduction to RL Part3についてのメモ その4 Algorith…

はじめに その7ということで今度はSoft Actor-Critic(SAC)をpytorchで実装する． Soft Actor-Critic SACはTD3とほぼ同時期にpublishされた論文．内容の肝としてはDDPGをベースにentropy regularizationを加えたというもの．簡単に言ってしまえば報酬に対して…

はじめに その6ということで今度はTwin Delayed DDPG（TD3）をpytorchで実装する． Twin Delayed DDPG DDPGは基本的にはいいアルゴリズムだが，時たま学習が破綻する場合があるとのこと．その理由としてはQ関数が学習初期において過大評価を行なってしまい，…

はじめに その5ということで今度はDeep Deterministic Policy Gradient（DDPG）をpytorchで実装する． Deep Deterministic Policy Gradient DDPGは今までと違いQ-learningの枠組みを取り入れた（論文の背景的にはQ-learningにpolicy gradientを取り柄れたと…

はじめに その4ということで具体的なアルゴリズムの実装をpytorchでしてみる．今回はalgorithms docsの中にあるVanilla Policy Gradient（VPG）の実装をする． Vanilla Policy Gradient VPGはSpinning Upのintroduction to rlのpart 3で扱ったsimplest polic…

はじめに Grid R-CNNを読んだのでメモ．前に読んだcornerNetと同じくkey pointベースの検出方法．投稿時期とフォーマットからおそらくcvprに投稿された論文．また今年もSenseTimeから沢山の論文がアクセプトされるのでしょうか． Grid R-CNN 基本的にCornerN…

はじめに Deformable ConvNets v2: More Deformable, Better Resultsを読んだのでメモ．MSRAのインターンの成果でdeformable convolutionを改良したとのこと．著者は元の論文の人と一部同じ． 気持ち Deformable convolutionはより柔軟に物体の構造を捉える…

はじめに Self-Supervised Generative Adversarial Networksを読んだのでメモ。 気持ち まず，GAN関係なしにNeural Netは識別タスクにおいて，識別の環境が動的に変化する（タスクが変化する）と前の識別境界を忘れるという問題がある．この問題はGANのdiscr…

はじめに TGANv2: Efficient Training of Large Models for Video Generation with Multiple Subsampling Layersを読んだのでメモ．動画生成のGANは計算コストが大きくなってしまうため解像度の低い動画の生成しかできていなかった点を解決したという論文． …

はじめに その３ということで一応Introduction to RLの最終回．今回勉強したページはこちら Part 3: Intro to Policy Optimization 今回はpolicy optimizationの基礎理論とその実装について． Deriving the Simplest Policy Gradient まずはでparameterizeさ…

はじめに OpenAIが提供するSpinning Upで深層強化学習の勉強をしたのでメモその２．今回勉強した内容はこちら． Taxonomy of RL Algorithms RLアルゴリズムを手法ごとに分類しようというもの．Part2のページに木構造でいい感じにまとめた図がある．Part 2の…

はじめに OpenAIが提供するSpinning Upで深層強化学習の勉強をしたのでメモ．ちなみに強化学習は完全素人で何も知らない状態から始めていて，とりあえずの取っ掛かりとしてSpinning Upを利用してみたと言うところ．個人的にtensorflowで書かれているのがしん…

はじめに HOW POWERFUL ARE GRAPH NEURAL NETWORKS?を読んだのでメモ．各命題，定理の証明は今回は割愛． 2018.11.24 Openreviewにて論文で提案しているGINが定理3を満たさない（= WL testと同等の識別能力を有すると言えない）ということが示されて内容が変…

はじめに Neural Nearest Neighbors Networksを読んだのでメモ．differentiableなKNN selection ruleを提案するというもの．NIPS 2018でgithubにコードも公開されている． Differentiable -Nearest Neighbors クエリとなるアイテムを，データベースの候補を…

はじめに Learning Laplacian Matrix in Smooth Graph Signal Representationsを読んだのでメモ． 気持ち データの構造をグラフで表現する際に，一般的にはgeographicalもしくはsocial friendshipなどに基づいてグラフ構造を決定する．ただこのような決め方…

はじめに ScratchDet: Exploring to Train Single-Shot Object Detectors from Scratchを読んだのでメモ． 気持ち 現状の物体検出器は基本的にimageNetなどのpretrainedモデルを使って学習している．この論文ではこれが精度の低下を起こすと主張．その理由と…

はじめに CornerNet: Detecting Objects as Paired Keypointsを読んだのでメモ． 気持ち 現状のアンカーベースのobject detectorは，大量のアンカーを用意する必要があるのとハイパーパラメータが多くなるという課題があるのでそこを解決したいというもの．…

はじめに SHADE: INFORMATION-BASED REGULARIZATION FOR DEEP LEARNINGを読んだのでメモ．ICIP2018のベストペーパーに選ばれた論文．（調べてみるとICLR2018にrejectされてた） SHADE: SHAnnon DEcay まずを入力の変数，を出力の変数，をモデルパラメータ，…

はじめに THE UNREASONABLE EFFECTIVENESS OF (ZERO) INITIALIZATION IN DEEP RESIDUAL LEARNINGを読んだのでメモ．ICLR2019の査読中論文． 2019/2/4 ICLR2019に採択されていたがタイトルがFIXUP INITIALIZATION:RESIDUAL LEARNING WITHOUT NORMALIZATIONに…

はじめに PeerNets: Exploiting Peer Wisdom Against Adversarial Attacksを読んだのでメモ．adversarial attackに強いモデルをgraph convolutionを利用して作ったというもの． Peer Regularization データの空間構造を利用した新しいDNNを提案するというも…

はじめに GRAPH ATTENTION NETWORKSを読んだのでメモ． 気持ち Kipf & Wellingの提案したGraph Convolutional Networks (GCN)は学習されたフィルタがグラフラプラシアンの固有ベクトルに依存するため異なるグラフ構造に対応することができない．そこでフィル…

はじめに Higher-order Graph Convolutional Networksを読んだのでメモ 気持ち 現状のgraph convolutional networks（GCN）はone-hopの隣接関係のみを考慮したものになっていて，高次の情報を捉え切れていない．そこでmulti-hopな重み付き隣接行列を使ったGC…

はじめに Clustering with Deep Learning: Taxonomy and New Methodsを読んだのでメモ． 気持ち DNNベースのクラスタリング手法について体系的にまとめて定式化することで，システマティックに新しいクラスタリングの方法を作れる様にしようというもの． モ…

はじめに Spherical Latent Spaces for Stable Variational Autoencodersを読んだのでメモ．VAEのKL collapse（latent variable collapse）をpriorに固定のvon Mises-Fisher分布 (vMF) を使う事で回避するというもの． 論文自体は自然言語に寄って書かれてい…

はじめに Realistic Evaluation of Semi-Supervised Learning Algorithmsを読んだのでメモ．PyTorchで実装もしました．実装の話はこちら． 気持ち データを作るコストが高いことからsemi-supervised learning (SSL)は重要で，最近はそれなりのラベルデータが…

はじめに Graph Convolutional Neural Networks for Web-Scale Recommender Systemsを読んだのでメモ．30億ノード，180億エッジを持つグラフデータに対しても処理可能なrandom walkに基づくgraph convolutional neural network (GCN)，PinSageを提案するとい…

はじめに Fixing a Broken ELBOを読んだのでメモ． 気持ち 教師なし表現学習の一般的なアプローチとしてデータをで表現される様な潜在変数モデルにフィットさせる方法があげられる．通常はこのモデルを真の分布とのKLダイバージェンスを最小化する様に学習す…

はじめに Deep Graph Laplacian Regularizationを読んだのでメモ． 気持ち ノイズ除去等の逆問題は通常不良設定問題であるた、なんらかのpriorを仮定して解く必要がある．よく知られているpriorとしてtotal variation priorやsparsity prior，graph Laplacian…

はじめに Deep Spectral Clustering Learningを読んだのでメモ． 気持ち クラスタリングの良さは類似度の指標とデータの表現に依存する．多くの手法はデータの表現固定であったり線形の変換によって得られることが多かったり．deepな学習ベースの手法も提案…

はじめに Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Modelsを読んだのでメモ．簡単に言えばGANのgeneratorをflow-basedなモデルに置き換えて密度推定もできるようにしたというもの． notation データの分布をとし，パ…