はじめに Weight Standardizationを読んだのでメモ． 気持ち バッチサイズに左右されない新しい正規化層の提案．BatchNormはミニバッチサイズが小さい時にうまく機能しないことはよく知られていて，代替となるようなバッチサイズに依存しな様々な正規化層は…
はじめに Implicit Generation and Generalization in Energy-Based Modelsを読んだのでメモ．Glowに引き続きopenAIから生成モデルの論文． Energy-Based Models and Sampling 今回はVAEやGANと違い，ボルツマンマシンに代表されるenergy-based modelで高次…
はじめに VideoFlow: A Flow-Based Generative Model for Videoを読んだのでメモ．Generative Flowを使って動画生成をしたよという論文．モチベーションとしてはgenerative flowだから尤度最大化として学習可能という点． VideoFlow 基本的にはGlowを動画用…
はじめに Learning Implicitly Recurrent CNNs Through Parameter Sharingを読んだのでメモ． soft parameter sharing 基本的な考え方としてはCNNの畳み込みフィルタを基底となるフィルタの線型結合で表現し，基底を各層で共有すればパラメータ数を減らせる…
はじめに Graph Warp Module: an Auxiliary Module for Boosting the Power of Graph Neural Networksを読んだのでメモ． 気持ち GNNの表現力の低さを問題視した論文．この問題は以前読んだICLR2019のHow Powerful are Graph Neural Networks?でも議論されて…
はじめに Emerging Convolutions for Generative Normalizing Flowsを読んだのでメモ． 気持ち Deepな生成モデルでGlowが登場して，flow-basedな生成モデルの利点が広く認知されたが，結局全単射な関数からしかモデルを構成できず，表現力を上げるには多層に…
はじめに Bottom-up Object Detection by Grouping Extreme and Center Pointsを読んだのでメモ． 気持ち Object detectionにbounding boxを使うのは良くないのでextreme pointsと中心位置の4点をheatmapとして回帰しようというもの．Extreme pointというの…
はじめに Neural Relational Inference for Interacting Systemsを読んだのでメモ．ニューラルネットにより要素間のインタラクションを推定したいというもの．例としてバスケットボールをあげていて，ある選手のダイナミクスは相手選手や味方の選手の動きや…
はじめに Understanding the Effective Receptive Field in Deep Convolutional Neural Networksを読んだのでメモ． 気持ち CNNにおけるreceptive fieldをちゃんと解析しようというもの．ここではeffective receptive field(ERF)という上位の概念を導入する…
主にOpenAIが公開している強化学習のプログラムであるSpinning upで勉強してみたメモのまとめ． その1 Introduction to RL Part1についてのメモ その2 Introduction to RL Part2についてのメモ その3 Introduction to RL Part3についてのメモ その4 Algorith…
はじめに その7ということで今度はSoft Actor-Critic(SAC)をpytorchで実装する． Soft Actor-Critic SACはTD3とほぼ同時期にpublishされた論文．内容の肝としてはDDPGをベースにentropy regularizationを加えたというもの．簡単に言ってしまえば報酬に対して…
はじめに その6ということで今度はTwin Delayed DDPG（TD3）をpytorchで実装する． Twin Delayed DDPG DDPGは基本的にはいいアルゴリズムだが，時たま学習が破綻する場合があるとのこと．その理由としてはQ関数が学習初期において過大評価を行なってしまい，…
はじめに その5ということで今度はDeep Deterministic Policy Gradient（DDPG）をpytorchで実装する． Deep Deterministic Policy Gradient DDPGは今までと違いQ-learningの枠組みを取り入れた（論文の背景的にはQ-learningにpolicy gradientを取り柄れたと…
はじめに その4ということで具体的なアルゴリズムの実装をpytorchでしてみる．今回はalgorithms docsの中にあるVanilla Policy Gradient（VPG）の実装をする． Vanilla Policy Gradient VPGはSpinning Upのintroduction to rlのpart 3で扱ったsimplest polic…
はじめに Grid R-CNNを読んだのでメモ．前に読んだcornerNetと同じくkey pointベースの検出方法．投稿時期とフォーマットからおそらくcvprに投稿された論文．また今年もSenseTimeから沢山の論文がアクセプトされるのでしょうか． Grid R-CNN 基本的にCornerN…
はじめに Deformable ConvNets v2: More Deformable, Better Resultsを読んだのでメモ．MSRAのインターンの成果でdeformable convolutionを改良したとのこと．著者は元の論文の人と一部同じ． 気持ち Deformable convolutionはより柔軟に物体の構造を捉える…
はじめに Self-Supervised Generative Adversarial Networksを読んだのでメモ。 気持ち まず，GAN関係なしにNeural Netは識別タスクにおいて，識別の環境が動的に変化する（タスクが変化する）と前の識別境界を忘れるという問題がある．この問題はGANのdiscr…
はじめに TGANv2: Efficient Training of Large Models for Video Generation with Multiple Subsampling Layersを読んだのでメモ．動画生成のGANは計算コストが大きくなってしまうため解像度の低い動画の生成しかできていなかった点を解決したという論文． …
はじめに その３ということで一応Introduction to RLの最終回．今回勉強したページはこちら Part 3: Intro to Policy Optimization 今回はpolicy optimizationの基礎理論とその実装について． Deriving the Simplest Policy Gradient まずはでparameterizeさ…
はじめに OpenAIが提供するSpinning Upで深層強化学習の勉強をしたのでメモその２．今回勉強した内容はこちら． Taxonomy of RL Algorithms RLアルゴリズムを手法ごとに分類しようというもの．Part2のページに木構造でいい感じにまとめた図がある．Part 2の…
はじめに OpenAIが提供するSpinning Upで深層強化学習の勉強をしたのでメモ．ちなみに強化学習は完全素人で何も知らない状態から始めていて，とりあえずの取っ掛かりとしてSpinning Upを利用してみたと言うところ．個人的にtensorflowで書かれているのがしん…
はじめに HOW POWERFUL ARE GRAPH NEURAL NETWORKS?を読んだのでメモ．各命題，定理の証明は今回は割愛． 2018.11.24 Openreviewにて論文で提案しているGINが定理3を満たさない（= WL testと同等の識別能力を有すると言えない）ということが示されて内容が変…
はじめに Neural Nearest Neighbors Networksを読んだのでメモ．differentiableなKNN selection ruleを提案するというもの．NIPS 2018でgithubにコードも公開されている． Differentiable -Nearest Neighbors クエリとなるアイテムを，データベースの候補を…
はじめに Learning Laplacian Matrix in Smooth Graph Signal Representationsを読んだのでメモ． 気持ち データの構造をグラフで表現する際に，一般的にはgeographicalもしくはsocial friendshipなどに基づいてグラフ構造を決定する．ただこのような決め方…
はじめに ScratchDet: Exploring to Train Single-Shot Object Detectors from Scratchを読んだのでメモ． 気持ち 現状の物体検出器は基本的にimageNetなどのpretrainedモデルを使って学習している．この論文ではこれが精度の低下を起こすと主張．その理由と…
はじめに CornerNet: Detecting Objects as Paired Keypointsを読んだのでメモ． 気持ち 現状のアンカーベースのobject detectorは，大量のアンカーを用意する必要があるのとハイパーパラメータが多くなるという課題があるのでそこを解決したいというもの．…
はじめに SHADE: INFORMATION-BASED REGULARIZATION FOR DEEP LEARNINGを読んだのでメモ．ICIP2018のベストペーパーに選ばれた論文．（調べてみるとICLR2018にrejectされてた） SHADE: SHAnnon DEcay まずを入力の変数，を出力の変数，をモデルパラメータ，…
はじめに THE UNREASONABLE EFFECTIVENESS OF (ZERO) INITIALIZATION IN DEEP RESIDUAL LEARNINGを読んだのでメモ．ICLR2019の査読中論文． 2019/2/4 ICLR2019に採択されていたがタイトルがFIXUP INITIALIZATION:RESIDUAL LEARNING WITHOUT NORMALIZATIONに…
はじめに PeerNets: Exploiting Peer Wisdom Against Adversarial Attacksを読んだのでメモ．adversarial attackに強いモデルをgraph convolutionを利用して作ったというもの． Peer Regularization データの空間構造を利用した新しいDNNを提案するというも…
はじめに GRAPH ATTENTION NETWORKSを読んだのでメモ． 気持ち Kipf & Wellingの提案したGraph Convolutional Networks (GCN)は学習されたフィルタがグラフラプラシアンの固有ベクトルに依存するため異なるグラフ構造に対応することができない．そこでフィル…
