Neural Network
はじめに Differentiable Convex Optimization Layersについて調べたのでメモ． 注意として凸最適問題やそのソルバーには一切精通していないため，お気持ちとライブラリの簡単な使い方だけ説明する． 気持ちはどうでもいいから使い方だけという人は後半へ． …
はじめに Improving Discrete Latent Representations With Differentiable Approximation Bridgesを読んだのでメモ． 気持ち ニューラルネットの学習のために非連続な関数の勾配を近似/推論したいというもの．そのためにdifferentiable approximation bridg…
はじめに Unsupervised Part-Based Disentangling of Object Shape and Appearanceを読んだのでメモ． 気持ち 教師なしで物体（主に人）のshapeとappearanceに関する表現を獲得しようというもの．このような表現を獲得することでポーズを変えたり見えの一部…
はじめに EfficientNet: Rethinking Model Scaling for Convolutional Neural Networksを読んだのでメモ．より良いbackbone networkであるEfficientNetを提案．感覚的に持ってたモデルの深さと幅，入力に関する解像度とモデルの精度間の関係をいくつか実験的…
はじめに Feature Denoising for Improving Adversarial Robustnessを読んだのでメモ． 気持ち Figure 1の可視化がモチベーションの全てで，adversarial noiseを加えた画像は元の画像に比べて，CNNの中間的な特徴マップに一種のノイズが含まれる．そのため，…
はじめに KPConv: Flexible and Deformable Convolution for Point Cloudsを読んだのでメモ． 気持ち Point Cloudに対する効果的な畳み込みの方法の提案．基本的には2D regular gridに対する畳み込みを元にしていて，カーネルの形状をdeformation可能なdefor…
はじめに Weight Standardizationを読んだのでメモ． 気持ち バッチサイズに左右されない新しい正規化層の提案．BatchNormはミニバッチサイズが小さい時にうまく機能しないことはよく知られていて，代替となるようなバッチサイズに依存しな様々な正規化層は…
はじめに Learning Implicitly Recurrent CNNs Through Parameter Sharingを読んだのでメモ． soft parameter sharing 基本的な考え方としてはCNNの畳み込みフィルタを基底となるフィルタの線型結合で表現し，基底を各層で共有すればパラメータ数を減らせる…
はじめに Understanding the Effective Receptive Field in Deep Convolutional Neural Networksを読んだのでメモ． 気持ち CNNにおけるreceptive fieldをちゃんと解析しようというもの．ここではeffective receptive field(ERF)という上位の概念を導入する…
はじめに Neural Nearest Neighbors Networksを読んだのでメモ．differentiableなKNN selection ruleを提案するというもの．NIPS 2018でgithubにコードも公開されている． Differentiable -Nearest Neighbors クエリとなるアイテムを，データベースの候補を…
はじめに SHADE: INFORMATION-BASED REGULARIZATION FOR DEEP LEARNINGを読んだのでメモ．ICIP2018のベストペーパーに選ばれた論文．（調べてみるとICLR2018にrejectされてた） SHADE: SHAnnon DEcay まずを入力の変数，を出力の変数，をモデルパラメータ，…
はじめに THE UNREASONABLE EFFECTIVENESS OF (ZERO) INITIALIZATION IN DEEP RESIDUAL LEARNINGを読んだのでメモ．ICLR2019の査読中論文． 2019/2/4 ICLR2019に採択されていたがタイトルがFIXUP INITIALIZATION:RESIDUAL LEARNING WITHOUT NORMALIZATIONに…
