はじめに

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networksを読んだのでメモ．より良いbackbone networkであるEfficientNetを提案．感覚的に持ってたモデルの深さと幅，入力に関する解像度とモデルの精度間の関係をいくつか実験的に検証して面白かったのでまとめる．

Problem Formulation

まず問題の定式化から入る．ある $i$ 番目の畳み込み層の入出力関係を次のように定義する．

$\displaystyle Y_i=\mathcal{F}_i(X_i)$

これを多層化した最終的なモデルは $\mathcal{N}=\mathcal{F}_k\odot\dots\odot\mathcal{F}_1(X_1)=\odot_{j=1\dots k}\mathcal{F}_j(X_1)$ と表現する．あるベースラインモデルに対し，モデルの深さ $d$ ，チャネル数 $w$ ，入力の解像度 $r$ の3つを探索のパラメータとして次のような最適化問題を解くのが目標．

$\displaystyle \max_{Dow,r}Accuracy(\mathcal{N}(d,w,r))\\ s.t.\ \mathcal{N}(d,w,r)=\odot_{I=1\dots s}\hat{\mathcal{F}}_i^{d\cdot\hat{L_i}}\left(X_{\langle r\cdot\hat{H}_i,r\cdot\hat{W}_i,w\cdot\hat{C}_i\rangle}\right)\\ \ \ \mathrm{Memory}(\mathcal{N})\leq\text{target memory}\\ \ \ \mathrm{FLOPS}(\mathcal{N})\leq\text{target flops}$

$\hat{\mathcal{F}}$ などハットのついた変数は初期のベースラインモデルのパラメータを表す．

Scaling Dimensions

各変数とモデルのスケールアップの関係を考える． $d$ はモデルの性能を上げる上では一般的に大きくすることを考えるが，深いモデルの学習には課題がつきまとう．また，batch norm等のテクニックで学習できたとしても性能向上という上ではある一定までしか恩恵がない．というのもResNetの実験においてResNet-101からResNet1000に変えたところで精度は（良くなっても）そこまで大きく向上しなかったという実例がある．

$w$ に関しては，大きくすることでより詳細な特徴を得ることができるとともに学習が容易になるという研究報告がある．一方で $w$ がとても大きく $d$ が小さいモデルはより高次の特徴を得るのが難しいとされている．

$r$ に関して，物体検出や単純な分類問題においても大きな値を使った方が精度向上が見込まれ，最近では224x224ではなく299x299や331x331，ImageNetのSoTAであるGPipeは480x480など高解像度化している．ただ単純に大きくしても精度がサチってただ計算コストが増すだけになるらしい．

上記の話で得られる知見としては， $w,d,r$ を大きくすればモデルの精度は向上するが大きすぎると逆に精度を劣化させるということ．これらの内容を表す実験結果は論文中のFigure 3にあるので要参照．

Compound Scaling

基本的に $w,d,r$ は独立ではない．つまり $r$ を大きくした場合，その分 $d$ を大きくすることで受容野を広げ特徴を捕らえやすくなることが直感的に言える．そこでこの直感を検証するため $w$ を固定で $d,r$ の組み合わせを変えて実験を行なった．結果は論文中のFigure 4にあって直感通りの結果となった．この結果から，精度と効率を追求するためには $w,d,r$ のバランスを調整することが重要ということが言え，定式化された問題の妥当性が言える．

ちなみに $w,d,r$ のバランスをとって良いモデルを作るという先行研究はすでにあったらしいがどれもマニュアルのチューニングとのこと．ここでは $w,d,r$ を一様にスケールする係数 $\phi$ を使った以下の新しいcompound scaling methodを提案する．

$\displaystyle \mathrm{depth}: d=\alpha^\phi\\ \mathrm{width}: w=\beta^\phi\\ \mathrm{resolution}: r=\gamma^\phi\\ s.t.\:\alpha\cdot\beta^2\cdot\gamma^2\approx 2\\ \alpha\geq 1,\beta\geq 1,\gamma\geq 1$

$\alpha,\beta,\gamma$ は定数でグリッドサーチで決定するとのこと． $\phi$ は直感的には計算コスト等を考慮したユーザー依存の変数．ここで $\alpha\cdot\beta^2\cdot\gamma^2\approx 2$ という条件は，モデルのFLOPSが $(\alpha\cdot\beta^2\cdot\gamma^2)^\phi$ で計算されることから， $\phi$ を変えた時のFLOPSを $2^\phi$ で見積もれるようにするためとのこと．

EfficientNet Architecture

ここから本題．今回の探索方法ではモデルの1層の演算 $\hat{\mathcal{F}_i}$ の構成は不変なため，ベースラインの設計がかなり重要．そこで既存のneural architecture searchを使って精度と速度を最適化したベースラインを作ったとのこと．最適化のゴールは $ACC(m)\times [FLOPS(m)/T]^w$ で， $ACC(m),FLOPS(m)$ がモデルの精度と速度， $w$ は $w=-0.07$ のハイパーパラメータ， $T$ はターゲットとなるFLOPS．結果できたのが論文のTable 1に記述されているEfficientNet-B0．主要なモジュールとしてMobileNet-v2等で使われているmobile inverted bottleneck MBConvが使われていることが特徴とのこと．

EfficientNet-B0からはじめて探索していく戦略として，(1) $\phi=1$ に固定して $\alpha,\beta,\gamma$ をグリッドサーチ，(2) $\alpha,\beta,\gamma$ を固定して $\phi$ を任意のスケールで変更という2ステップ．結果として $\alpha=1.2,\beta=1.1,\gamma=1.15$ が得られ， $\phi$ を変えてEfficientNet-B1からEfficientNet-B7まで作ったとのこと．