Feature Denoising for Improving Adversarial Robustnessを読んだのでメモ

はじめに

Feature Denoising for Improving Adversarial Robustnessを読んだのでメモ．

気持ち

Figure 1の可視化がモチベーションの全てで，adversarial noiseを加えた画像は元の画像に比べて，CNNの中間的な特徴マップに一種のノイズが含まれる．そのため，特徴マップ上でのノイズ除去を行えばadversarial robustnessが向上するだろうというもの．

Denoising block

基本的な構造は，何らかのdenoisingを特徴マップに施し，1x1Convをした後に，denoising前の特徴マップと足し合わせるというもの．skip-connectionの構造が重要な信号を保持する役目を持ち，denoisingで情報が消え過ぎるのを防ぐとのこと．モデルにこのblockを導入してend-to-endで学習を行う．

Denoisingには，non-local means，bilateral filter，mean filter，median filterなど種々の方法を適用して実験を行なっている．各々の方法はそれなりに基本的なこと&難しい話ではないので割愛．

Adversarial training

Adversarial trainingは敵対的な摂動を与えた画像を学習に利用するもので，ここではadversarial imageを作るのにProjected Gradient Descent (PGD)を利用したとのこと．

実験

実験はResNet-101/152を使って行い，denoising blockは各residual blockの最後に加えたとのこと．なので全部で4つのdenoting blockが入る．

論文中で比較しているstate-of-the-artな手法（ALP）と比べ物にならないくらい頑健．一応若干ながら単純な精度も向上する．

まとめ

また目の付け所がうまいなという感じの論文だった．Adversarial Attackはあまり勉強したことないのでよくわからないが，手法が単純かつベースの精度も下げないのはかなり強力な気がする．