2020-03-01から1ヶ月間の記事一覧
はじめに Meta Pseudo Labelsを読んだのでメモ． policy gradientを使ったteacher networkの学習により半教師あり学習の精度向上． 気持ち 半教師あり学習では何らかの出力とラベルなしデータの出力のconsistencyをコストとする手法が多く，何らかの出力(tar…
はじめに SOLOv2: Dynamic, Faster and Strongerを読んだのでメモ． Single-stageでinstance segmentationを行うSOLOを精度，速度において改良． 具体的には，個のマスクを生成する部分を畳み込みのカーネルの重みを動的に決定することで精度を向上． Boundi…
はじめに Momentum Contrast for Unsupervised Visual Representation Learningを読んだのでメモ． FAIRのKaiming Heの教師なし表現学習の論文． どうでもいいが，FAIRからの論文は研究のモチベーションから手法の提案まで非常に明快に書かれてて読みやすく…
はじめに FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidenceを読んだのでメモ． FixMatch FixMatchは基本的にpseudo-labelingという感じ． ReMixMatchと同様にweak data augmentationを使い，擬似ラベルを作りstrong data au…
はじめに REMIXMATCH: SEMI-SUPERVISED LEARNING WITH DISTRIBUTION ALIGNMENT AND AUGMENTATION ANCHORINGを読んだのでメモ． MixMatchにdistribution alignmentとaugmentation anchoringの二つのテクニックを取り入れて改善したというもの． MixMatchにつ…
はじめに LEARNING LATENT PERMUTATIONS WITH GUMBEL-SINKHORN NETWORKSを読んだのでメモ． Permutationやmatchingの問題をsinkhorn normalizationを利用してend-to-endに解くモデルを提案． Sinkhorn iterationは以前ブログにまとめたDeep Learning on Grap…
はじめに Fast AutoAugmentを読んだのでメモ． とにかく計算時間のかかるAutoAugmentを高速(CIFAR-10:5000->3.5, SVHN:1000->1.5, ImageNet:15000->450 GPU hours)にした論文． Fast AutoAugment Search Space まずを入力空間上のaugmentation operations の…
はじめに AutoAugment:Learning Augmentation Strategies from Dataを読んだのでメモ． 学習対象のデータに合わせて最適なdata augmentationの方法を強化学習的に得ようという試み． 得られたpolicyで学習されたモデルは現状のSoTAモデルを上回る精度を達成…
