はじめに Bootstrap Your Own Latent A New Approach to Self-Supervised Learningを読んだのでメモ． とにかくcontrastive learningのnegativeとの比較というものをなくしたいという思い． ただcontrastive learningにおいてnegative examplesとの比較をな…

はじめに Prototypical Contrastive Learning of Unsupervised Representationsを読んだのでメモ． 気持ち 近年流行しているContrastive Learning（例えばSimCLR）はpositive pairとnegative pariを元となるデータ点が等しいかどうかで識別的に分類すること…

はじめに SELF-LABELLING VIA SIMULTANEOUS CLUSTERING AND REPRESENTATION LEARNINGを読んだのでメモ． K-Meansクラスタリングによりデータにラベル付け(self-labeling)を行うDeepClusterに対し，self-labelingで生成されたラベルとモデルの出力間のクロス…

はじめに Supervised Contrastive Learningを読んだのでメモ． 通常，教師なし表現学習で使われるcontrastive learningを教師あり学習に適用した論文. 通常のsoftmax+cross entropyに比べハイパーパラメータの設定に対し鈍感(ある程度調整が雑でも動く)かつ…

はじめに A Simple Framework for Contrastive Learning of Visual Representationsを読んだのでメモ. Method 手法としては近年の半教師あり学習のconsistency regularizationと似た発想． 従来のcontrastive lossではポジティブペアの片割れとしていわゆる’…

はじめに Momentum Contrast for Unsupervised Visual Representation Learningを読んだのでメモ． FAIRのKaiming Heの教師なし表現学習の論文． どうでもいいが，FAIRからの論文は研究のモチベーションから手法の提案まで非常に明快に書かれてて読みやすく…

はじめに Learning deep representations by mutual information estimation and maximizationを読んだのでメモ．Abstractの最後の１文で"DIM opens new avenues for unsupervised learn- ing of representations and is an important step towards flexible…