2020-01-01から1年間の記事一覧
はじめに SRFlow: Learning the Super-Resolution Space with Normalizing Flowを読んだのでメモ． 従来のdeep super resolutionが決定的な出力をすることに対し，超解像はそもそも決定的に決まる問題ではないという考えからconditionalなgenerative flowを…
はじめに Semi-Supervised Semantic Segmentation with Cross-Consistency Trainingを読んだのでメモ． semantic segmentationのための半教師あり学習手法． Cross-Consistency Training semantic segmentationでは入力の空間では半教師あり学習のcluster as…
はじめに Bootstrap Your Own Latent A New Approach to Self-Supervised Learningを読んだのでメモ． とにかくcontrastive learningのnegativeとの比較というものをなくしたいという思い． ただcontrastive learningにおいてnegative examplesとの比較をな…
はじめに BATCHENSEMBLE: AN ALTERNATIVE APPROACH TO EFFICIENT ENSEMBLE AND LIFELONG LEARNINを読んだのでメモ． 気持ち 簡単にモチベーションを言えば，通常のモデルアンサンブルはアンサンブルする分だけモデルを個別に用意する必要があるが学習にも推…
はじめに Prototypical Contrastive Learning of Unsupervised Representationsを読んだのでメモ． 気持ち 近年流行しているContrastive Learning（例えばSimCLR）はpositive pairとnegative pariを元となるデータ点が等しいかどうかで識別的に分類すること…
はじめに SELF-LABELLING VIA SIMULTANEOUS CLUSTERING AND REPRESENTATION LEARNINGを読んだのでメモ． K-Meansクラスタリングによりデータにラベル付け(self-labeling)を行うDeepClusterに対し，self-labelingで生成されたラベルとモデルの出力間のクロス…
はじめに RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Cloudsを読んだのでメモ． LiDARデータなど，大量の点群データ(オーダー)に対して従来より高速にsemantic segmentationをするモデルの提案． RandLA-Net 提案するモデルは点群を…
はじめに SampleNet: Differentiable Point Cloud Samplingを読んだのでメモ． Neural Netに組み込んでend-to-endで学習可能な点群のサンプリングを提案． Method 全体の構造はFig. 3の通り． 課題として点の三次元入力から点をサンプリングする． 提案するS…
はじめに Supervised Contrastive Learningを読んだのでメモ． 通常，教師なし表現学習で使われるcontrastive learningを教師あり学習に適用した論文. 通常のsoftmax+cross entropyに比べハイパーパラメータの設定に対し鈍感(ある程度調整が雑でも動く)かつ…
はじめに A Simple Framework for Contrastive Learning of Visual Representationsを読んだのでメモ. Method 手法としては近年の半教師あり学習のconsistency regularizationと似た発想． 従来のcontrastive lossではポジティブペアの片割れとしていわゆる’…
はじめに PointAugment: an Auto-Augmentation Framework for Point Cloud Classificationを呼んだのでメモ． Point Cloudに対するAutoAugment． ただAutoAugmentというが，originalのAutoAugmentとは大きく異なり，フレームワークとしては データ毎にdata a…
はじめに Meta Pseudo Labelsを読んだのでメモ． policy gradientを使ったteacher networkの学習により半教師あり学習の精度向上． 気持ち 半教師あり学習では何らかの出力とラベルなしデータの出力のconsistencyをコストとする手法が多く，何らかの出力(tar…
はじめに SOLOv2: Dynamic, Faster and Strongerを読んだのでメモ． Single-stageでinstance segmentationを行うSOLOを精度，速度において改良． 具体的には，個のマスクを生成する部分を畳み込みのカーネルの重みを動的に決定することで精度を向上． Boundi…
はじめに Momentum Contrast for Unsupervised Visual Representation Learningを読んだのでメモ． FAIRのKaiming Heの教師なし表現学習の論文． どうでもいいが，FAIRからの論文は研究のモチベーションから手法の提案まで非常に明快に書かれてて読みやすく…
はじめに FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidenceを読んだのでメモ． FixMatch FixMatchは基本的にpseudo-labelingという感じ． ReMixMatchと同様にweak data augmentationを使い，擬似ラベルを作りstrong data au…
はじめに REMIXMATCH: SEMI-SUPERVISED LEARNING WITH DISTRIBUTION ALIGNMENT AND AUGMENTATION ANCHORINGを読んだのでメモ． MixMatchにdistribution alignmentとaugmentation anchoringの二つのテクニックを取り入れて改善したというもの． MixMatchにつ…
はじめに LEARNING LATENT PERMUTATIONS WITH GUMBEL-SINKHORN NETWORKSを読んだのでメモ． Permutationやmatchingの問題をsinkhorn normalizationを利用してend-to-endに解くモデルを提案． Sinkhorn iterationは以前ブログにまとめたDeep Learning on Grap…
はじめに Fast AutoAugmentを読んだのでメモ． とにかく計算時間のかかるAutoAugmentを高速(CIFAR-10:5000->3.5, SVHN:1000->1.5, ImageNet:15000->450 GPU hours)にした論文． Fast AutoAugment Search Space まずを入力空間上のaugmentation operations の…
はじめに AutoAugment:Learning Augmentation Strategies from Dataを読んだのでメモ． 学習対象のデータに合わせて最適なdata augmentationの方法を強化学習的に得ようという試み． 得られたpolicyで学習されたモデルは現状のSoTAモデルを上回る精度を達成…
はじめに Object Detection as a Positive-Unlabeled Problemを読んだのでメモ． 気持ち 物体検出のデータセットは正解ラベルが抜けていることが多々ある（例えばFig. 1）．そして従来の物体検出手法は学習中ラベルなし領域全てを背景領域として扱ってしまう…
