はじめに SRFlow: Learning the Super-Resolution Space with Normalizing Flowを読んだのでメモ． 従来のdeep super resolutionが決定的な出力をすることに対し，超解像はそもそも決定的に決まる問題ではないという考えからconditionalなgenerative flowを…
はじめに Semi-Supervised Semantic Segmentation with Cross-Consistency Trainingを読んだのでメモ． semantic segmentationのための半教師あり学習手法． Cross-Consistency Training semantic segmentationでは入力の空間では半教師あり学習のcluster as…
はじめに Bootstrap Your Own Latent A New Approach to Self-Supervised Learningを読んだのでメモ． とにかくcontrastive learningのnegativeとの比較というものをなくしたいという思い． ただcontrastive learningにおいてnegative examplesとの比較をな…
はじめに BATCHENSEMBLE: AN ALTERNATIVE APPROACH TO EFFICIENT ENSEMBLE AND LIFELONG LEARNINを読んだのでメモ． 気持ち 簡単にモチベーションを言えば，通常のモデルアンサンブルはアンサンブルする分だけモデルを個別に用意する必要があるが学習にも推…
はじめに Prototypical Contrastive Learning of Unsupervised Representationsを読んだのでメモ． 気持ち 近年流行しているContrastive Learning（例えばSimCLR）はpositive pairとnegative pariを元となるデータ点が等しいかどうかで識別的に分類すること…
はじめに SELF-LABELLING VIA SIMULTANEOUS CLUSTERING AND REPRESENTATION LEARNINGを読んだのでメモ． K-Meansクラスタリングによりデータにラベル付け(self-labeling)を行うDeepClusterに対し，self-labelingで生成されたラベルとモデルの出力間のクロス…
はじめに RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Cloudsを読んだのでメモ． LiDARデータなど，大量の点群データ(オーダー)に対して従来より高速にsemantic segmentationをするモデルの提案． RandLA-Net 提案するモデルは点群を…
はじめに SampleNet: Differentiable Point Cloud Samplingを読んだのでメモ． Neural Netに組み込んでend-to-endで学習可能な点群のサンプリングを提案． Method 全体の構造はFig. 3の通り． 課題として点の三次元入力から点をサンプリングする． 提案するS…
はじめに Supervised Contrastive Learningを読んだのでメモ． 通常，教師なし表現学習で使われるcontrastive learningを教師あり学習に適用した論文. 通常のsoftmax+cross entropyに比べハイパーパラメータの設定に対し鈍感(ある程度調整が雑でも動く)かつ…
はじめに A Simple Framework for Contrastive Learning of Visual Representationsを読んだのでメモ. Method 手法としては近年の半教師あり学習のconsistency regularizationと似た発想． 従来のcontrastive lossではポジティブペアの片割れとしていわゆる’…
はじめに PointAugment: an Auto-Augmentation Framework for Point Cloud Classificationを呼んだのでメモ． Point Cloudに対するAutoAugment． ただAutoAugmentというが，originalのAutoAugmentとは大きく異なり，フレームワークとしては データ毎にdata a…
はじめに Meta Pseudo Labelsを読んだのでメモ． policy gradientを使ったteacher networkの学習により半教師あり学習の精度向上． 気持ち 半教師あり学習では何らかの出力とラベルなしデータの出力のconsistencyをコストとする手法が多く，何らかの出力(tar…
はじめに SOLOv2: Dynamic, Faster and Strongerを読んだのでメモ． Single-stageでinstance segmentationを行うSOLOを精度，速度において改良． 具体的には，個のマスクを生成する部分を畳み込みのカーネルの重みを動的に決定することで精度を向上． Boundi…
はじめに Momentum Contrast for Unsupervised Visual Representation Learningを読んだのでメモ． FAIRのKaiming Heの教師なし表現学習の論文． どうでもいいが，FAIRからの論文は研究のモチベーションから手法の提案まで非常に明快に書かれてて読みやすく…
はじめに FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidenceを読んだのでメモ． FixMatch FixMatchは基本的にpseudo-labelingという感じ． ReMixMatchと同様にweak data augmentationを使い，擬似ラベルを作りstrong data au…
はじめに REMIXMATCH: SEMI-SUPERVISED LEARNING WITH DISTRIBUTION ALIGNMENT AND AUGMENTATION ANCHORINGを読んだのでメモ． MixMatchにdistribution alignmentとaugmentation anchoringの二つのテクニックを取り入れて改善したというもの． MixMatchにつ…
はじめに LEARNING LATENT PERMUTATIONS WITH GUMBEL-SINKHORN NETWORKSを読んだのでメモ． Permutationやmatchingの問題をsinkhorn normalizationを利用してend-to-endに解くモデルを提案． Sinkhorn iterationは以前ブログにまとめたDeep Learning on Grap…
はじめに Fast AutoAugmentを読んだのでメモ． とにかく計算時間のかかるAutoAugmentを高速(CIFAR-10:5000->3.5, SVHN:1000->1.5, ImageNet:15000->450 GPU hours)にした論文． Fast AutoAugment Search Space まずを入力空間上のaugmentation operations の…
はじめに AutoAugment:Learning Augmentation Strategies from Dataを読んだのでメモ． 学習対象のデータに合わせて最適なdata augmentationの方法を強化学習的に得ようという試み． 得られたpolicyで学習されたモデルは現状のSoTAモデルを上回る精度を達成…
はじめに Object Detection as a Positive-Unlabeled Problemを読んだのでメモ． 気持ち 物体検出のデータセットは正解ラベルが抜けていることが多々ある（例えばFig. 1）．そして従来の物体検出手法は学習中ラベルなし領域全てを背景領域として扱ってしまう…
はじめに SOLO: Segmenting Objects by Locationsを読んだのでメモ． Instance Segmentationをoneshotかつ高精度におこなったというもの． YOLO 物自体は単純で，FPNによるobject detectionのbb生成側のブランチをインスタンスマスクに変えたという感じ． こ…
はじめに Differentiable Convex Optimization Layersについて調べたのでメモ． 注意として凸最適問題やそのソルバーには一切精通していないため，お気持ちとライブラリの簡単な使い方だけ説明する． 気持ちはどうでもいいから使い方だけという人は後半へ． …
はじめに Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networksを読んだのでメモ． BatchNormをoutperformする非バッチ依存の正規化層を提案する論文． 手法 前提として入力データはバッチ次元を持…
はじめに Adversarial Examples Improve Image Recognitionを読んだのでメモ． 端的にはadversarial examplesを頑健性向上などではなく単純なモデルの精度向上に使うというもの． 手法 手法としては，通常のデータ(clean examples)と敵対的データ(adversaria…
はじめに Point-Voxel CNN for Efficient 3D Deep Learningを読んだのでメモ． 気持ち 3Dデータに対するdeep learning(特に畳み込み系)は計算コストが高いことが知られていて，エッジデバイス等での実装は不向きであるなので軽いかつ高性能なモデルを作りた…
はじめに Prescribed Generative Adversarial Networksを読んだのでメモ． 気持ち GANの問題の一つであるmode collapseとモデル分布(生成分布)が陽に定義されておらず尤度等の計算ができないという2つの問題にアプローチした論文．mode collapseはモデルの学…
はじめに Unsupervised Object Segmentation by Redrawingを読んだのでメモ．タイトルの通りunsupervisedなobject segmentationの論文． Method セグメンテーションのプロセスを定義する．は画像が与えられた時，各ピクセルに個のラベルのどれかを割り当てる…
はじめに Improving Discrete Latent Representations With Differentiable Approximation Bridgesを読んだのでメモ． 気持ち ニューラルネットの学習のために非連続な関数の勾配を近似/推論したいというもの．そのためにdifferentiable approximation bridg…
はじめに SinGAN: Learning a Generative Model from a Single Natural Imageを読んだのでメモ． 一言で言えば1枚の学習画像からGANを学習するという研究． Method 目標は一枚の学習画像のinternal statistics(1枚の画像が従う分布という理解)をGANによって…
はじめに SegSort: Segmentation by Discriminative Sorting of Segmentsを読んだのでメモ． 気持ち 従来のsemantic segmentationはピクセル毎のクラス分類問題として解決が試みられているが，人間はそうやっていないからもっと別なアプローチが必要だと言う…
