EasyCV recurrence self-supervised algorithm-FastConvMAE

ガイド
自己教師あり学習は、大量のラベルなしデータを用いて表現学習を行い、特定の下流タスクでパラメータをファインチューニングする手法であり、画像タスクにおける多大なラベリング作業を大幅に削減し、人件費を節約できます。近年、自己教師あり学習はコンピュータビジョン分野で注目を集め、SimCLR、MoCo、SwAV、DINO、MoBY、MAE など数々の研究成果が CV 分野で登場しています。中でも MAE の性能は特に卓越しており、そのシンプルかつ効率的な特性に多くの研究者が注目し、MixMIM や VideoMAE などの改良研究が進められてきました。MAE の詳細な解説については、過去の記事「MAE 自己教師ありアルゴリズム入門および EasyCV による再現」をご参照ください。
ConvMAE は、Shanghai Artificial Intelligence Laboratory と mmlab が NeurIPS 2022 で共同発表した研究です。MAE と比較して、同じエポック数の事前学習で、ImageNet-1K データセットのファインチューニング精度が 1.4% 向上し、COCO 2017 データセットでは 25 エポックのファインチューニングで、100 エポックファインチューニングした MAE と比較して AP box が 2.9 向上、AP mask が 2.2 向上し、セマンティックセグメンテーションタスクでは MAE の mIoU より 3.6% 高い性能を達成しています。さらに、著者は FastConvMAE を提案し、トレーニング性能をさらに最適化しています。わずか 50 エポックの事前学習で、ImageNet ファインチューニングの精度が MAE の 1600 エポック事前学習の精度を 0.77 ポイント上回りました（83.6 / 84.37）。検出タスクでも、ViTDet や Swin の精度を凌駕しています。
EasyCV は Alibaba がオープンソースで提供する PyTorch ベースのオールインワン視覚アルゴリズムモデリングツールであり、自己教師あり学習とトランスフォーマー技術を中核として、画像分類、メトリック学習、物体検出、インスタンス / セマンティック / パノラマセグメンテーション、キーポイント検出など、主流の視覚モデリングタスクを幅広くカバーしています。優れた使いやすさとスケーラビリティを備え、パフォーマンスチューニングにも注力し、より多く、より速く、より強力なアルゴリズムをコミュニティに提供することを目指しています。
最近、FastConvMAE の研究成果が EasyCV フレームワーク内で初めてオープンソース化されました。本記事では、ConvMAE と FastConvMAE の主な研究成果と対応するコード実装について詳しく紹介し、最後に FastConvMAE の事前学習と下流タスクのファインチューニング方法について詳細なチュートリアル例を提供します。
ConvMAE
ConvMAE は、Shanghai Artificial Intelligence Laboratory と mmlab が NeurIPS 2022 で共同発表した研究です。ConvMAE の提案は、ローカルな帰納的バイアスとマルチスケールピラミッド構造を使用することで、MAE トレーニングを通じてより優れた特徴表現を学習できることを実証しています。本研究では以下を提案しています：
1. ブロックワイズマスク戦略を使用して計算効率を保証する。
2. エンコーダーからマルチスケール特徴を出力し、詳細かつ粗粒度の画像情報の両方を捉える。
原著論文：https://arxiv.org/abs/2205.03892
実験結果は、上記 2 つの戦略が簡潔かつ効果的であり、ConvMAE が複数の視覚タスクで MAE と比較して大幅に改善されていることを示しています。ConvMAE-Base と MAE-Base の比較を例に挙げると：画像分類タスクでは、ImageNet-1K データセットのファインチューニング精度が 1.4% 向上。物体検出タスクでは、COCO 2017 の 25 エポックファインチューニングで AP box が 53.2%、AP mask が 47.1% に達し、100 エポックファインチューニングした MAE-Base をそれぞれ 2.9%、2.2% 上回っています。セマンティックセグメンテーションタスクでは、UpperNet ネットワークヘッドを使用し、ConvMAE-Base の ADE20K での mIoU が 51.7% に達し、MAE-Base より 3.6% 高い性能を示しています。
ConvMAE の全体フロー
MAE とは異なり、ConvMAE のエンコーダーは入力画像を段階的にマルチスケールのトークン埋め込みに抽象化し、デコーダーはマスクされたトークンに対応するピクセルを再構成します。前半の高解像度なトークン埋め込みには畳み込みブロックを使用してローカルな特徴を符号化し、後半の低解像度なトークン埋め込みにはトランスフォーマーを使用して大域的な情報を集約します。したがって、ConvMAE のエンコーダーは異なる段階でローカルとグローバルの両方の情報を同時に取得し、マルチスケール特徴を生成できます。
BEiT や SimMIM などの既存のマスク付きオートエンコーディングフレームワークが採用するマスク戦略は、ConvMAE に直接使用できません。後段のトランスフォーマー段階ですべてのトークンを保持する必要があるためです。これにより、大規模モデルの事前学習における計算コストが増大し、マスクされたトークンを省略することによる MAE のトランスフォーマーエンコーダーでの効率性の利点が失われます。さらに、畳み込み - トランスフォーマー構造のエンコーダーを直接事前学習に使用すると、ランダムマスクによって畳み込み部分から事前学習情報が漏洩し、事前学習モデルの品質が低下します。
これらの問題に対処するため、ConvMAE は畳み込みとトランスフォーマーのハイブリッドアーキテクチャを提案しています。ConvMAE はブロックワイズマスキング戦略を採用しています。まず、後段で取得されるトランスフォーマートークンでランダムにマスクを生成し、そのマスクの固定位置を段階的にアップサンプリングして前半の畳み込み段階の高解像度に対応させます。これにより、後段トークンをマスク済みトークンと可視トークンに完全に分離でき、MAE のスパースエンコーダーによる計算効率の利点を継承できます。
以下では、エンコーダー、マスク戦略、デコーダーについてそれぞれ説明します。
エンコーダー
全体フローチャートに示すように、エンコーダーは 3 つの段階で構成され、各段階が出力する特徴次元は H/4 × W/4、H/8 × W/8、H/16 × W/16 です。ここで H × W は入力画像の解像度です。最初の 2 つは畳み込み段階で、畳み込みモジュールを使用して入力をトークン埋め込み E1 ∈ R^(H/4 × W/4 × C1) および E2 ∈ R^(H/8 × W/8 × C2) に変換します。畳み込みモジュールは自己注意操作を 5 × 5 の畳み込みに置き換えています。最初の 2 段階の受容野は比較的小さく、主に画像のローカル特徴を捉えます。第 3 段階ではトランスフォーマーモジュールを使用して粗粒度特徴を融合し、受容野を画像全体に拡大して、トークン埋め込み E3 ∈ R^(H/16 × W/16 × C3) を得ます。各段階間では、ストライド 2 の畳み込みを使用してトークンをダウンサンプリングします。
CPT、Container、Uniformer、CMT、Swin などの他のトランスフォーマー含有アーキテクチャでは、第 1 段階で相対位置エンコーディングまたはゼロパディング畳み込みを使用して絶対位置エンコーディングを置き換えますが、著者は第 3 のトランスフォーマー段階で絶対位置エンコーディングを使用すると最高の性能が得られることを発見しました。エンコーダーからクラストークンも削除されています。
マスク戦略
MAE や BEiT などは入力パッチに対してランダムマスクを使用しますが、同じ戦略を ConvMAE エンコーダーに直接適用することはできません。ステージ 1 の H/4 × W/4 のトークンから独立してランダムにマスクを描画すると、ダウンサンプリング後のステージ 3 のトークンがほぼすべて部分的な可視情報を持つことになり、エンコーダーがスパースではなくなります。そのため、著者はステージ 3 の入力トークンから同じ比率（たとえば 75%）でマスクを生成し、そのマスクを 2 倍および 4 倍にアップサンプリングして、それぞれステージ 2 およびステージ 1 のマスクとして使用することを提案しています。これにより、ConvMAE は 3 つのステージすべてで少数（たとえば 25%）の可視トークンだけを持つことができ、事前学習時のエンコーダーの効率が保たれます。デコーダーのタスクは同じであり、エンコーディング過程でマスクされたトークンを再構成することです。
同時に、最初の 2 ステージでの 5×5 畳み込み操作は、マスクされたパッチのエッジ部分で不可視トークンの再構成答えを漏洩させます。この状況を回避し事前学習の品質を保証するため、著者は最初の 2 ステージでマスク付き畳み込みを使用し、マスクされた領域がエンコーディング過程に参加しないようにしています。
デコーダー
元の MAE デコーダーの入力は、エンコーダーの出力とマスクされたトークンを受け取り、積層トランスフォーマーブロックを通じて画像再構成を行います。ConvMAE エンコーダーは、詳細かつ粗粒度の画像情報の両方を捉えながらマルチスケール特徴 E1、E2、E3 を得ます。より良い事前学習のため、著者は E1 と E2 をストライド 4 およびストライド 2 の畳み込みを通じて E3 と同じサイズにダウンサンプリングし、マルチスケール特徴融合を行った後、線形レイヤーを通じてデコーダーへの最終的な可視トークンの入力を得ます。目的関数は MAE と同じです。マスクされたピクセル値の予測ベクトルとの平均二乗誤差損失のみを計算し、マスクされたパッチの再構成のみを考慮します。
下流タスク
事前学習後、ConvMAE は検出タスクおよびセグメンテーションタスク向けのマルチスケール特徴を出力できます。
検出タスクでは、まずステージ 3 の出力特徴 E3 に 2×2 の最大プーリングを適用して E4 を得ます。ConvMAE ステージ 3 には 11 層の自己注意レイヤー（ConvMAE-Base）があるため、計算コストが過大です。著者は ViT のベンチマークを参照し、ステージ 3 の第 1、4、7、11 層以外のすべてのグローバル自己注意レイヤーをウィンドウサイズ 7×7 のローカル自己注意レイヤーに置き換えました。修正済みローカル自己注意は事前学習済みのグローバル自己注意で初期化されます。グローバル相対位置バイアスはグローバルトランスフォーマーブロック間で共有され、ローカル相対位置バイアスはローカルトランスフォーマーブロック間で共有されるため、ステージ 3 の計算量と GPU メモリオーバーヘッドを大幅に削減できます。その後、マルチスケール特徴 E1、E2、E3、E4 を MaskRCNN ヘッドに送信して物体検出を行います。
分割タスクはステージ 3 の構造を保持します。
ベンチマーク
画像分類
ConvMAE は ImageNet-1K をベースに、入力トークンの 25% をマスクドロップアウトして事前学習を行います。デコーダー部分は 8 層のトランスフォーマーで、埋め込み次元は 512、ヘッド数は 12 です。事前学習パラメータと分類ファインチューニング結果は以下の通りです：
BEiT は 300 エポックの事前学習で、ファインチューニング精度が 83.0%、リニアプロービング精度が 37.6% に達しました。ConvMAE と比較すると、ConvMAE はわずか 25% のトークンと軽量なデコーダーで、ファインチューニング精度が 85%、リニアプロービング精度が 70.9% に達します。元の MAE と比較すると、同じ 1600 エポックの事前学習で ConvMAE は MAE より 1.4 ポイント高い精度です。SimMIM（バックボーンは Swin-B）と比較しても、1 ポイント向上しています。
検出
著者は Mask-RCNN のバックボーンを ConvMAE に置き換え、ConvMAE の事前学習モデルをロードして COCO データセットを訓練しました。
ViT が COCO データセットで 100 エポックファインチューニングした結果と比較して、ConvMAE はわずか 25 エポックのファインチューニングで APbox と APmask をそれぞれ 2.9 ポイントと 2.2 ポイント向上させました。
ViTDet や MIMDet と比較して、ConvMAE は少ないファインチューニングエポックと少ないパラメータ数で、それぞれ 2.0% と 1.7% の性能で上回っています。
Swin や MViTv2 と比較して、APbox / APmask でそれぞれ 4.0% / 3.6% と 2.2% / 1.4% 高い性能を達成しています。
セグメンテーション
著者は UpperNet のバックボーンを ConvMAE に置き換え、ConvMAE の事前学習モデルをロードして ADE20K データセットを訓練しました。
結果から、DeiT、Swin、MoCo-v3 などのネットワークと比較して ConvMAE がより高い性能（51.7%）を達成したことがわかります。ConvMAE のマルチスケール特徴が、事前学習バックボーンと下流ネットワーク間の転移ギャップを大幅に縮小したことを示しています。
Fast ConvMAE
ConvMAE は分類、検出、セグメンテーションなどの下流タスクの精度を向上させ、事前学習とファインチューニングの差異問題を解決しましたが、モデルの事前学習には依然として時間がかかります。ConvMAE の結果では 1600 エポックの事前学習を行っていたため、著者は ConvMAE を基にさらなる性能最適化を行い、Fast ConvMAE を提案しました。FastConvMAE はマスク相補性とデコーダー融合の仕組みを提案し、高速なマスクモデリングを実現して、事前学習時間をさらに短縮しました。従来の 1600 エポックの事前学習を 50 エポックに短縮しています。FastConvMAE の公式論文は著者により今後発表される予定です。
まず、FastConvMAE はデコーダーを統合した Mixture of Reconstructor（MoR）を革新的に設計し、マスクされたパッチが異なるトークナイザーから相補的な情報を学習できるようにしました。これには、EMA の自己アンサンブル特性、DINO の類似性識別能力、CLIP のマルチモーダル知識などが含まれます。MoR は主に Partially-Shared Decoder（PS-Decoder）と Mixture of Tokenizer（MoT）の 2 つの部分で構成されます。PS-Decoder は異なるトークナイザーの知識間の勾配衝突を回避できます。MoT は異なるトークンを生成し、マスクパッチのターゲットとして使用されます。
同時に、マスク部分では相補的戦略を採用しています。従来のマスクは毎回たとえば 25% のトークンだけを残していましたが、FastConvMAE はマスクを 4 つの部分に分割し、各部分が 25% を残し、4 つのマスクが互いに相補的になっています。これにより、1 枚の画像を 4 枚の画像に分割して学習するのと同じ効果であり、理論上 4 倍の学習効果を実現します。