Random talk on visual object tracking: from principle to application

I. 視覚対象追跡とは

視覚対象追跡の定義

コンピュータビジョンの分野において、視覚対象追跡（以下、追跡と略します）の唯一の定義は存在しません。
一般的に、追跡の対象はビデオフレームまたは画像内の領域やオブジェクトであり、そのセマンティック情報（カテゴリなど）は含まれません。
この概念は「すべてを追跡する」と端的に表現されます。
同時に、工場の組立ライン監視における特定製品（部品など）の追跡のように、特定の場面であらかじめ既知の種類のオブジェクトを追跡する特殊なケースもあります。


多くの研究者が追跡に対して異なる解釈を示しています。
たとえば、「追跡とはビデオシーケンス内の関心領域を特定するプロセスである」[1]、あるいは「追跡とは、あるフレーム内のターゲットの状態（位置、サイズなど）を後続フレームで推定することである」[2]といった定義があります。
これらの定義は一見大きく異なるように見えますが、多くの共通点を持っています。
これらの共通点を抽出することで、追跡問題を以下のように定義します。


追跡とは、現在のフレームで定義された関心対象を、ビデオの後続フレーム内で見つけるプロセスである。


この定義は主に追跡の三つの側面に注目していることが分かります。
すなわち「見つける」「関心対象」「後続フレーム」です。
ここで言う現在のフレームは、ビデオ内のどのフレームでもあり得ることに注意してください。
一般的に、追跡はビデオの 2 フレーム目から開始され、1 フレーム目はターゲットの初期位置（グラウンドトゥルース）の指定に使用されます。
次に、ボルト選手の男子 100 メートル走の例を用いて、これら三つの側面を説明します。


ビデオの前のフレームでボルト選手の位置を見つけたと仮定します。
次に行うべきことは、現在フレームでボルト選手の位置を見つけ続けることです。
前述の通り、視覚は追跡問題（視覚対象追跡）の制約条件であり、利用可能な特性をもたらします。
ここでは、次の経験則を利用できます。
すなわち、同一ビデオ内において、同一オブジェクトのサイズと空間的位置は前後 2 フレーム間で劇的には変化しないということです [4]。
たとえば、次のような判断ができます。
現在フレームでのボルト選手の空間位置はおそらくトラック上であり、隣接する芝生上にいる可能性はほぼありません。
言い換えれば、現在フレームでのボルト選手の空間位置を知りたければ、トラック上にいくつかの候補位置を生成して探索すればよいのです。
上記のプロセスは、追跡における重要なサブ問題、すなわち候補生成（通常は候補ボックス生成と呼ばれます）につながります。


「関心対象」：ボルト選手をどう表現するか？


ボルト選手は画像内で最も背が高く、黄色と緑のユニフォームを着ています。
しかし、ボルト選手の「定義」には実は多くの高度に抽象的な情報が含まれていることを見落としていました。
たとえば「最も背が高い」「黄色と緑のユニフォーム」などです。
コンピュータビジョン分野では、これらの高度に抽象的な情報を通常「特徴」と呼びます。
コンピュータにとって、特徴がなければボルト選手は芝生やトラック、あるいは人間にとって意味を持つ画像内の他のオブジェクトと何ら変わりません。
したがって、コンピュータにボルト選手を追跡させるには、特徴表現/抽出が非常に重要なステップであり、追跡における二番目に重要なサブ問題です。


「後続フレーム」：ボルト選手を（他の選手から）どう識別するか？


ここでは、「後続フレーム」の問題を、前フレームの情報を利用して現在フレーム内のターゲットを識別する方法として定義します。
各「後続フレーム」でターゲットを追跡するだけでなく、連続するフレーム間の文脈関係が追跡に持つ重要性も強調しています。
直感的には、この問題の答えは非常に単純です。
現在フレーム内で、前フレームの追跡結果に最も類似したオブジェクトを見つけることです。
これにより、追跡における三番目の重要なサブ問題、すなわち意思決定が導かれます。
意思決定は追跡において最も重要なサブ問題であり、多くの研究者が最も注目している問題でもあります。
一般的に、意思決定は主にマッチング問題を解決します。
すなわち、現在フレーム内でターゲットの可能性があるオブジェクトを前フレームの追跡結果とマッチングし、最も類似度の高いオブジェクトを現在フレームの追跡結果として選択します。


まとめ

以上の三つのセクションで、追跡の基本原理における三つのサブ問題、すなわち候補ボックス生成、特徴表現/抽出、意思決定について説明しました。
これら三つのサブ問題は互いに独立していないことに注意が必要です。
意思決定の解決策に、より正確な候補ボックス生成やより抽象的な特徴抽出が含まれる場合もあり、エンドツーエンドの手法で追跡問題を解決して追跡システムやアルゴリズムの性能を向上させることもあります。
これは近年人気のディープラーニングベースの追跡アルゴリズムでよく見られるアプローチです [1]。


視覚対象追跡の応用

「視覚対象追跡にはどのような応用があるか？
」という問いに答える前に、まず学術研究の方法論における「なぜ」の問い、すなわち「なぜ視覚対象追跡を行うのか？
」について議論すべきです。


コンピュータビジョン分野における追跡の代表的な応用分野には、セキュリティ分野（車両追跡、ナンバープレート認識など）、監視分野（顔認識、歩容認識など）、巡回分野（UAV 追跡、ロボットナビゲーションなど）、新興のスマートライフ（ヒューマンコンピュータインタラクション、VR/AR など）、スマートシティ（交通モニタリングなど）、スマートインダストリー（遠隔医療など）が含まれます。
追跡問題の主な用途は以下のようにまとめられます。


追跡は主に、ビデオまたは連続画像内の任意のオブジェクトの空間位置、形状、サイズを、セマンティックな関連付けとともに取得するために使用されます。


検出アルゴリズムの補完として、ビデオまたはセマンティック的に関連する連続画像内のターゲットの空間位置を提供し、システム全体の計算複雑性を削減できます（たとえば、ビデオの 1 フレーム目で検出によりターゲットを特定し、後続フレームの一部でターゲット位置を決定した後、残りのフレームでは追跡を適用してターゲット位置を決定します）。

II. 視覚対象の追跡方法

視覚対象追跡のシステムアーキテクチャ

候補ボックス生成、特徴表現/抽出、意思決定は完全な論理チェーンを構成します。
具体的には、ビデオ内の各フレーム（通常は 1 フレーム目を除く）について、追跡システムのフローは図 3 のアーキテクチャで表せます。


図に示すように、追跡システムでは、前フレーム（追跡結果を含む、図中の入力フレーム）と現在フレームがシステム入力として使用され、それぞれ運動モデル、特徴モデル、観測モデルを通過して、最終的に現在フレームのターゲット位置の予測結果として出力されます。
候補ボックス生成、特徴表現/抽出、意思決定はそれぞれ上記三つのモデルで解決され、入出力の対応関係は表 1 に示されています。


図 3 の追跡システムアーキテクチャは仮説検定モデルを適用していることに注意してください。
このモデルは統計的推論で一般的に使用される手法で、基本原理は、まずシステムの特徴について何らかの仮定を置き、サンプリングの統計分布を分析することでその仮定を受け入れるか棄却するかを判定するものです。
このモデルは追跡問題にうまく適用でき、すなわち現在フレームのある候補フレームが予測ターゲットであると仮定し、特徴表現/抽出と意思決定を通じて、その候補フレームが現在フレームのターゲット位置の妥当な予測として使用できるかを判定します。


運動モデル - どこ？


1) ターゲットの表現

現在フレームにおけるターゲットのおおよその位置が、運動モデルで解決すべき主な問題、すなわち候補ボックス生成（どこ）です。
候補ボックスの生成方法を議論する前に、候補ボックスとは何かを明確にしておく必要があります。
候補ボックスはターゲットのバウンディングボックスに対する仮説です。
ここでの「表現」は特徴モデルの特徴表現とは異なり、ビデオフレームや画像内のターゲットをどのように「描写」するかに焦点を当てています。
代表的な表現方法は図 4 に示されています。


図に示すように、ターゲットは矩形（4c）、スケルトン（4f）、または輪郭（4h）で表現できます。
中でも 4(c) の矩形ボックス（すなわちバウンディングボックス）はコンピュータビジョン研究で広く使用されています。
この表現形式の利点には、生成の容易さ（最小外接矩形など）、表現の容易さ（左上隅 + 右下隅の座標、または中心点の座標 + 幅と高さ）、評価の容易さ（IoU (交差和比)、平行移動、比較など）が含まれます。
詳細は [5] を参照してください。


2) 経験則：サイズの変化が小さい、位置の移動が遅い

ターゲットの表現形式（候補ボックス）を決定した後、候補ボックスの生成方法に焦点を当てる必要があります。
多くの学術論文では、ディープラーニングのトレーニングプロセスにおける正例と負例の生成も候補ボックス生成と呼ばれることがありますが、この候補ボックス生成と本セクションで議論する候補ボックス生成は別の概念です。
この二つの候補ボックス生成方法の違いと、混乱を避けるための区別方法を説明します。


推論プロセス：図 3 のシステムフローは現在フレームのターゲット位置を予測するために使用され、これはあらゆる追跡アルゴリズムに必要です。
このプロセスでは、運動モデルが候補ボックスを生成し、特徴モデルを通じて特徴が表現/抽出されます。
特徴を含む候補ボックスは観測モデルに入力され、意思決定（ターゲット位置の予測）が行われます。
視覚対象追跡の定義セクションで述べたように、経験則は、同一ビデオ内において同一オブジェクトのサイズと空間的位置が前後 2 フレーム間で劇的に変化しないということです。
これに基づき、候補フレームの数と種類を大幅に削減できます。
すなわち、前フレームの予測ターゲット位置の付近に、おおよそのサイズの候補フレームのみを生成すればよいため、追跡システム全体の効率が向上します。


トレーニングプロセス：主に判別法ベースの追跡アルゴリズムで必要とされ、追跡システムがターゲットと非ターゲットを区別する方法を学習するプロセスに属します。
詳細は視覚対象追跡のアルゴリズム分類セクションで説明します。
このプロセスでは、いわゆる候補ボックス生成は「正例・負例生成」と呼ぶべきものです。
ここで、正例はターゲットに近似して理解でき、負例は背景やターゲットに似ているがターゲットではない他のオブジェクトなどの非ターゲット干渉項目として近似して理解できます。
この種のアルゴリズムの追跡システムが正例と負例を区別する能力を向上させるため、負例の生成は通常、前フレームの予測ターゲット位置付近だけでなく、画像全体から探索されます。


まとめると、候補フレーム生成は推論プロセスで使用され、現在フレームのターゲットの潜在的な位置を生成します。
正例・負例の生成は、判別法ベースの追跡アルゴリズムのトレーニングプロセスで使用され、正例と負例を生成して追跡システムをトレーニングし、システムにターゲットと非ターゲットを区別する能力を学習させます。


3) 運動モデルのシステムアーキテクチャと分類

図 5 に運動モデルのシステムアーキテクチャと候補フレーム取得方法の分類を示します。
図に示すように、前フレーム（第 n フレーム）の予測ターゲット位置がモデルに入力され、現在フレーム（第 n+1 フレーム）の候補ボックスが出力されます。
これらの候補ボックスには位置変化、スケール変化、回転が生じる可能性があり、図中の緑色とオレンジ色の点線ボックスに示されています。


運動モデルにおける主な候補ボックス生成方法は以下の通りです。


a) 確率的サンプリング

ここで使用されるパラメータには、候補ボックスの位置変換、スケール変換、回転変換、縦横比変換などの情報が含まれます。
アフィン変換の例を図 5 に示します。
ここでの「確率」は、上記のパラメータが特定の確率分布（通常はガウス分布）に従う確率変数であることに反映されており、「サンプリング」は異なる数の候補ボックスを生成することに反映されています。


b) スライドウィンドウ

図 6 に示すように、特定の形状とサイズを持つ構造化要素（比喩的に「ウィンドウ」と呼ばれます）を、現在フレーム内で一定の空間間隔で移動させ、各移動後にカバーされる画像内の対応するピクセルが生成される候補フレームです。
一般的に、この方法で生成される候補フレームは前フレームの矩形ボックスに対して位置変換のみを持ち、他の変化（回転変換など）には追加処理が必要です。


c) 巡回シフト

図 7 に示すように、前フレームで予測されたターゲット位置の矩形ボックス内のピクセルを、図中の基本サンプルに特定の配置に従って変換し、1 ピクセル右に移動するたびに対応する配置の候補ボックスを生成します。
配置の逆変換を生成することで、一つの候補ボックスが得られます。
一般的に、この方法で生成される候補フレームは前フレームの矩形ボックスに対して位置変換のみを持ち、他の変化には追加処理が必要です。
ここで強調すべきは、巡回シフトはスライドウィンドウの特殊ケースですが、相関フィルタベースの追跡アルゴリズムにおける高速フーリエ変換との組み合わせにより、従来のスライドウィンドウ操作を使用せずに候補ボックスを生成でき、アルゴリズムの効率を大幅に向上させられるため、ここに独立して列出している点です。

特徴モデル - どのように見えるか？


1) 画像特徴とは何か

人間にとって、画像特徴は画像に対する直感的な感覚です。
コンピュータにとって、画像特徴とは画像内のある領域または画像全体が他の領域や他の画像と異なる点です。
一般的な画像特徴には、色特徴、形状特徴、空間特徴、テクスチャ特徴、およびディープラーニングの畳み込みニューラルネットワークを通じて取得される深層特徴が含まれます。
ボルト選手の黄色と緑のユニフォームは色特徴であり、身長は空間特徴とテクスチャ特徴を組み合わせたものです。
一般的に、特徴が深い（抽象的で直感的でない特徴、たとえば深層特徴）ほど、ターゲットの識別能力が高くなります。
逆に、特徴が浅い（具体的で直感的な特徴、たとえば色など）ほど、ターゲットの空間位置情報がよりよく保持されます。
したがって、特徴表現/抽出には通常、より良い追跡効果を達成するために両者のトレードオフが必要です。


2) 画像特徴表現とは何か

画像特徴とは何かを理解した後、特徴表現/抽出が解決すべき問題は、これらの特徴をどのように記述するか、すなわちコンピュータが理解できる言語でこれらの特徴の数学的特性を一次元または多次元で記述することです。
一般的な特徴表現/抽出手法には、素朴な方法（ピクセル値など）、統計的方法（ヒストグラムなど）、変換（ピクセル値の勾配など）が含まれます。


特徴と特徴表現を総称して特徴モデルと呼びます。
特徴モデルは運動モデルから得られた候補フレームを分析し、対応する候補フレームの特徴表現/抽出を取得できます。
図 8 に示します。


3) 特徴モデルの分類

図 9 に特徴表現/抽出手法の分類を示します。
畳み込みニューラルネットワーク（CNN）による深層特徴の取得前は、人手でコーディングされた特徴表現/抽出手法が、追跡問題における画像特徴処理の主流でした。
上記の特徴と表現方法が含まれます。
多くの特徴と表現の中で、色特徴と勾配ヒストグラムが最も広く使用されています。
色特徴は比較的理解しやすく、人間の画像に対する直感的な理解に合致するだけでなく、コンピュータにとって最も単純な画像表現、すなわちピクセル値でもあります。
勾配ヒストグラムは勾配に関するヒストグラムであり、ここでいう勾配とは、水平方向の隣接ピクセル間のピクセル値の差など、画像ピクセル値の特定の空間方向での変化です。
ヒストグラムはデータ分布の一般的な画像表現であり、データグループの値の範囲内での数量変化を直感的に示せます。
画像特徴の詳細については [7] を参照してください。
現在では、ディープラーニングベースの手法が追跡問題研究の主流となっています。
畳み込みニューラルネットワーク（CNN）を通じて取得される深層特徴は、追跡アルゴリズムのターゲット識別能力を大幅に向上させ、人手で設計された特徴を使用する追跡アルゴリズムを超える性能を実現しています。


観測モデル - どれ？


1) 意思決定の方法

観測モデルでは、多数の候補ボックスから一つを選択して現在フレームのターゲット位置を予測する方法が、観測モデルで解決すべき主な問題、すなわち意思決定（「どれ」）です。
直感的には、現在フレームの候補ボックスの中で前フレームの予測ターゲットに最も「似ている」ものを見つけるだけでよいのですが、最も「似ている」の定義は一つではありません。


一般的に、コンピュータビジョン分野で最も「似ている」問題を解決することは、マッチング問題として分類できます。
すなわち、候補ボックス内で前フレームのターゲットとの最適なマッチングを見つけることです。
マッチング問題は追跡問題全体の核心であり、ほとんどの追跡アルゴリズムが解決する主な問題です。
その解決策の良し悪しは、追跡アルゴリズム全体の性能に直接影響します。
候補ボックス生成や特徴表現/抽出が十分でない場合、たとえば候補ボックスの形状やサイズが実際の状況と異なったり、抽出された特徴の識別度が高くない場合でも、優れたマッチングアルゴリズムは最初の二つのモデルの不足をある程度補い、追跡アルゴリズム全体の性能を維持できます。


2) マッチングの方法

上記の最も「似ている」またはマッチング問題は、本質的には類似度測定の問題です。
類似度問題を解決する際には、二つの比較対象の類似度を計算する測定メカニズムが必要です。
追跡問題では、比較される個体は通常、候補ボックスと前フレームの予測結果（またはグラウンドトゥルース）であり、測定メカニズムは距離として抽象化できます。
ここでの距離は空間距離だけでなく、すなわち画像内のフレーム間で何ピクセル離れているかだけでなく、二つの確率分布間の距離も含みます。


空間距離は比較的直感的に理解しやすいため、ここでは確率分布距離のみを説明します。
各フレームの追跡結果は予測値、すなわち各候補フレームがターゲットである確率です。
すべての候補ボックスを組み合わせると、確率分布を形成できます。
確率分布の観点からマッチング問題を理解すると、追跡問題は現在フレーム内で前フレームの候補ボックスの確率分布に最も「近い」候補ボックス分布のグループを見つけることに変換されます。
「最も近い」とは確率分布距離です。
一般的に使用される空間距離にはミンコフスキー距離（マンハッタン距離とユークリッド距離は特殊ケース）があり、一般的に使用される確率分布距離には KL ダイバージェンス、バタチャリア距離、交差エントロピー、ワッサースタイン距離などがあります。
[8] を参照してください。


3) 観測モデルのシステムアーキテクチャと分類

図 10 に観測モデルのシステムアーキテクチャを示します。
図に示すように、前フレーム（第 n フレーム）の予測ターゲット位置、現在フレーム（第 n+1 フレーム）の候補ボックス、および候補ボックスの特徴がモデルに入力され、現在フレーム（第 n+1 フレーム）の予測結果（ターゲット位置）が出力されます。
これらの候補ボックスには位置変化、スケール変化、回転が生じる可能性があり、図中の緑色とオレンジ色の点線ボックスに示されています。


図 11 に観測モデルのモジュール分解と分類を示します。
図に示すように、観測モデルのコアモジュールはマッチング（match）です。
マッチング方法の分類について、業界の主流の見方は生成法と判別法です [1, 2, 4, 9]。
二つの方法の主な違いは、背景情報を導入するかどうかです。
具体的には、生成法は数学的手法を用いてターゲットの画像領域特徴をフィッティングし、現在フレームで最もフィッティング結果の良い（通常はフィッティング後の再構成誤差が最小の）候補ボックスを探索します。
判別法は異なるアプローチを取り、ターゲットを前景、ターゲットのない領域を背景と見なし、マッチング問題をターゲットと背景の分離問題に変換します。


比較すると、判別法の方がより優れた識別能力、すなわち他の干渉項目からターゲットを区別する能力を持っています。
これがこの種のマッチング方法の名前の由来です。
上記の見解を裏付ける論拠として、判別法を使用した追跡アルゴリズムの性能は生成法を使用した追跡アルゴリズムを大幅に超え、学術研究の主流となっています [9]。
まとめると、生成法は追跡問題をフィッティングまたは多クラス分類問題としてモデル化し、判別法は追跡問題を二値分類問題として定義します。


さらに、図 11 では二つの点線モジュールも示されており、それぞれ特徴表現/抽出と更新を表しています。
ここで点線は、これら二つのステップが必ずしも実行される必要がないことを示しています。
一部のアルゴリズムでは、特徴モデルで得られた特徴がさらに抽象化されてターゲットのより深い特徴情報が取得され、マッチングモジュールに送られてマッチングアルゴリズムが実行されます。
同時に、更新ステップも必須ではなく、その目的はより正確な予測結果を得ることです。


具体的には、マッチングアルゴリズムは一系列のパラメータを取得し、これらを用いて現在フレームのターゲット位置を予測します。
これらのパラメータをすべての後続フレームの予測プロセスで適用し続けると、予測傾向が不正確になり、最終的に追跡失敗につながる可能性があります。
考えられる原因には、累積誤差、外部要因（オクルージョン、照明変化など）、内部要因（物体の外観変化、高速移動など）が含まれます。
数フレームごとにマッチングアルゴリズムのパラメータを予測結果に基づいて更新する更新モジュールを導入すれば、誤差を削減し、追跡精度を向上させられます。

視覚対象追跡のアルゴリズム分類

追跡アルゴリズムは観測モデルに基づいて生成法と判別法の二つのカテゴリーに分類されます。
ここで強調すべきは、この分類が観測モデルに基づいていることであり、追跡システムアーキテクチャ内の異なるモデルをデカップリングするためです。
具体的には、二つのアルゴリズムがそれぞれ生成法と判別法を類似度マッチングの解決策として適用していても、同じ特徴（たとえば色ヒストグラム）を適用している可能性があります。
追跡アルゴリズムで使用される特徴を分類の基準にすると、これら二つのアルゴリズムは同じカテゴリーに分類されるべきです。
明らかに、これはアルゴリズム分類の別の視点ですが、大きく異なるアルゴリズムを同じカテゴリーに分類してしまう可能性があります。


ここでは、特徴による分類の合理性を否定するのではなく、アルゴリズムの本質的な違い、すなわち観測モデルに焦点を当てます。
しかし、追跡アルゴリズムに関する多くのレビュー論文では、追跡アルゴリズムを直接生成法と判別法に分類しており、これが観測モデルに過ぎないことを強調していないため、同じ特徴を持つアルゴリズムがなぜ異なるカテゴリーに分類されるのかという疑問が生じます。
この種の曖昧さは、追跡分野に初めて触れる学習者にとって不親切です。


分類の前提を明確にした上で、図 12 に追跡アルゴリズムの分類と各分類の代表的なアルゴリズムを示します。
ここでは分類を第二レベルまでしか細分化していないことに注意してください。
すなわち、生成法と判別法をさらに分類します。
異なるアルゴリズムの具体的な詳細によっては、図中の分類をさらに深めることができますが、これは本論文の目的、すなわち追跡問題の体系的な概括とは異なります。


生成法については、そのコアアイデアは前フレームの予測ターゲットと現在フレームの候補フレームの類似度を測定し、最も類似した候補フレームを現在フレームの追跡結果（すなわち現在フレームでの予測ターゲットの位置）として選択することです。
生成法はさらに以下の三つのカテゴリーに分類されます。


1) 空間距離

すなわち、空間距離で類似度を測定する解決策で、通常は最適化理論を用いて追跡問題を空間距離最小化問題に変換します。
この方法を使用する古典的アルゴリズムには IVT（Incremental learning Visual Tracking）[10] と ASLA（Adaptive Structural Local Sparse Appearance model tracking）[11] があります。
アルゴリズムのコアアイデアは、現在フレームの候補フレームのピクセル灰値と前フレームの予測ターゲットのピクセル灰値の間のユークリッド距離を計算し、距離が最小の候補フレームを現在フレームの予測ターゲットとして選択することです。
特徴抽出では、特異値分解（SVD）を使用して計算量を削減します。


2) 確率分布距離

すなわち、確率分布距離で類似度を測定する解決策で、通常は最適化理論を用いて追跡問題を確率分布距離最小化問題に変換します。
この方法を使用する古典的アルゴリズムには CBP（Color Based Probabilistic）[12] と FRAG（robust FRAGMENTS based）[13] があります。
アルゴリズムのコアアイデアは、現在フレームの候補フレームの色ヒストグラム分布と前フレームの予測ターゲットの色ヒストグラム分布の間のバタチャリア距離を計算し、距離が最小の候補フレームを現在フレームの予測ターゲットとして選択することです。


3) 包括的

この部分の解決策は MeanShift [14] と CamShift アルゴリズムに代表され、類似度マッチングの距離測定を曖昧にし、候補フレームを明示的に生成さえしません。
代わりに、機械学習の平均値シフトクラスタリングアルゴリズムの考え方を利用して、前フレームの色ヒストグラム分布を用いて現在フレームの対応位置のピクセルの色ヒストグラム分布を予測し、クラスタリングしてその分布の平均値を取得します。
対応するピクセル位置が現在フレームでの予測ターゲットの中心位置であり、候補フレームの幅と高さの情報を加えることで、現在フレームでの予測ターゲットの空間位置が得られます。
MeanShift アルゴリズムでは幅と高さの情報が固定されているため、ターゲットのスケール変化や回転に対応できません。
CamShift は画像モーメントを類似度マッチングに導入することでターゲットのスケールと回転情報を取得し [7]、アルゴリズムの性能をさらに向上させています。


前述の通り、判別法はターゲットを前景として扱い、背景と見なされる他の内容から分離することに焦点を当てています。
ある意味で、判別法は分類アルゴリズムの考え方を適用し、追跡問題を二値分類問題に変換します。
よく知られているように、古典的機械学習（ディープラーニングを含まない機械学習）とディープラーニングベースのアルゴリズムは、分類問題に対して優れた性能を持っています。
したがって、これらのアルゴリズムの考え方を追跡問題の解決に導入することは非常に自然です。
さらに、判別法の本質はマッチング問題を解決することであり、マッチング問題を解決する非常に効果的な方法は相関、すなわちテンプレートを使用して入力と相関演算を行い、得られた応答（出力）を通じて入力とテンプレートの類似度を判定することです。
したがって、相関演算ベースのアルゴリズムも追跡問題の解決に導入されています。
判別法はさらに以下の三つのカテゴリーに分類されます。


1) 古典的機械学習

機械学習アルゴリズムの考え方を利用して、ターゲットを前景として背景から抽出します。
この方法を使用する古典的アルゴリズムには STRUCK（STRUCtured output tracking with Kernels）[15] と TLD（Tracking Learning Detection）[16] があります。
STRUCK と TLD アルゴリズムはそれぞれ古典的機械学習アルゴリズムであるサポートベクターマシンとアンサンブル学習で分類され、一連の最適化方法を採用してアルゴリズムの性能を向上させています。

2) 相関フィルタ

相関演算を利用して候補ボックスと予測ターゲットのマッチング度を計算する方法です。

3) ディープラーニング

ディープラーニングアルゴリズムの考え方を利用して、ターゲットを前景として背景から抽出する方法です。

その他の優れた追跡アルゴリズムについては [1, 2, 4, 5, 9, 23] を参照してください。ここまで紹介したアルゴリズムを表 2 にまとめており、各アルゴリズムで適用されている運動モデル、特徴モデル、観測モデルを含んでいます。表 2 は追跡システムアーキテクチャにおける異なるモデルのデカップリングを示しています。表 2 を通じて、各アルゴリズムが異なるモデルでどの方法を使用しているかを明確に理解でき、さまざまな視点からのアルゴリズム分類、類似アルゴリズムからの共通点の抽出、異なるタイプのアルゴリズムの効果的な区別と比較が可能になります。

次の図は [17] による追跡アルゴリズムのまとめを示しています。
III. 視覚対象追跡性能の評価方法

評価指標

前の二つの章で、精度や速度など、追跡アルゴリズムの性能を評価するいくつかの指標を使用してきました。コンピュータビジョン分野で最も一般的に使用される指標は、適合率、再現率、F スコア、FPS などです。ここでは、最初の二つの指標を簡単に紹介します。これら二つの指標は統計学に由来し、正例と負例の分類に焦点を当てています。簡単に言えば、適合率は正例と予測したすべてのサンプルに対する真の正例の比率として定義され、再現率はすべての真の正例に対して正例と予測されたサンプルの比率として定義されます。

追跡問題にも同様の定義があります。追跡システムやアルゴリズムでバウンディングボックスが広く使用される理由の一つに、評価の容易さがあります。評価の核心は交差和比、すなわち IoU（Intersection over Union）です。IoU は以下のように定義されます。

より大きい IoU 値は、比較された二つの矩形ボックスの適合度が高いことをある程度反映しています。予測ターゲットの矩形ボックスとグラウンドトゥルースの矩形ボックスを使用して IoU を計算すれば、追跡アルゴリズムの効果が分かります。IoU が大きいほど、追跡効果が良いことを示します。

VOT（視覚対象追跡）チャレンジは 2013 年から開催されており、現在では追跡アルゴリズムを評価する主流のベンチマークとなっています。VOT の二つの重要な指標は可用性とロバスト性です。実際、競技で最初に使用される指標は EAO、すなわち期待平均精度（Expected Average Accuracy）で、精度の加重和であり、その本質は依然として精度です。精度は以下のように定義されます。

すなわち、各フレームについて予測ターゲットの矩形ボックスとグラウンドトゥルースの矩形ボックスの IoU を計算し、全フレームで合計して平均します。N は総フレーム数で、一つのビデオの総フレーム数、複数のビデオ、または繰り返しテスト用の複数のビデオの総フレーム数であり得ます。ロバスト性は以下のように定義されます。

すなわち、追跡失敗したフレーム数の総フレーム数に対する比率です。追跡失敗は、現在フレームの予測ターゲットの矩形ボックスとグラウンドトゥルースの矩形ボックスの IoU が 0 であることとして定義されます。

上記二つの指標は追跡アルゴリズムの性能を二つの側面から反映しています。精度は追跡成功時にアルゴリズムの正確さがどの程度高いか、すなわちターゲットの位置を見つける確率を反映し、アルゴリズムの正確さに焦点を当てています。ロバスト性はアルゴリズムがターゲットの位置を見つける確率を反映し、アルゴリズムの堅牢性に焦点を当てています。これら二つの指標により、同じ測定基準の下で異なるアルゴリズムを比較できます。

評価データセット

評価指標に加えて、追跡アルゴリズム評価のもう一つの重要な要素はデータセットです。VOT チャレンジは評価指標だけでなく、独自のデータセットも追跡アルゴリズム評価の権威あるデータセットです。さらに、一般的な評価データセットには OTB [2]、UAV123 [18]、GOT-10K [19] があります。異なるデータセットでは評価指標の定義が異なりますが、その考え方は評価指標セクションで述べた可用性とロバスト性と共通するものがあります。すなわち、アルゴリズムの精度とロバスト性を十分に考慮することです。

異なる評価指標に加えて、異なるデータセットには通常共通点があります。データセットが評価に適しているかどうかを測る基準もあります。十分なビデオ数、豊富なターゲットカテゴリ、正確なアノテーション情報です。十分なビデオ数とターゲットカテゴリがなければ、アルゴリズムの性能は過剰適合しやすくなります。すなわち、少数のビデオやカテゴリでは良好な性能を示しますが、他のビデオやカテゴリでは性能が低くなり、アルゴリズムの真の性能を正確に測定できません。アノテーション情報の正確さは言うまでもなく、評価の正確さに直接影響します。その他のタイプのデータセット、たとえば ImageNet [20] や COCO [21] などのトレーニングアルゴリズム用データセットでも、上記の条件を満たせば評価用データセットとして拡張可能です。

評価例

最新の VOT チャレンジ 2019 を追跡アルゴリズム評価の例として取り上げます。表 3 に競技の結果 [9] を示します。一般的な競技プロセスは以下の通りです。競技委員会が登録チャネルを開設し、参加者がそのチャネルを通じてアルゴリズムコードを提出し、委員会がコードを一括で収集して評価用データセットでテストを行い、最終的にレポートまたはホワイトペーパーの形で競技結果を公開します。

表 3 にはその年の評価データセットでのアルゴリズムの結果が示されており、EAO、可用性、ロバスト性などの指標が含まれます。一般的に、競技結果は EAO でランキングされますが、各単一指標の上位 3 つもマークされます。表 3 の丸で囲まれた数字がその例です。

IV. あとがき

現在、ディープラーニングベースのアルゴリズムが視覚対象追跡研究の主流となっています。本論文で紹介したアルゴリズムに加え、教師なし学習、メタ学習、その他の人工知能分野の最先端アルゴリズムも視覚対象追跡の学術研究に導入されています。さらに、ディープラーニングベースの視覚対象追跡アルゴリズムは産業界でも徐々に応用されています。モデル圧縮を含む最適化手法によりアルゴリズムの複雑性が効果的に削減され、実用的なコンピュータビジョンアプリケーションに適した現在の追跡アルゴリズムの性能を達成し、超えることが可能になっています。