このトピックでは、AutoML の使用制限、サポート対象のリージョン、検索アルゴリズム (TPE、グリッドサーチ、ランダムサーチ、進化、GP、PBT) および各アルゴリズムの適用シナリオについて説明します。
サポート対象のリージョン
AutoML は、China (Hangzhou)、China (Shanghai)、China (Beijing)、China (Shenzhen)、China (Hong Kong) の各リージョンで利用できます。
サポート対象の検索アルゴリズム
AutoML のハイパーパラメーター検索は、以下のアルゴリズムと、その代表的なシナリオに対応しています。
TPE (Tree-structured Parzen Estimator)
TPE は追加の依存関係を必要とせず、すべての探索空間タイプに対応しています。これは、デフォルトの HPO (ハイパーパラメーター最適化) アルゴリズムです。計算コストが高い、複雑で非線形な高次元の問題に使用します。パラメーター間の関係を発見することはできません。
グリッドサーチ
グリッドサーチは、探索空間をグリッドに均等に分割し、すべての組み合わせを評価して最適な組み合わせを見つけます。探索空間が小さい場合に使用します。
ランダムサーチ
ランダムサーチは、ハイパーパラメーターの組み合わせを生成します。グリッドサーチと同様に、探索空間をグリッドに分割しますが、各試行では 1 つのハイパーパラメーターセットをランダムに選択します。計算コストが高い、非線形な高次元の問題に使用します。
進化
進化は、探索空間から初期化します。各世代で、より性能の高いパラメーターを選択し、それらを突然変異させて次の候補ハイパーパラメーターのセットを生成します。複数の試行が必要です。ロジックはシンプルで、拡張も容易です。
このアイデアは、Large-Scale Evolution of Image Classifiers に由来します。
GP (ガウス過程)
GP は、ガウス過程を使用して損失を計算するベイズ最適化手法です。データが蓄積されるにつれて、事後分布がより正確になり、最適化の精度が向上します。
PBT (Population Based Training)
PBT は、固定のコンピューティングリソース向けの非同期最適化アルゴリズムです。固定数のモデルとそのハイパーパラメーターを最適化して性能を向上させ、単一のハイパーパラメーターセットを反復処理して最適値に到達します。
このアルゴリズムは、Population Based Training of Neural Networks に由来します。