Topik ini menjelaskan batasan penggunaan, wilayah yang didukung, serta algoritma pencarian (TPE, GridSearch, Random, Evolution, GP, dan PBT) pada AutoML beserta skenario penerapan masing-masing.
Wilayah yang didukung
AutoML tersedia di wilayah berikut: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), dan China (Hong Kong).
Algoritma pencarian yang didukung
Pencarian hiperparameter AutoML mendukung algoritma berikut beserta skenario khasnya.
TPE (Tree-structured Parzen Estimator)
TPE tidak memerlukan dependensi tambahan dan mendukung semua jenis ruang pencarian. Algoritma ini merupakan algoritma HPO default. Gunakan untuk masalah kompleks, nonlinier, berdimensi tinggi dengan biaya komputasi tinggi. Algoritma ini tidak dapat menangkap hubungan antar parameter.
Referensi: Algorithms for Hyper-Parameter Optimization.
GridSearch
GridSearch membagi ruang pencarian secara merata menjadi grid dan mengevaluasi setiap kombinasi untuk menemukan yang terbaik. Gunakan ketika ruang pencarian kecil.
Random
Random menghasilkan kombinasi hiperparameter secara acak dari ruang pencarian. Berbeda dengan GridSearch yang mengevaluasi seluruh grid, Random memilih satu set hiperparameter secara acak pada setiap percobaan. Gunakan untuk masalah nonlinier berdimensi tinggi dengan biaya komputasi tinggi.
Evolution
Evolution diinisialisasi dari ruang pencarian. Pada setiap generasi, algoritma ini memilih parameter yang berkinerja lebih baik dan melakukan mutasi untuk menghasilkan kandidat hiperparameter berikutnya. Algoritma ini memerlukan multiple trial. Logikanya sederhana dan mudah dikembangkan.
Gagasannya berasal dari Large-Scale Evolution of Image Classifiers.
GP (Gaussian process)
GP adalah metode optimisasi Bayesian yang menggunakan proses Gaussian untuk memodelkan loss. Seiring akumulasi data, distribusi posterior menjadi lebih akurat sehingga meningkatkan kualitas optimisasi.
PBT (Population Based Training)
PBT adalah algoritma optimisasi asinkron untuk alokasi sumber daya komputasi tetap. Algoritma ini mengoptimalkan sejumlah model tetap beserta hiperparameternya untuk meningkatkan kinerja, dengan melakukan iterasi pada satu set hiperparameter hingga mencapai optimum.
Algoritma ini berasal dari Population Based Training of Neural Networks.