Jika kasus penggunaan Anda melibatkan klasifikasi gambar, Anda dapat menggunakan komponen Image Classification Training (Torch) untuk membangun model klasifikasi gambar dan menjalankan inferensi model. Topik ini menjelaskan cara mengonfigurasi dan menggunakan komponen tersebut.
Prasyarat
OSS telah diaktifkan, dan Machine Learning Studio telah diberi izin untuk mengakses OSS. Untuk informasi selengkapnya, lihat Aktifkan OSS dan Berikan izin untuk Designer.
Batasan
Komponen algoritma ini hanya tersedia di Designer.
Mesin komputasi yang didukung adalah Deep Learning Container (DLC).
Tentang algoritma
Komponen Image Classification Training (Torch) mendukung dua keluarga model utama: Convolutional Neural Network (CNN) dan Transformer. Komponen ini mencakup algoritma seperti ResNet, ResNeXt, HRNet, ViT, SwinT, dan MobileNetv2, serta menyediakan model pra-latih berdasarkan ImageNet untuk mempercepat fine-tuning.
Komponen Image Classification Training (Torch) terletak di subfolder Offline Training Models dalam folder Computer Vision Algorithms di pustaka komponen.
Konfigurasi komponen secara visual
Port input
Port input (kiri ke kanan)
Batasi Tipe Data
Komponen hulu yang disarankan
Wajib
File anotasi data pelatihan
OSS
Tidak
File anotasi data validasi
OSS
Tidak
Parameter komponen
Tab
Parameter
Wajib
Deskripsi
Nilai default
Fields Setting
Training model type
Ya
Jenis algoritma yang digunakan untuk pelatihan. Hanya Classification yang didukung.
Classification
OSS directory to save training output
Ya
Direktori OSS tempat model yang telah dilatih disimpan. Contoh:
oss://examplebucket/yunji.cjy/designer_test.None
OSS path of training data annotation results file
Tidak
Konfigurasikan parameter ini hanya jika Anda tidak menyediakan file hasil anotasi data pelatihan melalui port input.
CatatanJika Anda menyediakan file hasil anotasi data pelatihan baik melalui port input maupun parameter ini, maka port input akan diprioritaskan.
Jalur OSS file hasil anotasi data pelatihan. Contoh:
oss://examplebucket/yunji.cjy/data/imagenet/meta/train_labeled.txt.Setiap baris dalam file train_labeled.txt mengikuti format berikut:
absolute_path/image_name.jpg label_id.PentingGunakan spasi untuk memisahkan jalur gambar dan label_id.
PentingKomponen ini mendukung dua format data pelatihan: ClsSourceImageList dan ClsSourceItag. Anda dapat langsung menggunakan file data yang dianotasi dengan modul anotasi cerdas PAI.
OSS path of validation data annotation results file
Tidak
Konfigurasikan parameter ini hanya jika Anda tidak menyediakan file hasil anotasi data validasi melalui port input.
CatatanJika Anda menyediakan file hasil anotasi data validasi baik melalui port input maupun parameter ini, maka port input akan diprioritaskan.
Jalur OSS file hasil anotasi data validasi. Contoh:
oss://examplebucket/yunji.cjy/data/imagenet/meta/val_labeled.txt.Setiap baris dalam file val_labeled.txt mengikuti format berikut:
absolute_path/image_name.jpg label_id.PentingGunakan spasi untuk memisahkan jalur gambar dan label_id.
CatatanKomponen ini mendukung dua format data pelatihan: ClsSourceImageList dan ClsSourceItag. Anda dapat langsung menggunakan file data yang dianotasi dengan modul anotasi cerdas PAI.
None
Class names list file
Ya
File ini menentukan daftar kelas untuk klasifikasi gambar. Anda dapat memasukkan nama kelas secara langsung atau menentukan jalur ke file TXT yang berisi nama kelas.
Masukkan nama kelas secara langsung: Formatnya
[name1,name2,...], pisahkan beberapa nama dengan koma. Contoh:[0, 1, 2]atau[person, dog, cat].Tentukan jalur file TXT: Tulis nama kelas ke dalam file TXT, unggah ke bucket OSS di wilayah yang sama, lalu masukkan jalur OSS di sini.
Dalam hal ini, pisahkan nama kelas dalam file TXT dengan koma atau line feed (\n). Contoh:
0, 1, 2atau0,\n1,\n2\n.Jika parameter ini kosong, nama kelas akan menggunakan nilai default
str(0)hinggastr(num_classes-1), di mananum_classesadalah jumlah kelas.Sebagai contoh, jika terdapat tiga kelas, daftar nama kelas default-nya adalah
0, 1, 2.
None
Data source format
Ya
Format data input. Nilai yang didukung: ClsSourceImageList dan ClsSourceItag.
ClsSourceItag
OSS path of pre-trained model
Tidak
Jika Anda memiliki model pra-latih sendiri, atur parameter ini ke jalur OSS-nya. Jika Anda tidak mengatur parameter ini, komponen akan menggunakan model pra-latih default yang disediakan oleh PAI.
None
Parameters Setting
Backbone model for image classification
Ya
Model jaringan tulang punggung yang digunakan. Model yang didukung:
resnet
resnext
hrnet
vit
swint
mobilenetv2
inceptionv4
resnet
Number of image classes
Ya
Jumlah label kelas dalam data Anda.
None
Image resize size
Ya
Ubah ukuran semua gambar menjadi tinggi dan lebar tetap. Secara default, tinggi sama dengan lebar.
224
Optimization method
Ya
Metode optimasi untuk pelatihan model. Nilai yang didukung:
SGD
Adam
SGD
Initial learning rate
Ya
Tingkat pembelajaran awal.
0.05
Learning rate schedule
Ya
Kontrol tingkat pembelajaran menggunakan jadwal. Jadwal yang didukung adalah step: tentukan secara manual tingkat pembelajaran untuk setiap tahap.
step
lr step
Ya
Digunakan bersama jadwal tingkat pembelajaran. Pisahkan beberapa langkah dengan koma. Pada setiap epoch yang ditentukan, tingkat pembelajaran berkurang dengan faktor 0.1.
Contoh: Tingkat pembelajaran awal adalah 0.1. Total epoch pelatihan adalah 20. Lr step adalah 5,10. Maka tingkat pembelajaran adalah 0.1 untuk epoch 1–5, 0.01 untuk epoch 5–10, dan 0.001 untuk epoch 10–20.
[30,60,90]
Training batch size
Ya
Jumlah sampel yang diproses per iterasi pelatihan (per langkah).
2
Evaluation batch size
Ya
Jumlah sampel yang dimuat per iterasi evaluasi (validasi) (per langkah).
2
Total training epochs
Ya
Satu epoch berarti satu kali melewati seluruh sampel. Total epoch adalah jumlah kali melewati seluruh sampel tersebut.
1
Checkpoint save frequency
Tidak
Seberapa sering checkpoint model disimpan. Nilai 1 berarti model disimpan setelah setiap epoch.
1
Exported model type
Ya
Format model yang diekspor. Format yang didukung:
raw
onnx
raw
Execution Tuning
Number of processes per GPU for reading training data
Tidak
Jumlah proses per GPU yang digunakan untuk membaca data pelatihan.
4
Enable half precision
Tidak
Pilih opsi ini untuk menggunakan presisi setengah FP16 dalam pelatihan. Ini mengurangi penggunaan memori.
None
Standalone or distributed DLC
Ya
Mesin komputasi untuk menjalankan komponen. Pilih sesuai kebutuhan Anda. Mesin yang didukung:
Standalone DLC
Distributed DLC
Standalone DLC
Number of workers
Tidak
Konfigurasikan parameter ini hanya ketika mesinnya adalah Distributed DLC.
Jumlah proses worker konkuren selama pelatihan.
1
CPU instance type
Tidak
Konfigurasikan parameter ini hanya ketika mesinnya adalah Distributed DLC.
Tipe instans CPU yang digunakan.
16 vCPUs + 64 GB memory (ecs.g6.4xlarge)
GPU instance type
Ya
Tipe instans GPU yang digunakan.
8 vCPUs + 60 GB memory + 1 × P100 (ecs.gn5-c8g1.2xlarge)
Port output
Port output
Tipe data
Komponen hilir
Output model
Jalur OSS. Ini adalah jalur OSS yang Anda konfigurasikan untuk parameter OSS directory to save the training output pada tab Field Settings. Model yang telah dilatih disimpan di jalur ini.
Contoh
Anda dapat menggunakan komponen Image Classification Training (Torch) untuk membangun alur kerja berikut.
Dalam contoh ini, konfigurasikan komponen sebagai berikut:
Persiapkan dan anotasi data menggunakan modul anotasi cerdas PAI. Untuk informasi selengkapnya, lihat dan Intelligent Annotation (iTAG).
Gunakan komponen Read OSS Data-1 dan Read OSS Data-2 untuk memuat file hasil anotasi data pelatihan dan validasi. Atur parameter OSS Data Path masing-masing komponen ke jalur OSS tempat file tersebut disimpan.
PentingPilih ClsSourceItag sebagai format sumber data.
Hubungkan kedua komponen Read OSS Data ke komponen Image Classification Training (Torch) dan konfigurasikan parameternya. Untuk informasi selengkapnya, lihat bagian Konfigurasi komponen secara visual.
Gunakan komponen Read OSS Data-3 untuk memuat file data prediksi. Atur parameter OSS Data Path komponen tersebut ke jalur OSS tempat file data prediksi disimpan.
Jalankan inferensi offline menggunakan komponen Generic Image Prediction. Konfigurasikan parameter kunci berikut. Untuk informasi selengkapnya, lihat Generic Image Prediction.
Model type: Pilih torch_classifier.
Model OSS path: Jalur OSS ke model yang telah dilatih oleh komponen Image Classification Training (Torch).