Komponen deteksi pose melatih model estimasi pose top-down menggunakan jaringan tulang punggung HRNet atau Lite-HRNet. Gunakan komponen ini dalam pipeline Machine Learning Designer untuk mendeteksi titik kunci tubuh manusia dari gambar.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Bucket Object Storage Service (OSS) yang diaktifkan
Otorisasi Machine Learning Studio untuk mengakses OSS — lihat Aktifkan OSS dan Berikan izin yang diperlukan untuk menggunakan Machine Learning Designer
Batasan
Komponen ini hanya tersedia di Machine Learning Designer pada Platform for AI (PAI).
Komponen ini memerlukan sumber daya komputasi Deep Learning Containers (DLC).
Hanya tipe algoritma TopDown yang didukung. Pendekatan TopDown pertama-tama mendeteksi orang menggunakan detektor objek, lalu memperkirakan titik kunci untuk setiap orang yang terdeteksi. Pendekatan ini lebih akurat tetapi semakin melambat seiring bertambahnya jumlah orang dalam gambar—paling cocok untuk adegan dengan jumlah orang yang kecil dan tetap. Karena deteksi tubuh manusia harus dilakukan sebelum deteksi pose, hubungkan komponen object detection di hulu atau konfigurasikan jalur model deteksi secara manual di komponen image prediction.
Cara kerja
Temukan komponen ini di pustaka komponen di bawah Video Algorithm > Offline Training.
Komponen ini menerima data pelatihan, file anotasi, data evaluasi, dan file informasi set data melalui lima port input. Komponen ini melatih model pose top-down dan menghasilkan model yang telah dilatih ke direktori OSS, yang digunakan oleh komponen image prediction di hilir untuk inferensi offline.
Konfigurasi komponen
Port input
Hubungkan komponen Read File Data ke setiap port. Semua port bersifat opsional—jika Anda tidak menghubungkan suatu port, atur parameter jalur OSS yang sesuai sebagai gantinya.
| Port (kiri ke kanan) | Tipe data | Wajib |
|---|---|---|
| data untuk pelatihan | OSS | Tidak |
| jalur anotasi data untuk pelatihan | OSS | Tidak |
| data untuk evaluasi | OSS | Tidak |
| jalur anotasi data untuk evaluasi | OSS | Tidak |
| jalur info titik kunci data | OSS | Tidak |
Jika baik port input maupun parameter yang sesuai diatur, nilai port input akan diutamakan.
Pengaturan bidang
| Parameter | Wajib | Bawaan | Deskripsi |
|---|---|---|---|
| model type | Ya | TopDown | Tipe algoritma. Hanya TopDown yang didukung. |
| oss dir to save model | Tidak | None | Direktori OSS untuk menyimpan model yang telah dilatih. Contoh: oss://examplebucket/output_dir/ckpt/ |
| oss data path to training | Tidak | None | Jalur OSS ke gambar pelatihan. Wajib jika port input pelatihan tidak dihubungkan. Contoh: oss://examplebucket/data/train_images/ |
| oss annotation path for training data | Tidak | None | Jalur OSS ke file anotasi pelatihan. Wajib jika port anotasi pelatihan tidak dihubungkan. Contoh: oss://examplebucket/data/annotations/train.json |
| oss data path to evaluation | Tidak | None | Jalur OSS ke gambar evaluasi. Wajib jika port input evaluasi tidak dihubungkan. Contoh: oss://examplebucket/data/val_images/ |
| oss annotation path for evaluation data | Tidak | None | Jalur OSS ke file anotasi evaluasi. Wajib jika port anotasi evaluasi tidak dihubungkan. Contoh: oss://examplebucket/data/annotations/val.json |
| oss path to dataset info file | Tidak | None | Jalur OSS ke file informasi set data. Wajib jika port info set data tidak dihubungkan. Contoh: oss://examplebucket/data/annotations/dataset_info.py |
| Data Source Type | Ya | DetSourceCOCO | Format data input. Hanya DetSourceCOCO yang didukung. |
| oss path to pretrained model | Tidak | None | Jalur OSS ke model pra-latih kustom. Jika dikosongkan, PAI menggunakan model pra-latih bawaannya. |
Pengaturan parameter
| Parameter | Wajib | Bawaan | Deskripsi |
|---|---|---|---|
| backbone | Ya | hrnet | Model jaringan tulang punggung. Nilai yang valid: hrnet, lite_hrnet. |
| num keypoints | Ya | None | Jumlah kategori titik kunci dalam set data. |
| image size after resizing | Ya | 192,256 | Ukuran gambar input tetap (lebar,tinggi). Pisahkan nilai dengan koma. |
| initial learning rate | Ya | 0.01 | Tingkat pembelajaran awal untuk pelatihan. |
| learning rate policy | Ya | step | Jadwal tingkat pembelajaran. Hanya step yang didukung: laju berkurang pada epoch yang ditentukan di lr step. |
| lr step | Ya | 170,200 | Epoch saat tingkat pembelajaran berkurang 90%. Pisahkan beberapa nilai dengan koma. Misalnya, dengan laju awal 0.1 dan lr step diatur ke 5,10: epoch 1–5 menggunakan 0.1, epoch 6 dan seterusnya menggunakan 0.01, epoch 11 dan seterusnya menggunakan 0.001. |
| train batch size | Ya | 32 | Jumlah sampel per iterasi pelatihan. |
| eval batch size | Ya | 32 | Jumlah sampel per iterasi evaluasi. |
| total train epochs | Ya | 200 | Total jumlah putaran pelatihan atas seluruh data pelatihan. |
| save checkpoint epoch | Tidak | 1 | Frekuensi penyimpanan checkpoint. 1 menyimpan checkpoint setelah setiap epoch. |
Penyetelan
| Parameter | Wajib | Bawaan | Deskripsi |
|---|---|---|---|
| optimizer | Ya | SGD | Pengoptimal untuk pelatihan model. Nilai yang valid: SGD, Adam. |
| number process of reading data per gpu | Tidak | 2 | Jumlah thread pemuatan data per GPU. |
| evtorch model with fp16 | Tidak | None | Aktifkan presisi campuran FP16 untuk mengurangi penggunaan memori GPU. |
| single worker or distributed on DLC | Ya | single_on_dlc | Mode komputasi. Nilai yang valid: single_on_dlc, distribute_on_dlc. |
| number of worker | Tidak | 1 | Jumlah node pekerja. Wajib saat distribute_on_dlc dipilih. |
| cpu machine type | Tidak | 16vCPU+64GB Mem-ecs.g6.4xlarge | Tipe instans CPU. Wajib saat distribute_on_dlc dipilih. |
| gpu machine type | Ya | 8vCPU+60GB Mem+1xp100-ecs.gn5-c8g1.2xlarge | Tipe instans GPU. |
Port output
| Port | Tipe data | Komponen hilir |
|---|---|---|
| output model | Direktori OSS (sama dengan oss dir to save model) | image prediction |
Membuat pipeline deteksi pose
Langkah-langkah berikut menjelaskan pipeline pelatihan dan inferensi lengkap. 
Anotasi data Anda. Gunakan iTAG untuk menganotasi gambar. Lihat iTAGiTAG.
Muat data. Tambahkan lima komponen Read File Data (Read File Data-1 hingga Read File Data-5). Atur parameter OSS Data Path untuk masing-masing ke jalur berikut secara berurutan: gambar pelatihan, anotasi pelatihan, gambar evaluasi, anotasi evaluasi, dan file informasi set data.
Hubungkan dan konfigurasikan. Buat koneksi dari kelima komponen Read File Data ke komponen pose detection. Konfigurasikan parameter yang dijelaskan di bagian Konfigurasi komponen.
Tambahkan inferensi. Hubungkan output komponen pose detection ke komponen image prediction. Atur parameter berikut pada image prediction:
Parameter Nilai model type pose_predictoross path for model Jalur yang sama dengan yang diatur di oss dir to save model pada komponen pose detection oss path of detection model for pose Jalur OSS ke model object detection. Wajib kecuali komponen object detection sudah dihubungkan di hulu — dalam hal ini model deteksi diwariskan secara otomatis. detection model type for pose yolox_predictor(wajib)