Komponen LVM-Image-NSFW Filter (DLC) memberikan skor pada gambar berdasarkan konten Not Safe For Work (NSFW) dan memfilter gambar yang melebihi ambang batas yang telah dikonfigurasi. Gunakan komponen ini sebagai langkah pembersihan data sebelum pelatihan model generasi gambar untuk meningkatkan kualitas data pelatihan.
Cara kerja
Komponen membaca data gambar dari Object Storage Service (OSS), baik dari path direktori maupun file metadata.
Komponen menghitung skor NSFW untuk setiap gambar.
Gambar dengan skor di atas NSFW Score Threshold yang telah dikonfigurasi akan difilter.
Gambar yang dipertahankan beserta statistiknya ditulis ke direktori output OSS yang telah ditentukan.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Bucket OSS yang berisi data gambar yang akan difilter.
Direktori OSS yang tersedia untuk menyimpan output.
Tipe instans GPU yang tersedia dalam kelompok sumber daya Anda (diperlukan oleh algoritma pemberian skor).
Port input
Komponen menerima input dari salah satu sumber berikut:
Skenario | Sumber input |
Jalankan pertama kali (tanpa komponen hulu) | Atur parameter Image Data OSS Path agar mengarah ke direktori OSS yang berisi gambar Anda |
Eksekusi berikutnya | Atur Image Data OSS Path ke file |
Integrasi pipeline | Hubungkan komponen prapemrosesan data gambar apa pun sebagai input hulu |
Saat komponen dijalankan pertama kali dengan path direktori, komponen akan menghasilkan file metadata meta.jsonl di direktori induk path tersebut. Pada jalanan berikutnya, berikan langsung file meta.jsonl untuk melewati pemindaian ulang direktori.
Port output
Komponen menulis hasil filtering ke direktori OSS yang ditentukan oleh OSS Directory for Saving OutputData. Output mencakup:
File | Deskripsi |
| Dataset output yang telah difilter. Nama file ditentukan oleh Output Filename (default: |
| File status |
| Konfigurasi YAML yang digunakan saat algoritma dijalankan |
Konfigurasi komponen
Konfigurasikan parameter berikut di Machine Learning Designer.
Pengaturan field
Parameter | Wajib | Default | Deskripsi |
Image Data OSS Path | Tidak | — | Direktori OSS yang berisi gambar Anda, atau file |
OSS Directory for Saving OutputData | Tidak | — | Direktori OSS tempat hasil filtering disimpan. |
Output Filename | Tidak |
| Nama dasar untuk file output. File statistik menggunakan nama dasar yang sama dengan akhiran |
Pengaturan parameter
Parameter | Wajib | Default | Deskripsi |
NSFW Score Threshold | Ya |
| Gambar dengan skor NSFW di atas nilai ini akan difilter. Ambang batas yang lebih rendah bersifat lebih ketat dan mempertahankan lebih sedikit gambar; ambang batas yang lebih tinggi bersifat lebih permisif dan mempertahankan lebih banyak gambar. |
Penyesuaian eksekusi
Parameter | Wajib | Default | Deskripsi |
Number of Processes | Tidak |
| Jumlah proses. |
Single-node/Distributed | Tidak |
| Mode single-node atau multi-node. Nilai default: single-node. Mode multi-node hanya mendukung framework Ray. |
Select Resource Group | Tidak | — | Pilih kelompok sumber daya publik atau kuota sumber daya (jika menggunakan mode terdistribusi, Anda harus mengatur parameter sumber daya untuk node head dan node pekerja secara terpisah):
|
Maximum Running Duration (seconds) | Tidak | — | Pekerjaan akan dihentikan jika berjalan lebih lama dari nilai ini. |