Filter Ukuran Gambar LVM (DLC) - Platform For AI - Alibaba Cloud Documentation Center

Dataset pelatihan sering berisi gambar yang terlalu kecil (resolusi rendah atau rusak) atau terlalu besar (ukuran file membengkak sehingga memperlambat pelatihan). Komponen LVM-Image-Size Filter (DLC) menghapus outlier tersebut dengan menyaring data gambar di luar rentang ukuran yang Anda tentukan, sehingga membantu menjaga kualitas data pelatihan untuk model pembuatan gambar.

Cara kerja

Komponen ini menghitung ukuran file setiap gambar dan membandingkannya dengan ambang batas minimum dan maksimum yang Anda tetapkan. Gambar di luar rentang yang ditentukan tidak disertakan dalam output, yang ditulis ke direktori Object Storage Service (OSS) yang Anda tentukan.

Pada eksekusi pertama, komponen menghasilkan file metadata (meta.jsonl) di direktori induk dari path data gambar Anda. Pada eksekusi berikutnya, arahkan langsung ke file ini alih-alih melakukan pemindaian ulang seluruh direktori.

Sumber daya komputasi yang didukung

DLC

Konfigurasi komponen

Tambahkan komponen LVM-Image-Size Filter (DLC) ke pipeline Anda di Machine Learning Designer, hubungkan sumber input, dan atur parameter berikut.

Hubungkan sumber input

Hubungkan salah satu berikut ke port input komponen:

Komponen Read File Data yang membaca path OSS tempat data pelatihan Anda disimpan
Image Data OSS Path yang mengarah ke direktori OSS atau file metadata meta.jsonl dari eksekusi sebelumnya
Komponen pra-pemrosesan gambar hulu apa pun

Atur parameter

Tab	Parameter	Wajib	Deskripsi	Bawaan
Field Settings	Image Data OSS Path	Tidak	Direktori OSS yang berisi data gambar Anda, atau file metadata `meta.jsonl` yang dihasilkan oleh eksekusi sebelumnya. Jika tidak ada komponen hulu yang terhubung pada eksekusi pertama, tentukan path ini secara manual. Komponen akan menghasilkan `meta.jsonl` di direktori induk dari path ini.	—
	OSS Directory for Saving OutputData	Tidak	Direktori OSS tempat hasil penyaringan disimpan.	—
	Output Filename	Tidak	Nama dasar untuk file output.	`result.jsonl`
Parameter Settings	Minimum Size	Ya	Gambar yang lebih kecil dari nilai ini akan disaring. Satuan yang diterima: KB, MB, GB, TB, PB, EB, ZB, YB. Contoh: `30 KB`.	`0`
Parameter Settings	Maximum Size	Ya	Gambar yang lebih besar dari nilai ini akan disaring. Satuan yang diterima: KB, MB, GB, TB, PB, EB, ZB, YB. Contoh: `10 MB`.	`1GB`
Execution Tuning	Number of processes	Tidak	Jumlah proses paralel untuk penyaringan.	`4`
	single/multi nodes	Tidak	Mode single-node atau multi-node. Nilai bawaan: single-node. Mode multi-node hanya mendukung framework Ray.	single-node
	Select Resource Group	Tidak	Pilih kelompok sumber daya publik atau kuota sumber daya (jika menggunakan mode terdistribusi, Anda harus mengatur parameter sumber daya untuk node head dan node pekerja secara terpisah): Kelompok sumber daya publik: pilih tipe instans (CPU atau GPU) dan VPC. Kami menyarankan Anda menggunakan tipe instans CPU untuk menghemat biaya. Kuota sumber daya: pilih jumlah GPU, jumlah vCPU, memori (GB), dan memori bersama (GB).	—
	Maximum running duration (seconds)	Tidak	Batas waktu eksekusi komponen. Pekerjaan akan berhenti jika durasi ini terlampaui.	—

Tinjau output

Komponen menulis file berikut ke OSS Directory for Saving OutputData:

File	Deskripsi	Kapan digunakan
`{name}.jsonl`	Daftar gambar yang telah disaring. Nama file diatur oleh Output Filename.	Gunakan ini sebagai input untuk langkah pelatihan atau pra-pemrosesan selanjutnya.
`{name}_stats.jsonl`	File status.	Tinjau file ini untuk memahami berapa banyak gambar yang disaring dan alasannya.
`dj_run_yaml.yaml`	Konfigurasi parameter yang digunakan selama eksekusi.	Gunakan ini untuk mereproduksi atau mengaudit pengaturan filter.