Platform For AI:Filtering Kemiripan Teks-Gambar LVM (DLC)

compute resources yang didukung

DLC

Algorithm

Kemiripan antara gambar dan teks deskripsinya dalam data pelatihan dihitung menggunakan model clip-vit-base-patch32. Teks deskripsi adalah konten yang mengikuti bidang <__dj__video> dalam file data pelatihan contoh. Proses ini menyaring gambar dengan kemiripan rendah untuk memastikan kualitas data, yang merupakan langkah umum dalam pelatihan model generasi gambar berikutnya. Format file data pelatihan dijelaskan sebagai berikut:

Data masukan harus berupa file JSONL. Dalam bidang 'text', "<_dj__image>" dan "<|__dj__eoc|>" masing-masing menandai awal dan akhir deskripsi gambar.

{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image1.jpg"],"text":"<_dj__image> optional image caption <|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image2.jpg"],"text":"<_dj__image><|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image3.jpg"],"text":"<_dj__image> a person pointing to a piece of wood on the ground\xxx"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image4.jpg", "oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image5.jpg"],"xxx"}

• Bidang 'images' berisi path OSS gambar tersebut.

• Bidang 'text' berisi teks deskriptif sebagaimana disebutkan dalam deskripsi algoritma di atas.

Input dan output

Input ports

• Gunakan komponen Read OSS Data untuk membaca file data pelatihan dari path OSS.

• Konfigurasikan parameter OSS Path of Image Data untuk memilih file data pelatihan.

Untuk detail format data pelatihan, lihat deskripsi Algorithm.

Output ports

Port ini menghasilkan data yang telah difilter. Untuk detailnya, lihat deskripsi parameter di bawah.

Konfigurasi komponen

Dalam alur kerja LVM-Image Text Similarity Filtering (DLC), tambahkan komponen LVM-Image Text Similarity Filtering (DLC) dan konfigurasikan parameternya di panel sebelah kanan.