Platform For AI:LVM-Filter berdasarkan Skor Pencocokan Teks-Gambar (DLC)

compute resources yang didukung

DLC

Cara kerja

Komponen ini menggunakan model blip-itm-base-coco untuk menghitung skor pencocokan antara deskripsi gambar dan teks deskriptif dalam data pelatihan (konten setelah bidang <__dj__video> dalam file data pelatihan contoh). Gambar dengan skor di bawah ambang batas akan disaring. Format file data pelatihan:

Data masukan harus berupa file JSON Lines (.jsonl). Dalam bidang teks, "<__dj__image>" dan "<|__dj__eoc|>" menandai awal dan akhir deskripsi gambar.

{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image1.jpg"],"text":"<__dj__image> optional image caption <|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image2.jpg"],"text":"<__dj__image><|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image3.jpg"],"text":"<__dj__image> a person pointing to a piece of wood on the ground\n"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image4.jpg", "oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image5.jpg"],"xxx":"yyy"}

• images: Jalur OSS ke gambar.

• text: Teks deskriptif untuk gambar.

Masukan dan keluaran

Port masukan

• Gunakan komponen Read OSS Data untuk membaca file data pelatihan dari jalur OSS-nya.

• Konfigurasikan parameter Image Data OSS Path untuk memilih file data pelatihan.

Untuk informasi lebih lanjut tentang file data pelatihan, lihat Cara kerja.

Port keluaran

Menghasilkan data yang telah disaring. Untuk detailnya, lihat tabel parameter di bawah.

Konfigurasi komponen

Tambahkan komponen LVM-Filter by Image-Text Matching Score (DLC) ke pipeline Anda di Designer dan konfigurasikan parameternya pada panel sisi kanan.