Cara menggunakan pustaka teks kustom untuk mengelola keamanan konten - AI Guardrails

Layanan Content Moderation mendukung pustaka teks kustom untuk menyelaraskan hasil deteksi lebih dekat dengan kebutuhan bisnis Anda. Pustaka teks kustom berlaku untuk skenario seperti deteksi pelanggaran teks dalam gambar, anti-spam teks, anti-spam file, dan anti-spam voice. Anda dapat menggunakan pustaka ini untuk mengelola teks yang ingin diblokir, difilter, atau dikirim untuk tinjauan manual, sehingga membantu Anda beradaptasi dengan persyaratan moderasi baru.

Latar Belakang

Penting

Sebelum menggunakan pustaka teks kustom, baca dokumen ini dengan cermat untuk memahami cara kerja pustaka tersebut. Hal ini membantu mencegah salah konfigurasi, seperti menambahkan kata kunci yang tidak tepat, yang dapat menyebabkan false positive dan memengaruhi akurasi deteksi.

Pustaka teks kustom mencakup pustaka teks berbasis umpan balik dan pustaka teks yang dikelola sendiri.

Pustaka teks berbasis umpan balik dihasilkan secara otomatis dari catatan tinjauan manual Anda dan diterapkan secara default ke semua skenario deteksi dengan tipe yang sama. Anda dapat mengelola teks dalam pustaka ini, tetapi tidak dapat menonaktifkan atau menghapus pustaka tersebut. Untuk informasi lebih lanjut tentang tinjauan manual, lihat human review.
Anda membuat pustaka teks yang dikelola sendiri untuk digunakan pada deteksi tertentu atau kategori skenario deteksi. Anda dapat mengelola teks di dalamnya, serta pustaka itu sendiri.

Catatan

Anda dapat membuat hingga 10 pustaka teks yang dikelola sendiri. Batas ini tidak mencakup pustaka teks berbasis umpan balik.

Dokumen ini menjelaskan cara mengelola pustaka teks kustom di Konsol Content Moderation. Selain menggunakan konsol, Anda juga dapat melakukan operasi ini melalui API atau SDK. Untuk informasi lebih lanjut, lihat dokumen berikut:

Jenis Teks

Pustaka teks kustom dapat berisi dua jenis teks: Text dan similar text.

Text
Kata kunci adalah kata atau frasa pendek spesifik yang digunakan untuk pengendalian konten. Jika suatu teks berisi kata kunci yang telah ditentukan, sistem akan memicu kecocokan (match). Anda dapat mengonfigurasi kata kunci berbeda untuk skenario bisnis yang berbeda.
Di Content Moderation, Anda dapat menggunakan kata kunci dalam skenario deteksi pelanggaran teks dalam gambar dan anti-spam teks. Konfigurasi mungkin sedikit berbeda antar skenario.
Kata kunci berbahasa Tionghoa mendukung operator logika AND (&) dan NOT (~). Contohnya:
- Jika Anda menetapkan "A&B", kecocokan terjadi hanya jika teks berisi "A" dan "B".
- Jika Anda menetapkan "A~B", kecocokan terjadi hanya jika teks berisi "A" tetapi tidak berisi "B". Jika teks berisi "A" dan "B", kecocokan tidak dipicu.
Catatan
Operator AND (&) harus mendahului operator NOT (~). Misalnya, Anda dapat menetapkan "A&B~C" sebagai kata kunci, tetapi tidak dapat menetapkan "A~C&B".
Similar text
Fitur similar text menilai kemiripan semantik antara kalimat atau paragraf. Dua bagian teks mungkin memiliki variasi kecil tetapi menyampaikan makna keseluruhan yang sama atau menggambarkan event yang sama. Sistem memeriksa apakah teks yang dipindai sangat mirip dengan sampel teks yang telah ditentukan. Jika skor kemiripan mencapai ambang batas tertentu, sistem akan memicu kecocokan.
Pustaka similar text digunakan untuk skenario anti-spam teks. Anda dapat menentukan block list, trust list, dan review list untuk bisnis Anda. Review list berisi teks yang memerlukan tinjauan manual. Dengan memelihara sampel teks relevan di pustaka, Anda dapat mengarahkan layanan anti-spam teks untuk menyaring konten yang sesuai dengan sampel tersebut.

Batasan

Type	Item	Limit
Text library	Number of libraries	Hingga 10 pustaka teks yang dikelola sendiri.
Text library	Library name length	Hingga 20 karakter.
Keyword	Keyword type	Anda dapat menggunakan kata kunci berbahasa Tionghoa. Huruf dan angka dapat digunakan sebagai kata kunci. Catatan Saat deteksi, huruf dan angka diperlakukan sebagai satu token. Kata kunci berbahasa Inggris tidak didukung.
Keyword	Number of keywords per library	Hingga 10.000.
Keyword	Maximum keyword length	50 karakter (termasuk simbol).
Keyword	Chinese keyword encoding	UTF-8.
Keyword	Keyword format	Kata kunci tidak boleh mengandung karakter khusus berikut dalam bentuk full-width maupun half-width: `@ # $ % ^ * ( ) < > / ? , . ; _ + - = ' "`, spasi, dan tab
Similar text	Similar text length	20 hingga 10.000 karakter. Catatan Untuk menghindari false positive, kami menyarankan agar panjang teks tidak melebihi 200 karakter.
Similar text	Number of similar text entries per library	Hingga 10.000.
Similar text	Text encoding format	UTF-8.
Similar text	Similar text content	Sampel teks harus mengandung fitur semantik Tionghoa yang jelas dan dapat diekstraksi. Jika mesin analisis menemukan bahwa sampel memiliki terlalu sedikit fitur, mesin akan mengabaikan sampel tersebut. Catatan Contohnya, sampel yang hanya terdiri dari huruf, angka, atau berbagai emoji yang tidak bermakna mungkin diabaikan.

Prosedur

Masuk ke Content Moderation console.
Di panel navigasi sebelah kiri, pilih Machine audit V1.0 > Risk Libraries.
Pada tab Custom Text Library, klik Create Text Library.

Pada kotak dialog Create Custom Text Library, konfigurasikan parameter seperti yang dijelaskan dalam Tabel 1, lalu klik OK.

Tabel 1. Parameter untuk membuat pustaka teks kustom

Parameter	Description
Name	Nama pustaka teks. Nama duplikat diperbolehkan, tetapi kami menyarankan menggunakan nama unik untuk bisnis Anda.
Detection Scene	Kasus penggunaan pustaka teks. Nilai yang valid: Text Anti-spam: Berlaku untuk text anti-spam (ketika parameter `scenes` mencakup `antispam`). Texts or Objects on Image: Berlaku untuk image moderation (ketika parameter `scenes` mencakup `ad`).
Type	Jenis teks dalam pustaka. Nilai yang valid: Text: Menggunakan pencocokan kata kunci. Memicu kecocokan jika konten berisi kata kunci. Ini memberikan cakupan luas. Similar Text: Menggunakan pencocokan kemiripan teks. Memicu kecocokan hanya jika seluruh segmen teks mirip dengan sampel. Ini memberikan presisi tinggi. Catatan Opsi ini tersedia hanya ketika Detection Scene diatur ke Text Anti-spam.
Match Mode	Ketika Type diatur ke Text, pilih mode pencocokan untuk pustaka. Nilai yang valid: Precise: Kecocokan dipicu hanya jika teks yang dipindai berisi konten yang identik dengan kata kunci di pustaka. Check after Preprocess Texts : Menormalisasi teks yang dipindai dan kata kunci sebelum pencocokan. Logika normalisasi sebagai berikut: Huruf kapital diubah menjadi huruf kecil. Misalnya, jika teks input adalah "bitCoin", akan cocok dengan kata kunci "bitcoin". Karakter Tionghoa Tradisional secara seragam diubah menjadi karakter Tionghoa Sederhana. Misalnya, jika Anda memasukkan teks "中國", akan cocok dengan kata kunci "中国". Karakter yang secara visual mirip dikonversi. Misalnya, teks input "②" akan cocok dengan kata kunci "2". Catatan Untuk pustaka similar text, pencocokan setelah normalisasi digunakan secara default.
Suggestion	Tujuan pustaka teks. Jika Type adalah Text, nilai yang valid adalah: Block list: Jika ditemukan kecocokan, hasil tinjauan otomatis adalah `suggestion=block`. Review List: Jika ditemukan kecocokan, hasil tinjauan otomatis adalah `suggestion=review`. Filter List: Kata kunci dalam daftar ini diabaikan, tetapi konten lain tetap dipindai. Jika Type adalah Similar Text, nilai yang valid adalah: Block list: Jika ditemukan kecocokan, hasil tinjauan otomatis adalah `suggestion=block`. Review List: Jika ditemukan kecocokan, hasil tinjauan otomatis adalah `suggestion=review`. Trust list: Jika ditemukan kecocokan, hasil tinjauan otomatis adalah `suggestion=pass`.
BizType	Parameter `BizType` memungkinkan Anda mengonfigurasi dan menerapkan pustaka teks berbeda untuk kebutuhan bisnis berbeda, seperti menentukan pustaka teks untuk deteksi tertentu. Logikanya sebagai berikut: Jika Anda mengatur `BizType` ke "A" untuk pustaka teks dan juga mengirimkan `BizType="A"` dalam permintaan API Anda, deteksi hanya menggunakan pustaka yang diaktifkan dengan `BizType` tersebut. Jika tidak, deteksi menggunakan semua pustaka teks yang diaktifkan.

Setelah membuat pustaka teks, pustaka tersebut akan muncul dalam daftar pustaka teks.

Kelola konten (kata kunci atau similar text) dalam pustaka teks Anda.
Daftar Custom Text Library menampilkan semua pustaka teks kustom Anda. Pustaka teks berbasis umpan balik diidentifikasi dengan tag System dan mengikuti format penamaan SCENE_FEEDBACK_WHITE/BLACK. Misalnya, ANTISPAM_FEEDBACK_BLACK adalah block list yang dihasilkan sistem untuk skenario anti-spam teks.
1. Temukan pustaka yang ingin Anda kelola dan klik Modify di kolom Actions.
2. Di halaman Text Libraries, kelola kata kunci dalam pustaka.
  Halaman Text Libraries menampilkan semua kata kunci yang telah ditambahkan dan jumlah hit-nya di kolom Detected in Last Seven Days. Jumlah ini tidak mencakup hari saat ini.
  Catatan
  Setelah menambahkan atau menghapus kata kunci, perubahan akan berlaku dalam waktu sekitar 15 menit.
  - Klik Add Keyword atau Import dan ikuti petunjuk di layar untuk menambahkan kata kunci ke pustaka.
  - Untuk menghapus kata kunci, pilih yang ingin dihapus dan klik Batch Delete. Anda juga dapat mengklik Delete di samping kata kunci individual untuk menghapusnya.

Operasi Terkait

Untuk pustaka teks yang dikelola sendiri, Anda dapat mengklik Delete, Modify, atau Disable di kolom Actions pada halaman Custom Text Library untuk mengelola pustaka.