OpenSearch LLM-based Conversational Search Edition memungkinkan Anda mengimpor berbagai jenis data, seperti data terstruktur, data tidak terstruktur, halaman web, tabel, dan video. Topik ini menjelaskan cara mengonfigurasi data di konsol OpenSearch.
Struktur Data
Tabel utama menggunakan struktur data tetap yang mencakup bidang-bidang berikut: score, id, title, category, url, content, dan timestamp.
Bidang | Tipe | Deskripsi |
score | FLOAT | Skor dokumen. |
id | LITERAL | ID unik dokumen. |
title | TEXT | Judul dokumen. |
category | LITERAL_ARRAY | Kategori dokumen. |
url | LITERAL | URL dokumen. |
content | TEXT | Isi dokumen. |
timestamp | INT | Timestamp dokumen, yang menunjukkan kesegaran dokumen. |
Saat mengunggah data terstruktur, bidang score, title, category, url, dan timestamp bersifat opsional.
Bidang score dan timestamp relevan dengan pengambilan dokumen. Untuk informasi lebih lanjut tentang konfigurasi kedua bidang tersebut, lihat Parameter Pengambilan Dokumen.
Nilai bidang category dapat berisi beberapa item yang dipisahkan dengan koma (,). Untuk informasi lebih lanjut, lihat Parameter Kustom.
Persiapan
Masuk ke Konsol OpenSearch.
Di bilah navigasi atas, pilih wilayah tempat instance Anda berada. Di pojok kiri atas, pilih OpenSearch LLM-Based Conversational Search Edition.
Di halaman Manajemen Instance, temukan instance yang ingin Anda kelola dan klik Manage di kolom Aksi. Di panel navigasi sisi kiri, pilih Configuration Center > Data Configuration, lalu pilih metode impor data sesuai kebutuhan bisnis Anda.
Unggah file
Klik Impor File. Panel Impor File akan muncul.
Data Tidak Terstruktur: Anda dapat mengunggah file dalam format DOC, DOCX, PDF, HTML, TXT, PPT, PPTX, XLS, XLSX, MP4, AVI, MKV, atau MOV. Ukuran satu file tidak boleh melebihi 128 MB. Anda dapat mengunggah beberapa file sekaligus.
CatatanJika file Word berisi banyak gambar, disarankan untuk mengonversinya ke format PDF agar proses unggah lebih cepat.
Data Terstruktur: Anda dapat mengunggah file JSON atau Excel yang dikodekan dalam UTF-8. Ukuran satu file tidak boleh melebihi 128 MB. Anda dapat mengunggah beberapa file sekaligus. Klik Contoh Data untuk melihat format datanya.
CatatanNama tabel dapat memiliki panjang hingga 20 karakter dan hanya boleh berisi huruf, angka, serta garis bawah (_).
Nama bidang dapat memiliki panjang hingga 30 karakter dan hanya boleh berisi huruf serta garis bawah (_). Nama bidang tidak boleh dimulai dengan garis bawah (_).
Maksimum 30 bidang dalam setiap file Excel dapat diimpor dan diperiksa. Bidang tambahan akan diabaikan.
Anda dapat memanggil operasi API Dorong Dokumen untuk mendorong beberapa dokumen sekaligus.
Impor data dari halaman web
Klik Impor URL Halaman Web. Pada tab Impor Halaman Web di panel Impor URL Halaman Web, masukkan URL dan klik Impor. Setiap URL harus menempati baris terpisah.
Impor data dari situs web
Klik Impor URL Halaman Web. Di panel Impor URL Halaman Web, klik tab Impor Situs Web. Pada tab Impor Situs Web, klik Buat Tugas. Di kotak dialog Buat Tugas, konfigurasikan parameter URL Situs Web dan Kategori, lalu klik OK. Anda dapat mengonfigurasi parameter Penyaringan URL, Pemilih XPath, dan Pemilih CSS sesuai kebutuhan bisnis Anda.
CatatanURL Situs Web: URL situs web yang isinya ingin Anda impor.
Kategori: kategori konten yang akan diimpor.
Penyaringan URL: aturan penyaringan URL. Aturan default adalah ekspresi reguler yang dimulai dengan URL situs web. Misalnya, jika URL situs web adalah http://www.abc.com/, ekspresi reguler default adalah http://www\.abc\.com/.*.
Pemilih XPath: pemilih yang menentukan elemen-elemen yang akan diimpor. Misalnya, jika Anda ingin mengimpor konten dalam tag div, atur parameter ini menjadi //div.
Pemilih CSS: pemilih yang menentukan elemen-elemen yang akan diimpor. Misalnya, jika Anda ingin mengimpor data dalam format <div class="content">Konten Halaman Web</div>, atur parameter ini menjadi div.content.
URL yang diakhiri dengan .png, .jpg, atau .jpeg tidak didukung.
Setelah mengonfigurasi parameter, klik OK. Anda dapat melihat jumlah halaman web yang telah dirayapi. Kemudian, klik OK untuk mengimpor isi situs web.
Impor tabel
Untuk informasi lebih lanjut, lihat Implementasikan Pencarian Percakapan Berbasis Tabel.
Kueri data
Setelah dokumen diunggah, Anda dapat melihat jumlah total dokumen di bagian Kueri Data. Anda juga dapat melakukan uji tanya-jawab di halaman Uji Tanya-Jawab. Selain itu, Anda dapat melihat atau menghapus dokumen berdasarkan kunci utama.
Lihat Dokumen
Pilih bidang id dari daftar drop-down, masukkan ID dokumen, lalu klik ikon Cari untuk menemukan dokumen. Kemudian, Anda dapat melihat detail dokumen tersebut.
Hapus Dokumen
Pilih bidang id dari daftar drop-down, masukkan ID dokumen, lalu klik ikon Cari untuk menemukan dokumen. Pilih Lainnya > Hapus di kolom Aksi untuk menghapus dokumen.
Jika kapasitas penyimpanan tidak mencukupi, dokumen gagal dihapus. Anda perlu memperluas kapasitas penyimpanan terlebih dahulu.
Edit Dokumen
Pilih bidang id dari daftar drop-down, masukkan ID dokumen, lalu klik ikon Cari untuk menemukan dokumen. Klik Edit di kolom Aksi untuk memodifikasi bidang yang dapat diedit untuk dokumen tersebut.
Catatan penggunaan
Nilai kunci utama setiap dokumen bersifat unik. Jika dua dokumen memiliki nilai kunci utama yang sama, dokumen yang lebih baru akan menimpa dokumen yang diimpor sebelumnya.
Ukuran data terstruktur yang Anda unggah sekaligus tidak boleh melebihi 2 MB.
Ukuran file data tidak terstruktur yang Anda unggah tidak boleh melebihi 128 MB.
Setelah data diunggah, waktu tunggu sebelum Anda dapat menanyakan data bergantung pada jumlah data yang harus diperbarui.