OpenSearch:Sumber data OSS

Sebelum memulai

1. Aktifkan Object Storage Service (OSS).

2. Buat bucket di Konsol OSS.

3. Unggah objek ke bucket OSS.

Tambahkan sumber data OSS

1. Masuk ke Konsol OpenSearch, pilih OpenSearch Edisi Mesin Pengambilan dari pojok kiri atas, temukan instans Anda di halaman Instances, lalu klik Manage pada kolom Actions.

2. Konfigurasikan sumber data.

   Dari panel navigasi sebelah kiri, buka Configuration Center > Data Sources dan klik Add Data Source. Di panel yang muncul, pilih OSS, masukkan Data Source Name, OSS Path, dan Bucket, lalu klik Verify.

Parameter:

• Data Source Name: Nama kustom untuk sumber data. Nama harus dimulai dengan huruf dan hanya boleh berisi huruf, angka, serta garis bawah (_).

• OSS Path: Jalur yang digunakan untuk mengakses objek di OSS.

• Bucket: Nama bucket OSS.

3. Buat tabel indeks:

   1. Setelah membuat sumber data OSS, pilih Configuration Center > Index Schema dan klik Create Index Table.

   2. Di halaman konfigurasi, masukkan Index Table Name kustom dan pilih sumber data OSS yang telah Anda buat.

Pada pengaturan bidang, tambahkan dua bidang. Pertama, tambahkan bidang pk bertipe STRING, tetapkan sebagai primary key, dan atur metode analisisnya menjadi uniq. Kedua, tambahkan bidang embeddings bertipe FLOAT, aktifkan multi-value, gunakan ^] sebagai pembatas, dan atur metode analisisnya menjadi uniq. Pada pengaturan indeks, tambahkan dua indeks: indeks pk bertipe PRIMARYKEY64 yang mencakup bidang pk, dan indeks vector bertipe CUSTOMIZED yang mencakup bidang pk,embeddings.

Pada contoh ini, bidang pk dan embeddings telah dikonfigurasi. Untuk data sampel, lihat oss_test.txt.

CMD=add
pk=999000
embeddings=0.00.0039257140.0098142860.0039257140.00
pk=999000
embeddings=0.00.0039257140

Untuk detail format data yang diperlukan oleh skema indeks, lihat bagian Format file data.

4. Mulai pengindeksan ulang: Di panel navigasi sebelah kiri, pilih O&M Center > O&M Management dan klik Reindexing.

Di panel Reindexing, pilih Data Source Name dari sumber data OSS yang telah Anda buat. Konfirmasi Data Source Type dan Associated Index Table. Atur Timestamp, lalu klik OK. Setelah pengindeksan ulang selesai, versi indeks lengkap baru akan dihasilkan. Alihkan ke versi baru tersebut untuk mengaktifkannya.

Setelah pengindeksan ulang selesai, Anda dapat menjalankan uji kueri.

Format file HA

File data harus dikodekan dalam UTF-8 dan mengikuti struktur tertentu. Bagian ini menjelaskan format input standar.

• Contoh berikut menunjukkan isi file data bernama standard_sample.data:

CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=Alibaba Cloud Computing Co., Ltd.^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^
CMD=delete^_
PK=12345321^_CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=Alibaba Cloud Computing Co., Ltd.^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^
CMD=delete^_
PK=12345321^_

File data terdiri dari perintah, seperti add dan delete. Setiap perintah merupakan kumpulan pasangan kunci-nilai. Gunakan ^^\n untuk memisahkan perintah, ^_\n untuk memisahkan pasangan kunci-nilai dalam satu perintah, dan ^] untuk memisahkan nilai dalam bidang multi-value.

• Pembatas file

C++ encoding	ASCII (Hex)	Deskripsi	Tampilan di Emacs/vi	Metode input di Emacs	Metode input di vi
"\x1F\n"	1F0A	Pembatas pasangan kunci-nilai	^_ (diikuti jeda baris)	C-q C-7	C-v C-7
"\x1E\n"	1E0A	Pembatas perintah	^^ (diikuti jeda baris)	C-q C-6	C-v C-6
"\x1D"	1D	Pembatas multi-value	^]	C-q C-5	C-v C-5
"\x1C"	1C	Identifikasi bobot bagian	^\	C-q C-4	C-v C-4
"\x1D"	1D	Pembatas item multi-value	^]	C-q C-5	C-v C-5
"\x03"	03	Pembatas bidang sub-dokumen	^C	C-q C-c	C-v C-c

• Format perintah

  • Format perintah add

    Perintah add menambahkan konten baru ke indeks.

    Baris pertama perintah add harus berupa CMD=add. Baris ini diikuti oleh bidang-bidang dokumen. Urutan bidang dalam perintah tidak harus sesuai dengan urutannya dalam skema indeks. Namun, semua bidang yang digunakan harus telah didefinisikan dalam skema indeks.

CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=Alibaba Cloud Computing Co., Ltd.^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=Alibaba Cloud Computing Co., Ltd.^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^

• Format perintah delete

  Perintah delete menghapus dokumen tertentu dari indeks.

  Baris pertama harus berupa CMD=delete, diikuti oleh baris yang menentukan bidang yang didefinisikan sebagai primary key dalam skema indeks.

  Jika bidang terpisah digunakan untuk partition hashing, bidang tersebut juga harus disertakan. Jika bidang primary key juga digunakan untuk partition hashing, Anda hanya perlu menentukannya sekali.

CMD=delete^_
PK=12345321^_
^^CMD=delete^_
PK=12345321^_
^^

Hapus sumber data OSS

Di halaman Data Sources, temukan sumber data yang ingin Anda hapus dan klik Delete pada kolom Actions.

Penting:

• Aksi ini tidak dapat dikembalikan. Lakukan dengan hati-hati.

Dialog konfirmasi akan muncul. Klik Confirm untuk melanjutkan.

• Anda tidak dapat menghapus sumber data selama masih terkait dengan tabel indeks. Anda harus menghapus tabel indeks terlebih dahulu sebelum dapat menghapus sumber data.

Catatan penggunaan

• Layanan OSS harus berada di Wilayah yang sama dengan instans OpenSearch Edisi Mesin Pengambilan Anda.

• OpenSearch Edisi Mesin Pengambilan tidak mendukung bucket OSS Anywhere.

• Saat Anda menambahkan sumber data OSS, peran terkait layanan bernama AliyunServiceRoleForSearchEngine akan dibuat secara otomatis. Jika peran ini sudah ada, peran tersebut tidak akan dibuat ulang. OpenSearch menggunakan peran ini untuk mengakses sumber daya Anda di layanan Alibaba Cloud lainnya.