Elasticsearch:Panduan cepat: Buat kluster dan ambil data

Apa yang akan Anda pelajari

• Membuat dan mengonfigurasi kluster ES.

• Memodelkan data menggunakan Dev Tools di Kibana.

  Kibana merupakan salah satu komponen inti ES yang memungkinkan Anda menjelajahi, menganalisis, dan menyajikan data yang tersimpan di ES secara intuitif melalui antarmuka grafis. Kibana telah terintegrasi dalam Konsol ES, sehingga Anda tidak perlu menginstalnya secara manual.

• Memasukkan data sampel dan menjalankan berbagai operasi pencarian.

Setelah menyelesaikan tutorial ini, Anda dapat membuat indeks, membaca dan menulis data, serta menjalankan pencarian di ES.

Versi dan biaya ES

Sebelum memulai, tinjau informasi penting berikut mengenai uji coba ini:

• Jenis dan versi ES: Vector Enhanced Edition 8.17.0.

  Edisi ini memodularisasi layanan algoritma inti dalam pipeline pencarian AI, termasuk parsing dokumen, chunking, text embedding, analisis query, retrieval, ranking, dan integrasi large language model (LLM). Edisi ini mendukung semantic search dan membantu perusahaan membangun kemampuan Retrieval-Augmented Generation (RAG) serta pencarian multi-modal dengan cepat.

• Perkiraan biaya: Tutorial ini menggunakan penagihan pay-as-you-go sepanjang proses dan menerapkan konfigurasi minimal untuk menjaga biaya uji coba tetap rendah: zona tunggal, spesifikasi node dan storage space terkecil, tanpa dedicated master node, serta tanpa fitur enhancement lanjutan yang dikenai biaya tambahan. Jika Anda mengikuti prosedur dalam topik ini selama sekitar 45 menit dan segera melepas kluster setelah selesai, total biaya diperkirakan kurang dari USD 5.

Dengan konfigurasi yang direkomendasikan dalam topik ini, hanya tiga item pay-as-you-go yang dikenai biaya: spesifikasi node data, storage space node data, dan spesifikasi node Kibana. Anda dapat melihat daftar item penagihan beserta harga satuan masing-masing di bagian bawah halaman pembelian.

Kluster ES ditagih per jam, dan biaya terus berjalan selama kluster aktif. Setelah uji coba selesai, segera lepas kluster dengan mengikuti bagian "Bersihkan sumber daya dan langkah selanjutnya" dalam topik ini untuk menghindari biaya yang tidak perlu.

Prasyarat

• Daftar dan login ke Akun Alibaba Cloud. Pastikan akun tersebut memiliki izin untuk membuat dan mengelola sumber daya seperti Elasticsearch dan Virtual Private Cloud (VPC).

• Buat Virtual Private Cloud (VPC) dan vSwitch, lalu catat region dan zone tempat VPC dan vSwitch berada. Saat membuat kluster ES nanti, Anda harus memilih region dan zone yang sama. Jika tidak, kluster tidak dapat dikaitkan dengan VPC tersebut.

Prosedur

Langkah 1: Buat kluster (sekitar 20 menit)

1. Login ke Konsol Alibaba Cloud Elasticsearch. Pada halaman Elasticsearch Clusters, klik Create untuk menuju halaman pembelian kluster. Konfigurasikan parameter utama berikut dan biarkan parameter lain pada nilai default-nya.

   Parameter	Deskripsi
   Billing Method	Pay-as-you-go. Anda dapat melepas kluster kapan saja.
   Region and zone	Region: Pilih region tempat VPC dan vSwitch yang telah Anda buat berada. Zone: Tiga zona dipilih secara default. Untuk uji coba, ubah secara manual menjadi zona tunggal agar waktu tunggu pembuatan kluster lebih singkat. Untuk lingkungan produksi, Anda dapat meningkatkan ke beberapa zona. Contoh ini menggunakan China (Hangzhou) / Zone I. Jika Anda tetap menggunakan tiga zona atau dua zona, jumlah node data minimal harus 3 dan merupakan kelipatan 3, sehingga Anda tidak dapat mengatur jumlahnya menjadi 2 node data seperti yang digunakan dalam tutorial ini.
   Network Type	Untuk jenis jaringan, pilih VPC dan vSwitch yang telah Anda buat.
   Cluster Type dan Elasticsearch Version	Vector Enhanced Edition 8.17.0. Tutorial ini berbasis versi ini.
   Scenario and advanced features	Pertahankan skenario retrieval default. Dua fitur enhancement lanjutan diaktifkan secara default dalam skenario ini. Tangani sebagai berikut: FalconSeek high-performance search engine: Pertahankan dalam keadaan aktif. Mengaktifkannya gratis dan tidak menambahkan item penagihan, sehingga pertahankan untuk mencoba kemampuan retrieval yang dipercepat. OpenStore storage engine (high-performance retrieval): Nonaktifkan. Fitur ini ditagih berdasarkan OpenStore storage space (DFS) dan cache disk space. Saat diaktifkan, 160 GiB penyimpanan bersama dibeli secara default dan dikenai biaya tambahan. Tutorial ini tidak memerlukannya.
   Data Node Specifications	Spesifikasi node: 2 vCPU dan memori 4 GiB, opsi terkecil yang tersedia. Jenis penyimpanan: pertahankan default. Storage space per node: 20 GiB, opsi terkecil yang tersedia. Jumlah node data: 2, nilai terkecil yang dapat Anda konfigurasikan dalam zona tunggal. Node data ini menyimpan data indeks dan terutama bertugas membuat, mengambil, memperbarui, menghapus, serta mengagregasi dokumen.
   Dedicated Master Node	Secara default dipilih, dengan tiga node masing-masing berisi 2 vCPU dan memori 4 GiB. Tutorial ini merupakan skenario uji coba, sehingga hapus centang pada dedicated master node untuk mengurangi biaya. Dedicated master node mengelola metadata kluster. Setelah Anda menghapus centang, halaman akan memberikan peringatan bahwa dua node data memiliki risiko split-brain. Anda dapat mengabaikan peringatan ini untuk uji coba fungsional jangka pendek, tetapi pastikan Anda mengaktifkan dedicated master node sebelum menjalankan beban kerja produksi.
   Cluster Name	ES_test
   Password	Tetapkan kata sandi kustom. Anda akan menggunakan kata sandi ini nanti untuk login ke Kibana guna membuat indeks dan menjelajahi data.

2. Klik Buy Now dan tunggu sekitar 20 menit hingga status kluster berubah menjadi Active. Setelah itu, Anda dapat melanjutkan ke langkah berikutnya.

Langkah 2: Konfigurasikan dan login ke Kibana

Akses publik ke Kibana diaktifkan secara default. Untuk alasan keamanan, akses publik secara default menolak semua alamat IP, sehingga Anda harus menambahkan alamat IP perangkat yang ingin digunakan ke daftar putih sebelum dapat mengakses Kibana.

Otentikasi akses menggunakan verifikasi dua faktor. Pertama, login ke Akun Alibaba Cloud Anda. Kemudian, lakukan login kedua menggunakan kredensial akses kluster ES, dengan username tetap elastic dan kata sandi logon yang sesuai.

1. Di panel navigasi sebelah kiri, klik Data Visualization. Di bagian Kibana, klik Modify Configuration.

2. Di bagian Network Access Configuration, ubah konfigurasi akses publik Kibana dan daftar putihnya.

   Dapatkan alamat IP perangkat Anda

   Ambil alamat IP perangkat yang ingin Anda gunakan berdasarkan skenario berikut.

   Skenario	Alamat IP yang harus didapatkan	Cara mendapatkannya
   Akses Kibana dari perangkat lokal melalui Internet.	Alamat IP publik perangkat lokal. Catatan Jika perangkat berada di jaringan rumah atau jaringan area lokal (LAN) perusahaan, tambahkan alamat IP egress publik LAN tersebut.	Jalankan perintah curl ipinfo.io/ip untuk menanyakan alamat IP publik perangkat.
   Akses Kibana dari Instance ECS melalui Internet.	Jika Instance ECS dan kluster ES berada di VPC yang berbeda, Anda dapat mengakses Kibana melalui alamat IP publik Instance ECS. Dapatkan alamat IP publik Instance ECS dan tambahkan ke daftar putih akses publik kluster ES.	Login ke Konsol ECS dan lihat alamat IP publik instance tersebut di daftar instance.

   Tambahkan ke daftar putih akses publik

   Dapatkan alamat IP perangkat Anda dan tambahkan ke daftar putih akses publik.

   1. Klik Configure di sebelah kanan grup default. Di kotak dialog yang muncul, tambahkan alamat IP ke daftar putih.

      Jenis konfigurasi	Format dan contoh	Catatan penting
      Format alamat IPv4	Alamat IP tunggal: 192.168.0.1 Blok CIDR: 192.168.0.0/24. Kami menyarankan Anda menggabungkan alamat IP yang tersebar menjadi blok CIDR. Satu kluster mendukung maksimal 300 alamat IP atau blok CIDR. Pisahkan beberapa alamat IP atau blok CIDR dengan koma (,), dan jangan tambahkan spasi sebelum atau sesudah koma.	Alamat publik default: 127.0.0.1, yang menolak akses dari semua alamat IPv4. 0.0.0.0/0: Mengizinkan akses dari semua alamat IPv4. Penting Jangan konfigurasikan 0.0.0.0/0, karena menimbulkan risiko keamanan tinggi. Beberapa kluster dan region tidak mendukung 0.0.0.0/0. Rujuk konsol atau pesan error untuk informasi akurat.

   2. Setelah konfigurasi selesai, klik OK.

3. Klik Access over Internet. Di halaman login Kibana, masukkan username dan password. Setelah berhasil login, Anda akan masuk ke konsol Kibana dan dapat menjelajahi data ES.

   • Username: tetap elastic.

   • Password: kata sandi yang Anda tetapkan saat membuat kluster ES. Jika lupa, Anda dapat mengatur ulang kata sandi.

4. Buka konsol Developer Tools dan jalankan perintah GET / untuk menanyakan informasi kluster.

   Verifikasi: Jika panel kanan mengembalikan objek JSON yang berisi informasi seperti nomor versi dan nama kluster, koneksi normal.

Langkah 3: Buat indeks

Di Kibana Dev Tools, jalankan operasi API RESTful untuk membuat indeks (mapping) bernama product_info untuk data produk manajemen kekayaan.

PUT /product_info
{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 1
  },
  "mappings": {
      "properties": {
        "productName": {
          "type": "text",
          "analyzer": "ik_smart"
        },
        "annual_rate":{
          "type":"keyword"
        },
        "describe": {
          "type": "text",
          "analyzer": "ik_smart"
        }
    }
  }
}

Deskripsi parameter utama:

settings: mendefinisikan konfigurasi shard indeks. Misalnya, konfigurasi ini menentukan lima primary shard dan satu replica untuk setiap primary shard.

mappings: mendefinisikan bidang indeks. Misalnya, konfigurasi ini menentukan tiga bidang dalam file indeks: productName, annual_rate, dan describe. Bidang bertipe text mendukung tokenisasi dan pencarian fuzzy, sedangkan bidang bertipe keyword digunakan untuk pencocokan nilai eksak. Untuk informasi lebih lanjut tentang tipe bidang, lihat Field data types.

Verifikasi: Jika respons berisi "acknowledged": true dan "shards_acknowledged": true, indeks berhasil dibuat.

Langkah 4: Masukkan data

Jalankan kode berikut untuk memasukkan data uji secara massal:

POST /product_info/_bulk
{"index":{}}
{"productName":"Wealth Management Product A","annual_rate":"3.2200%","describe":"180-day fixed-term product. Minimum investment: 20,000. Stable returns. Optional push notifications."}
{"index":{}}
{"productName":"Wealth Management Product B","annual_rate":"3.1100%","describe":"90-day scheduled investment product. Minimum investment: 10,000. Daily push notifications for credited returns."}
{"index":{}}
{"productName":"Wealth Management Product C","annual_rate":"3.3500%","describe":"270-day scheduled investment product. Minimum investment: 40,000. Daily push notifications for immediately credited returns."}
{"index":{}}
{"productName":"Wealth Management Product D","annual_rate":"3.1200%","describe":"90-day scheduled investment product. Minimum investment: 12,000. Daily push notifications for credited returns."}
{"index":{}}
{"productName":"Wealth Management Product E","annual_rate":"3.0100%","describe":"Recommended 30-day scheduled investment product. Minimum investment: 8,000. Daily return message notifications."}
{"index":{}}
{"productName":"Wealth Management Product F","annual_rate":"2.7500%","describe":"Popular short-term product. 3-day term, no fees. Minimum investment: 500. Return notifications by SMS."}

Verifikasi: Jika respons berisi "errors": false, data berhasil dimasukkan.

Langkah 5: Cari data

GET /product_info/_search
{
  "query": {
    "match": {
      "describe": "Daily push notifications for credited returns"
    }
  }
}

GET /product_info/_search
{
  "query": {
    "range": {
      "annual_rate": {
        "gte": "3.0000%",
        "lte": "3.1300%"
      }
    }
  }
}

Bersihkan sumber daya dan langkah selanjutnya

Hapus data dan lepas kluster ES

1. Jalankan kode berikut untuk menghapus indeks uji yang Anda buat dalam topik ini.

   DELETE /product_info

   Respons berikut dikembalikan:

   {
   "acknowledged" : true
   }

2. Kembali ke daftar kluster di Konsol Alibaba Cloud Elasticsearch.

3. Di daftar kluster, temukan kluster yang ingin Anda lepas. Di kolom Actions kluster tersebut, klik > Release Cluster, pilih Immediately Delete, lalu klik OK untuk melepas kluster.

   Penting

   Melepas kluster akan menghapus kluster dan semua datanya secara permanen. Tindakan ini tidak dapat dikembalikan, jadi lakukan dengan hati-hati.

Langkah selanjutnya

Untuk mempelajari lebih lanjut tentang ES, jelajahi topik berikut:

• Ingesti atau migrasi data: kumpulkan atau migrasikan data bisnis Anda ke ES.

  Sebelum migrasi, lakukan penilaian awal berdasarkan volume data Anda untuk menentukan apakah Anda perlu meningkatkan konfigurasi kluster.

• Tuning kinerja: Jelajahi teknik desain indeks dan optimasi query untuk meningkatkan kinerja kluster.

• Visualisasi Kibana: Pelajari cara menggunakan fitur Kibana seperti Discover dan Dashboard untuk membuat dasbor visualisasi data.