：Panduan Cepat: Buat kluster dan ambil data

Apa yang akan Anda pelajari

• Membuat dan mengonfigurasi kluster ES.

• Memodelkan data menggunakan Dev Tools di Kibana.

  Kibana adalah komponen inti ES yang menyediakan antarmuka grafis intuitif untuk menjelajahi, menganalisis, dan memvisualisasikan data yang disimpan di ES. Untuk kenyamanan Anda, Kibana telah terintegrasi ke dalam Konsol ES dan tidak memerlukan instalasi manual.

• Memasukkan data sampel dan melakukan berbagai operasi pengambilan data.

Setelah menyelesaikan tutorial ini, Anda akan memahami kemampuan dasar ES, termasuk cara membuat indeks, membaca dan menulis data, serta melakukan pencarian.

Versi ES dan biaya

Sebelum memulai, tinjau informasi penting berikut untuk tutorial ini:

• Jenis dan versi ES: Vector Enhanced Edition 8.17.0.

  Versi ini memodularisasi layanan algoritma inti dalam pipeline pencarian AI. Layanan tersebut mencakup parsing dokumen, slicing, text embedding, analisis query, retrieval, sorting, dan large language models (LLMs). Versi ini mendukung semantic search dan membantu Anda membangun kemampuan retrieval-augmented generation (RAG) serta pencarian multimodal dengan cepat.

• Perkiraan biaya: Tutorial ini menggunakan metode penagihan pay-as-you-go. Jika Anda mengikuti spesifikasi dan durasi yang direkomendasikan, total biaya diperkirakan kurang dari 20 CNY. Setelah menyelesaikan tutorial, segera lepas kluster untuk menghindari biaya tambahan.

Prasyarat

• Daftar dan login ke Akun Alibaba Cloud. Pastikan akun tersebut memiliki izin untuk membuat dan mengelola sumber daya seperti Elasticsearch dan VPC.

• Buat virtual private cloud (VPC) dan vSwitch. Catat wilayah dan zona tempat VPC dan vSwitch berada. Anda harus memilih wilayah dan zona yang sama saat membuat kluster ES. Jika tidak, kluster tidak dapat dikaitkan dengan VPC dan vSwitch tersebut.

Prosedur

Langkah 1: Buat kluster (sekitar 20 menit)

1. Buka halaman pembuatan kluster untuk membuat kluster. Konfigurasikan parameter utama seperti yang dijelaskan dalam tabel berikut. Anda dapat mempertahankan nilai default untuk parameter lainnya.

   Parameter	Deskripsi
   Billing Method	Pay-as-you-go. Anda dapat melepas kluster kapan saja.
   Region dan Zone	Wilayah: Pilih wilayah tempat VPC dan vSwitch Anda berada. Zona: Untuk tutorial ini, pilih zona tunggal untuk mempercepat pembuatan kluster. Untuk lingkungan produksi, Anda dapat meningkatkan ke penerapan multi-zona. Tutorial ini menggunakan China (Hangzhou) / Zona I.
   Network Type	Pilih VPC dan vSwitch yang telah Anda buat.
   Cluster Type dan Elasticsearch Version	Vector Enhanced Edition 8.17.0. Tutorial ini didasarkan pada versi ini.
   Data Node Specifications	CPU Type: Intel 2-core 4 GiB. Data Node Storage Type and Size: Standard SSD, storage space 20 GiB per node. Number of Data Nodes: 2. Data node menyimpan data indeks dan terutama digunakan untuk operasi seperti membuat, mengambil, memperbarui, menghapus, dan mengagregasi dokumen.
   	ES_test
   Password	Buat kata sandi kustom. Anda akan menggunakannya nanti untuk login ke Kibana guna membuat indeks dan menjelajahi data.

2. Klik Buy Now dan tunggu sekitar 20 menit hingga status kluster berubah menjadi Normal sebelum melanjutkan ke langkah berikutnya.

Langkah 2: Konfigurasikan dan login ke Kibana

Titik akhir publik untuk Kibana diaktifkan secara default. Namun, demi alasan keamanan, akses publik ditolak dari semua alamat IP secara default. Anda harus menambahkan alamat IP perangkat Anda ke daftar putih untuk mengakses Kibana.

Otorisasi akses menggunakan verifikasi dua faktor. Pertama, login ke Akun Alibaba Cloud Anda. Kemudian, gunakan kredensial akses kluster ES untuk verifikasi kedua. Username tetap elastic dan Anda harus memberikan kata sandi yang sesuai.

1. Di panel navigasi sebelah kiri, klik Data Visualization. Di bagian Kibana, klik Modify Configuration.

2. Di bagian Network Access Configuration, Anda dapat mengubah daftar putih akses publik Kibana.

   Dapatkan alamat IP perangkat Anda

   Anda dapat memperoleh alamat IP perangkat Anda berdasarkan skenario berikut.

   Skenario	Alamat IP yang harus diperoleh	Metode
   Akses Kibana dari perangkat lokal melalui Internet.	Alamat IP publik perangkat lokal Anda. Catatan Jika perangkat lokal Anda berada dalam jaringan rumahan atau jaringan area lokal (LAN) perusahaan, Anda harus menambahkan alamat IP egress publik dari LAN tersebut.	Jalankan perintah curl ipinfo.io/ip untuk menanyakan alamat IP publik perangkat lokal Anda.
   Akses Kibana dari Instance ECS melalui Internet.	Jika Instance ECS dan kluster ES berada di VPC yang berbeda, Anda dapat mengakses Kibana menggunakan alamat IP publik Instance ECS. Untuk itu, Anda harus memperoleh alamat IP publik Instance ECS dan menambahkannya ke daftar putih akses publik kluster ES.	Login ke Konsol ECS dan lihat alamat IP publik instance tersebut di daftar instance.

   Tambahkan alamat IP ke daftar putih akses publik

   Dapatkan alamat IP perangkat Anda dan tambahkan ke daftar putih akses publik.

   1. Di sebelah kanan grup Configure, klik default. Di kotak dialog yang muncul, tambahkan alamat IP ke daftar putih.

      Jenis konfigurasi	Format dan contoh	Catatan penting
      Format alamat IPv4	Alamat IP tunggal: 192.168.0.1 Blok CIDR: 192.168.0.0/24. Kami menyarankan agar Anda menggabungkan alamat IP yang tersebar menjadi blok CIDR. Maksimal 300 alamat IP atau blok CIDR dapat dikonfigurasi untuk satu kluster. Pisahkan beberapa alamat IP atau blok CIDR dengan koma (,). Jangan tambahkan spasi sebelum atau sesudah koma.	Alamat publik default: 127.0.0.1. Ini menolak akses dari semua alamat IPv4. 0.0.0.0/0: Mengizinkan akses dari semua alamat IPv4. Penting Kami sangat menyarankan agar Anda tidak mengonfigurasi 0.0.0.0/0 karena risiko keamanan yang tinggi. Beberapa kluster dan wilayah tidak mendukung 0.0.0.0/0. Ketersediaannya tergantung pada informasi di UI atau pesan error.

   2. Setelah menyelesaikan konfigurasi, klik OK.

3. Klik Access over Internet. Di halaman login Kibana, masukkan username dan password. Setelah login, Anda akan diarahkan ke Konsol Kibana, tempat Anda dapat menjelajahi data ES.

   • Username: Username tetap elastic.

   • Password: Kata sandi yang Anda atur saat membuat kluster ES. Jika lupa kata sandi, Anda dapat mengatur ulang.

     

4. Di konsol Dev Tools, jalankan perintah GET / untuk menanyakan informasi kluster.

   

   Verifikasi: Jika panel kanan menampilkan objek JSON yang berisi informasi seperti nomor versi dan nama kluster, koneksi berhasil.

   

Langkah 3: Buat indeks

Di Dev Tools Kibana, jalankan perintah berikut untuk membuat indeks bernama product_info untuk data produk manajemen kekayaan.

PUT /product_info
{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 1
  },
  "mappings": {
      "properties": {
        "productName": {
          "type": "text",
          "analyzer": "ik_smart"
        },
        "annual_rate":{
          "type":"keyword"
        },
        "describe": {
          "type": "text",
          "analyzer": "ik_smart"
        }
    }
  }
}

Deskripsi parameter utama:

settings: Menentukan konfigurasi shard indeks. Misalnya, menentukan 5 shard utama dan 1 replika untuk setiap shard utama.

mappings: Menentukan bidang indeks. Misalnya, menentukan tiga bidang dalam dokumen indeks: productName, annual_rate, dan describe. Bidang bertipe text mendukung tokenisasi dan pencarian fuzzy. Bidang bertipe keyword digunakan untuk pencocokan nilai eksak. Untuk informasi lebih lanjut tentang tipe bidang, lihat Field data types.

Verifikasi: Jika hasil berisi "acknowledged": true dan "shards_acknowledged": true, indeks berhasil dibuat.

Langkah 4: Masukkan data

Jalankan perintah berikut untuk memasukkan data uji secara massal:

POST /product_info/_bulk
{"index":{}}
{"productName":"Wealth Management Product A","annual_rate":"3.2200%","describe":"180-day fixed-term product. Minimum investment: 20,000. Stable returns. Optional push notifications."}
{"index":{}}
{"productName":"Wealth Management Product B","annual_rate":"3.1100%","describe":"90-day scheduled investment product. Minimum investment: 10,000. Daily push notifications for credited returns."}
{"index":{}}
{"productName":"Wealth Management Product C","annual_rate":"3.3500%","describe":"270-day scheduled investment product. Minimum investment: 40,000. Daily push notifications for immediately credited returns."}
{"index":{}}
{"productName":"Wealth Management Product D","annual_rate":"3.1200%","describe":"90-day scheduled investment product. Minimum investment: 12,000. Daily push notifications for credited returns."}
{"index":{}}
{"productName":"Wealth Management Product E","annual_rate":"3.0100%","describe":"Recommended 30-day scheduled investment product. Minimum investment: 8,000. Daily push notifications for returns."}
{"index":{}}
{"productName":"Wealth Management Product F","annual_rate":"2.7500%","describe":"Popular 3-day short-term product. No service fees. Minimum investment: 500. Return notifications sent by text message."}

Verifikasi: Jika hasil berisi "errors": false, data berhasil dimasukkan.

Langkah 5: Ambil data

GET /product_info/_search
{
  "query": {
    "match": {
      "describe": "Daily push notifications for credited returns"
    }
  }
}

GET /product_info/_search
{
  "query": {
    "range": {
      "annual_rate": {
        "gte": "3.0000%",
        "lte": "3.1300%"
      }
    }
  }
}

Bersihkan sumber daya dan langkah selanjutnya

Hapus data dan lepas kluster ES

1. Jalankan perintah berikut untuk menghapus indeks uji yang dibuat dalam tutorial ini.

   DELETE /product_info

   Hasil berikut dikembalikan:

2. Kembali ke daftar kluster di Konsol Elasticsearch.

3. Di daftar kluster, temukan kluster yang ingin Anda lepas. Di kolom Actions, klik > Release Cluster dan pilih Immediately Delete. Lalu, klik OK untuk melepas kluster.

   Penting

   Melepas kluster akan menghapus kluster dan semua datanya secara permanen. Tindakan ini tidak dapat dikembalikan. Lakukan dengan hati-hati.

Langkah selanjutnya untuk belajar

Untuk mempelajari lebih lanjut tentang ES, Anda dapat menjelajahi topik-topik berikut:

• Pengumpulan/migrasi data: Kumpulkan atau migrasikan data bisnis Anda ke ES.

  Sebelum migrasi, Anda perlu menentukan apakah akan meningkatkan konfigurasi kluster berdasarkan volume data Anda.

• Layanan AI: Gunakan teknologi retrieval-augmented generation (RAG) untuk meningkatkan setiap tahap proses pencarian.

• Optimasi kinerja: Jelajahi teknik desain indeks dan optimasi kueri untuk meningkatkan kinerja kluster.

• Visualisasi Kibana: Pelajari cara menggunakan fitur Kibana seperti Discover dan Dashboard untuk membuat dasbor visualisasi data.