ApsaraMQ for Kafka:Buat konektor sink Elasticsearch

Langkah 1: Konfigurasikan informasi dasar

Pada langkah Configure Basic Information, tetapkan nama konektor dan tinjau detail instans.

Klik Next.

Langkah 2: Konfigurasikan layanan sumber

Pada langkah Configure Source Service, pilih Message Queue for Apache Kafka sebagai layanan sumber dan konfigurasikan parameter berikut.

Klik Configure Runtime Environment untuk memperluas parameter tambahan.

Langkah 3: Konfigurasikan layanan tujuan

Pada langkah Configure Destination Service, pilih Elasticsearch sebagai layanan tujuan dan konfigurasikan parameter berikut.

Klik Create.

Deploy konektor

Setelah dibuat, konektor muncul di halaman Connectors. Klik Deploy di kolom Actions untuk menjalankan konektor.

Kirim pesan uji

1. Di halaman Connectors, temukan konektor dan klik Test di kolom Actions.

2. Di panel Send Message, atur Method of Sending ke Console.

3. Di bidang Message Key, masukkan kunci, misalnya demo.

4. Di bidang Message Content, masukkan isi JSON, misalnya:

      {"key": "test"}

5. Untuk Send to Specified Partition, klik Yes dan masukkan Partition ID (misalnya, 0) untuk menargetkan partisi tertentu, atau klik No agar sistem menentukan sendiri. Untuk mencari tahu ID partisi, lihat Lihat status partisi.

Anda juga dapat mengirim pesan uji melalui Docker atau SDK. Pilih opsi yang sesuai di bidang Method of Sending dan ikuti petunjuk di layar.

Periksa indeks Elasticsearch

1. Masuk ke konsol Kibana.

2. Jalankan kueri berikut untuk mencari indeks target:

      GET /<index_name>/_search

3. Pastikan tanggapan berisi pesan yang Anda kirim. Tanggapan sukses terlihat seperti ini:

      {
        "took": 8,
        "timed_out": false,
        "_shards": {
          "total": 5,
          "successful": 5,
          "skipped": 0,
          "failed": 0
        },
        "hits": {
          "total": {
            "value": 1,
            "relation": "eq"
          },
          "max_score": 1.0,
          "hits": [
            {
              "_index": "product_****",
              "_type": "_doc",
              "_id": "TX3TZHgBfHNEDGoZ****",
              "_score": 1.0,
              "_source": {
                "msg_body": {
                  "key": "test",
                  "offset": 2,
                  "overflowFlag": false,
                  "partition": 2,
                  "timestamp": 1616599282417,
                  "topic": "dv****",
                  "value": "test1",
                  "valueSize": 8
                },
                "doc_as_upsert": true
              }
            }
          ]
        }
      }