DataWorks：Sumber data Elasticsearch

Konfigurasikan tugas sinkronisasi offline untuk tabel tunggal

• Untuk informasi lebih lanjut tentang prosedur, lihat Konfigurasikan tugas di Antarmuka Tanpa Kode dan Konfigurasikan tugas di editor kode.

• Untuk semua parameter dan demo skrip untuk editor kode, lihat Lampiran 1: Demo skrip dan deskripsi parameter.

Konfigurasikan tugas penulisan real-time untuk tabel tunggal

Untuk informasi lebih lanjut tentang prosedur, lihat Konfigurasikan tugas sinkronisasi real-time di DataStudio.

Konfigurasikan tugas penulisan offline untuk seluruh database atau tugas penulisan real-time penuh/inkremental untuk tabel tunggal atau seluruh database

Untuk informasi lebih lanjut tentang prosedur, lihat Konfigurasikan tugas sinkronisasi real-time untuk seluruh database.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas di editor kode. Informasi berikut menjelaskan parameter yang harus dikonfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip pembaca

{
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    },
    "setting":{
        "errorLimit":{
            "record":"0" // Jumlah catatan kesalahan.
        },
        "jvmOption":"",
        "speed":{
            "concurrent":3,
            "throttle":false
        }
    },
    "steps":[
        {
            "category":"reader",
            "name":"Reader",
            "parameter":{
                "column":[ // Kolom yang akan dibaca.
                    "id",
                    "name"
                ],
                "endpoint":"http://es-cn-xxx.elasticsearch.aliyuncs.com:9200", // Titik akhir.
                "index":"aliyun_es_xx",  // Indeks.
                "password":"*******",  // Kata sandi.
                "multiThread":true,
                "scroll":"5m",  // Penanda scroll.
                "pageSize":5000,
                "connTimeOut":600000,
                "readTimeOut":600000,
                "retryCount":30,
                "retrySleepTime":"10000",
                "search":{
                            "range":{
                                "gmt_modified":{
                                    "gte":0
                                }
                            }
                        },  // Parameter kueri Elasticsearch. Ini sama dengan konten kueri Elasticsearch. API _search digunakan dan diubah namanya menjadi search.
                "type":"doc",
                "username":"aliyun_di"  // Nama pengguna.
            },
            "stepType":"elasticsearch"
        },
        {
            "category":"writer",
            "name":"Writer",
            "parameter":{ },
            "stepType":"stream"
        }
    ],
    "type":"job",
    "version":"2.0" // Nomor versi.
}

Parameter skrip pembaca

Contoh skrip penulis

{
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle":true,// Jika throttle disetel ke false, parameter mbps tidak berlaku, yang berarti tidak ada pembatasan. Jika throttle disetel ke true, pembatasan diaktifkan.
            "concurrent":1, // Jumlah pekerjaan bersamaan.
            "mbps":"12"// Pembatasan. 1 Mbps = 1 MB/s.
        }
    },
    "steps": [
        {
            "category": "reader",
            "name": "Reader",
            "parameter": {

            },
            "stepType": "stream"
        },
        {
            "category": "writer",
            "name": "Writer",
            "parameter": {
                "datasource":"xxx",
                "index": "test-1",
                "type": "default",
                "cleanup": true,
                "settings": {
                        "number_of_shards": 1,
                        "number_of_replicas": 0
                },
                "discovery": false,
                "primaryKeyInfo":{
                    "type":"pk",    
                     "fieldDelimiter":",",
                     "column":[]
                    },
                "batchSize": 1000,
                "dynamic":false,
                "esPartitionColumn":[
                    {
                        "name":"col1",  
                        "comment":"xx", 
                        "type":"STRING" 
                        }
                     ],
                "column": [
                    {
                        "name": "pk",
                        "type": "id"
                    },
                    {
                        "name": "col_ip",
                        "type": "ip"
                    },
                    {
                        "name": "col_array",
                        "type": "long",
                        "array": true
                    },
                    {
                        "name": "col_double",
                        "type": "double"
                    },
                    {
                        "name": "col_long",
                        "type": "long"
                    },
                    {
                        "name": "col_integer",
                        "type": "integer"
                    },
                    {
                        "name": "col_keyword",
                        "type": "keyword"
                    },
                    {
                        "name": "col_text",
                        "type": "text",
                        "analyzer": "ik_max_word",
                        "other_params":
                            {
                                "doc_values": false
                            }
                    },
                    {
                        "name": "col_geo_point",
                        "type": "geo_point"
                    },
                    {
                        "name": "col_date",
                        "type": "date",
                        "format": "yyyy-MM-dd HH:mm:ss"
                    },
                    {
                        "name": "col_nested1",
                        "type": "nested"
                    },
                    {
                        "name": "col_nested2",
                        "type": "nested"
                    },
                    {
                        "name": "col_object1",
                        "type": "object"
                    },
                    {
                        "name": "col_object2",
                        "type": "object"
                    },
                    {
                        "name": "col_integer_array",
                        "type": "integer",
                        "array": true
                    },
                    {
                        "name": "col_geo_shape",
                        "type": "geo_shape",
                        "tree": "quadtree",
                        "precision": "10m"
                    }
                ]
            },
            "stepType": "elasticsearch"
        }
    ],
    "type": "job",
    "version": "2.0"
}

Parameter skrip penulis

- id  // Tipe id sesuai dengan _id di Elasticsearch, yang dapat dipahami sebagai kunci utama unik. Saat menulis data, data dengan ID yang sama ditimpa dan tidak diindeks.
- string
- text
- keyword
- long
- integer
- short
- byte
- double
- float
- date
- boolean
- binary
- integer_range
- float_range
- long_range
- double_range
- date_range
- geo_point
- geo_shape
- ip
- token_count
- array
- object
- nested

 {
   "name": "guid",
   "other_params":
    {
       "doc_values": false
      },
    "type": "text"
  }

Skenario 1: Pengambilan data penuh

• Latar Belakang: Anda dapat menarik hasil kueri dokumen di Elasticsearch sebagai satu bidang tunggal.

• Contoh:

  
  ## Reader: Data mentah di Elasticsearch
  "hits": [
      {
          "_index": "mutiltest_1",
          "_type": "_doc",
          "_id": "IXgdO4MB4GR_1DmrjTXP",
          "_score": 1.0,
          "_source": {
              "feature1": "value1",
              "feature2": "value2",
              "feature3": "value3"
          }
      }]
  
  ## Konfigurasi plug-in Elasticsearch Reader Data Integration
  "parameter": {
    "column": [
        "content"
    ],
    "full":true
  }
  
  ## Hasil Penulis: Satu baris dan satu kolom disinkronkan ke tujuan.
  {"_index":"mutiltest_1","_type":"_doc","_id":"IXgdO4MB4GR_1DmrjTXP","_source":{"feature1":"value1","feature2":"value2","feature3":"value3"},"sort":["IXgdO4MB4GR_1DmrjTXP"]}

Skenario 2: Sinkronkan properti bidang bersarang atau objek

• Latar Belakang: Saat menyinkronkan properti Objek atau bidang bersarang, Anda dapat menggunakan jalur untuk menyelesaikannya.

• Konfigurasi:

  • property

  • property.sub-property

  • property[0].sub-property

• Konfigurasi Skrip:

  "multi":{
      "multi":true
  }

  Catatan

  Konfigurasi ini saat ini tidak tersedia di antarmuka tanpa kode.

• Contoh:

  ## Reader: Data mentah di Elasticsearch
  "hits": [
      {
          "_index": "mutiltest_1",
          "_type": "_doc",
          "_id": "7XAOOoMB4GR_1Dmrrust",
          "_score": 1.0,
          "_source": {
              "level1": {
                  "level2": [
                      {
                          "level3": "testlevel3_1"
                      },
                      {
                          "level3": "testlevel3_2"
                      }
                  ]
              }
          }
      }
  ]
  ## Konfigurasi plug-in Elasticsearch reader Data Integration
  "parameter": {
    "column":[
        "level1",
        "level1.level2",
        "level1.level2[0]",
        "level1.level2.level3"
    ],
    "multi":{
          "multi":true
      }
  }
  
  ## Hasil Penulis: Satu baris data dengan empat kolom
  column1(level1):            {"level2":[{"level3":"testlevel3_1"},{"level3":"testlevel3_2"}]}
  column2(level1.level2):     [{"level3":"testlevel3_1"},{"level3":"testlevel3_2"}]
  column3(level1.level2[0]):  {"level3":"testlevel3_1"}
  column4(level1.level2.level3):  null

  Catatan

  • Jika node induk dari node yang diambil berisi larik, hasilnya adalah null. Sebagai contoh, pengambilan `level1.level2.level3` tidak melaporkan kesalahan, tetapi hasil sinkronisasi adalah null. Anda harus mengonfigurasi jalur sebagai `level1.level2[0].level3` atau `level1.level2[1].level3`. Format `level1.level2[*].level3` saat ini tidak didukung.

  • Data yang mengandung titik (.) di dalam kunci tidak didukung, seperti `{"level1.level2":{"level3":"testlevel3_1"}}`. Dalam hal ini, hasil pengambilan untuk entri data ini adalah null.

Skenario 3: Pisahkan properti larik menjadi beberapa baris

• Latar Belakang: Jika ada hubungan satu-ke-banyak, Anda dapat membagi kolom larik menjadi beberapa baris.

• Konfigurasi: property[*].sub-property

• Efek: Data sumber seperti `{ "splitKey" :[1,2,3,4,5]}` dibagi dan ditulis ke tujuan sebagai lima baris terpisah.

• Konfigurasi Skrip:

  "multi":{   
         "multi":true,    
          "key": "headers"
  }

  Catatan

  • Di antarmuka tanpa kode, mengonfigurasi Split Multi-row Array Column Name secara otomatis menghasilkan konfigurasi skrip yang setara.

  • Nilainya harus berupa daftar. Jika tidak, kesalahan terjadi.

• Contoh:

  ## Reader: Data mentah di Elasticsearch
  [
      {
          "_index": "lmtestjson",
          "_type": "_doc",
          "_id": "nhxmIYMBKDL4VkVLyXRN",
          "_score": 1.0,
          "_source": {
              "headers": [
                  {
                      "remoteip": "192.0.2.1"
                  },
                  {
                      "remoteip": "192.0.2.2"
                  }
              ]
          }
      },
      {
          "_index": "lmtestjson",
          "_type": "_doc",
          "_id": "wRxsIYMBKDL4VkVLcXqf",
          "_score": 1.0,
          "_source": {
              "headers": [
                  {
                      "remoteip": "192.0.2.3"
                  },
                  {
                      "remoteip": "192.0.2.4"
                  }
              ]
          }
      }
  ]
  ## Konfigurasi plug-in Elasticsearch reader Data Integration
  {
     "column":[
        "headers[*].remoteip"
    ]
    "multi":{
        "multi":true,
        "key": "headers"
    }
  }
  
  ## Hasil Penulis: 4 baris
  192.0.2.1
  192.0.2.2
  192.0.2.3
  192.0.2.4

Skenario 4: Deduplikasi dan gabungkan properti larik

• Latar Belakang: Anda dapat menduplikasi dan menggabungkan properti larik, lalu menulis hasilnya sebagai properti string. Properti larik bisa berupa sub-properti, seperti `name1.name2`. Hasil `toString` digunakan sebagai standar untuk deduplikasi.

• Konfigurasi: `property[]`.

  Jika nama kolom mengandung `[]`, deduplikasi dan penggabungan dilakukan pada properti ini.

• Konfigurasi Skrip:

  "multi":{
      "multi":true
  }

  Catatan

  Parameter ini tidak dapat dikonfigurasi di antarmuka tanpa kode.

• Contoh:

  ## Reader: Data mentah di Elasticsearch
  "hits": [
  {
      "_index": "mutiltest_1",
      "_type": "_doc",
      "_id": "4nbUOoMB4GR_1Dmryj8O",
      "_score": 1.0,
      "_source": {
          "feature1": [
              "value1",
              "value1",
              "value2",
              "value2",
              "value3"
          ]
      }
  }
  ]
  ## Konfigurasi plug-in Elasticsearch reader Data Integration
  "parameter": {
    "column":[
          "feature1[]"
    ],
    "multi":{
          "multi":true
      }
  }
  
  ## Hasil Penulis: Satu baris dan satu kolom data
  "value1,value2,value3"

Skenario 5: Gabungkan dan sinkronkan beberapa properti

• Latar Belakang: Anda dapat memproses beberapa properti secara selektif. Properti pertama yang memiliki nilai dikembalikan. Jika tidak ada properti yang ditentukan, null ditulis.

• Konfigurasi: `property1|property2|...`

  Jika nama kolom mengandung pemisah `|`, beberapa properti dipilih untuk item ini.

• Konfigurasi Skrip:

  "multi":{    
      "multi":true
  }

  Catatan

  Parameter ini tidak dapat dikonfigurasi di antarmuka tanpa kode.

• Contoh:

  ## Reader: Data mentah di Elasticsearch
  "hits": [
      {
          "_index": "mutiltest_1",
          "_type": "_doc",
          "_id": "v3ShOoMB4GR_1DmrZN22",
          "_score": 1.0,
          "_source": {
              "feature1": "feature1",
              "feature2": [
                  1,
                  2,
                  3
              ],
              "feature3": {
                  "child": "feature3"
              }
          }
      }]
  
  ## Konfigurasi plug-in Elasticsearch reader Data Integration
  "parameter": {
    "column":[
          "feature1|feature2|feature3"
    ],
    "multi":{
          "multi":true
      }
  }
  
  ## Hasil Penulis: Satu baris dan satu kolom data
  "feature1"

Skenario 6: Sinkronkan beberapa properti secara selektif

• Latar Belakang: Anda dapat memproses beberapa properti secara selektif. Properti pertama yang memiliki nilai dikembalikan. Jika tidak ada properti yang ditentukan, null ditulis.

• Konfigurasi: `property1|property2|...`

  Jika nama kolom mengandung pemisah `|`, beberapa properti dipilih untuk item ini.

• Konfigurasi Skrip:

  "multi":{
      "multi":true
  }

  Catatan

  Parameter ini tidak dapat dikonfigurasi di antarmuka tanpa kode.

• Contoh:

  ## Reader: Data mentah di Elasticsearch
  "hits": [
      {
          "_index": "mutiltest_1",
          "_type": "_doc",
          "_id": "v3ShOoMB4GR_1DmrZN22",
          "_score": 1.0,
          "_source": {
              "feature1": "feature1",
              "feature2": [
                  1,
                  2,
                  3
              ],
              "feature3": {
                  "child": "feature3"
              }
          }
      }]
  ## Konfigurasi plug-in Elasticsearch reader Data Integration
  "parameter": {
    "column":[
          "feature1,feature2,feature3"
    ],
    "multi":{
          "multi":true
      }
  }
  
  ## Hasil Penulis: Satu baris dan satu kolom data
  "feature1,[1,2,3],{"child":"feature3"}"