MaxCompute：Migrasi data dari Elasticsearch ke MaxCompute

Prosedur

1. Buat tabel sumber di Elasticsearch. Untuk informasi lebih lanjut, lihat Gunakan DataWorks untuk Menyinkronkan Data dari MaxCompute ke Alibaba Cloud Elasticsearch.

2. Buat tabel tujuan di MaxCompute.

   1. Masuk ke konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

   2. Di panel Alur Kerja Terjadwal pada halaman DataStudio, temukan alur kerja yang telah Anda buat, klik kanan nama alur kerja, lalu pilih Create Table > MaxCompute > Table.

   3. Di kotak dialog Create Table, konfigurasikan Name dan klik Create.

      Catatan

      Jika beberapa sumber data MaxCompute terkait dengan DataStudio, Anda harus memilih sumber data MaxCompute yang ingin digunakan.

   4. Di bilah alat atas tab konfigurasi tabel, klik DDL.

   5. Di kotak dialog DDL, masukkan pernyataan pembuatan tabel berikut dan klik Generate Table Schema.

      create table elastic2mc_bankdata 
      (
      age             string,
      job             string,
      marital         string,
      education       string,
      default         string,
      housing         string,
      loan            string,
      contact         string,
      month           string,
      day of week     string
      );

   6. Klik Submit to Production Environment.

3. Sinkronkan data.

   1. Pergi ke halaman analitik data. Klik kanan alur kerja yang ditentukan dan pilih Create Node > Data Integration > Offline synchronization.

   2. Dalam kotak dialog Create Node, masukkan nama di bidang Name, lalu klik Confirm.

   3. Di bilah navigasi atas, pilih ikon .

   4. Dalam mode skrip, klik ikon .

   5. Di kotak dialog import Template SOURCE type, data source, target type dan data source, dan klik confirm.

   6. Konfigurasikan skrip.

      Kode berikut digunakan dalam contoh ini. Untuk informasi lebih lanjut tentang deskripsi kode, lihat Elasticsearch Reader.

      {
       "type": "job",
       "steps": [
       {
       "stepType": "elasticsearch",
       "parameter": {
       "retryCount": 3,
       "column": [
       "age",
       "job",
       "marital",
       "education",
       "default",
       "housing",
       "loan",
       "contact",
       "month",
       "day_of_week",
       "duration",
       "campaign",
       "pdays",
       "previous",
       "poutcome",
       "emp_var_rate",
       "cons_price_idx",
       "cons_conf_idx",
       "euribor3m",
       "nr_employed",
       "y"
       ],
       "scroll": "1m",
       "index": "es_index",
       "pageSize": 1,
       "sort": {
       "age": "asc"
      },
       "type": "elasticsearch",
       "connTimeOut": 1000,
       "retrySleepTime": 1000,
       "endpoint": "http://es-cn-xxxx.xxxx.xxxx.xxxx.com:9200",
       "password": "xxxx",
       "search": {
       "match_all": {}
       },
       "readTimeOut": 5000,
       "username": "xxxx"
       },
       "name": "Reader",
       "category": "reader"
       },
       {
       "stepType": "odps",
       "parameter": {
       "partition": "",
       "truncate": true,
       "compress": false,
       "datasource": "odps_source",// Nama sumber data MaxCompute.
       "column": [
       "age",
       "job",
       "marital",
       "education",
       "default",
       "housing",
       "loan",
       "contact",
       "month",
       "day_of_week",
       "duration",
       "campaign",
       "pdays",
       "previous",
       "poutcome",
       "emp_var_rate",
       "cons_price_idx",
       "cons_conf_idx",
       "euribor3m",
       "nr_employed",
       "y"
       ],
       "emptyAsNull": false,
       "table": "elastic2mc_bankdata"
       },
       "name": "Writer",
       "category": "writer"
       }
       ],
       "version": "2.0",
       "order": {
       "hops": [
       {
       "from": "Reader",
       "to": "Writer"
       }
       ]
       },
       "setting": {
       "errorLimit": {
       "record": "0"
       },
       "speed": {
       "throttle": false,
       "concurrent": 1,
       "dmu": 1
       }
       }
      }

      Catatan

      Di halaman Basic Information kluster Alibaba Cloud Elasticsearch yang dibuat, Anda dapat melihat Titik akhir publik dan nomor port kluster tersebut.

   7. Klik ikon di bilah alat atas tab konfigurasi node untuk menjalankan kode.

   8. Lihat hasil eksekusi di tab Runtime Logs.

4. Lihat hasilnya.

   1. Klik kanan alur kerja dan pilih new > MaxCompute > ODPS SQL.

   2. Di kotak dialog create a node, masukkan node name, dan klik submit.

   3. Di tab konfigurasi node ODPS SQL, masukkan pernyataan berikut:

      SELECT * FROM elastic2mc_bankdata;

   4. Klik ikon untuk menjalankan kode.

   5. Anda bisa melihat hasilnya di operation Log.