Elasticsearch：Gunakan DataWorks untuk menyinkronkan data dari RDS SQL Server ke Alibaba Cloud ES

Prasyarat

• Instans ApsaraDB RDS for SQL Server telah dibuat. Topik ini menggunakan contoh instans ApsaraDB RDS for SQL Server 2019 Edisi Standar. Untuk informasi selengkapnya, lihat Buat dan gunakan instans ApsaraDB RDS for SQL Server dengan cepat.

• Instans Alibaba Cloud ES telah dibuat, dan fitur pembuatan indeks otomatis diaktifkan untuk instans tersebut. Untuk informasi selengkapnya, lihat Buat instans Alibaba Cloud Elasticsearch dan Konfigurasi parameter YML.

• Ruang kerja DataWorks telah dibuat. Untuk informasi selengkapnya, lihat Buat ruang kerja.

Penagihan

• Untuk informasi selengkapnya tentang biaya instans ES, lihat Item yang dapat ditagih ES.

• Untuk informasi selengkapnya tentang penagihan grup sumber daya eksklusif untuk Data Integration, lihat Penagihan grup sumber daya eksklusif untuk Data Integration (langganan).

Langkah 1: Siapkan data sumber

Data uji berikut digunakan dalam instans ApsaraDB RDS for SQL Server.

• Pernyataan CREATE TABLE

  CREATE TABLE students(
      id INT,
      name VARCHAR(20),
      age INT
  )

• Pernyataan INSERT

  INSERT INTO [students]( [id] , [name] , [age] )values('1', 'Xiaoming','21');

Langkah 2: Beli dan konfigurasi grup sumber daya eksklusif

Beli grup sumber daya eksklusif untuk Data Integration dan sambungkan VPC serta ruang kerja ke grup sumber daya tersebut. Grup sumber daya eksklusif memastikan transmisi data yang cepat dan stabil.

1. Masuk ke Konsol DataWorks.

2. Di bilah menu atas, pilih Wilayah. Di panel navigasi kiri, klik Resource Group.

3. Di tab Exclusive Resource Groups, klik Create Legacy Resource Group > Data Integration Resource Group.

4. Di halaman pembelian DataWorks Exclusive Resource (Subscription), atur Exclusive Resource Type menjadi Exclusive Resource for Data Integration, masukkan nama untuk grup sumber daya, lalu klik Buy Now.

   Untuk informasi konfigurasi lebih lanjut, lihat Langkah 1: Beli grup sumber daya.

5. Untuk menyambungkan VPC ke grup sumber daya eksklusif, klik Network Settings di kolom Operation. Untuk informasi selengkapnya, lihat Attach a VPC.

   Catatan

   Topik ini menggunakan contoh di mana data disinkronkan melalui jaringan internal VPC menggunakan grup sumber daya eksklusif untuk Data Integration. Untuk informasi selengkapnya, lihat Add a whitelist.

   Grup sumber daya eksklusif harus terhubung ke VPC dari instans RDS SQL Server dan Elasticsearch untuk menyinkronkan data. Untuk membuat koneksi ini, sambungkan VPC, Zone, dan VSwitch tempat instans RDS SQL Server dan Elasticsearch berada. Untuk melihat informasi VPC instans, lihat Switch the vSwitch for an ApsaraDB RDS for SQL Server instance dan View the basic information of an Elasticsearch instance.

   Penting

   Setelah Anda menyambungkan VPC, Anda harus menambahkan VSwitch CIDR Block ke daftar putih akses internal untuk instans RDS SQL Server dan Elasticsearch. Untuk informasi selengkapnya, lihat Configure a whitelist for an ApsaraDB RDS for SQL Server instance dan Configure a public or internal-facing whitelist for an Elasticsearch instance.

6. Di pojok kiri atas halaman, klik ikon kembali untuk kembali ke halaman Resource Group List.

7. Di kolom Operation untuk grup sumber daya eksklusif, klik Attach Workspace untuk menyambungkan ruang kerja target.

   Untuk informasi selengkapnya, lihat Langkah 2: Attach a workspace.

Langkah 3: Tambahkan sumber data

Tambahkan sumber data ApsaraDB RDS for SQL Server dan Elasticsearch ke layanan Data Integration dari DataWorks.

1. Di DataWorks, buka halaman Data Integration.

   1. Masuk ke Konsol DataWorks.

   2. Di panel navigasi kiri, klik Workspaces.

   3. Di kolom Operation ruang kerja target, pilih Quick Access > Data Integration.

2. Di panel navigasi, klik Data Source.

3. Tambahkan sumber data ApsaraDB RDS for SQL Server.

   1. Di halaman Data Source List, klik Add Data Source.

   2. Di halaman Add Data Source, cari dan pilih sumber data SQL Server.

   3. Di kotak dialog Add SQL Server Data Source, konfigurasikan parameter di area Basic Information.

      Untuk informasi selengkapnya, lihat Configure a SQL Server data source.

   4. Di area Connection Configuration, klik Test Connectivity. Status Connected menunjukkan koneksi berhasil.

   5. Klik Finish.

4. Tambahkan sumber data Elasticsearch dengan cara yang sama. Untuk informasi selengkapnya, lihat Configure an Elasticsearch data source.

Langkah 4: Konfigurasi dan jalankan tugas sinkronisasi data offline

Tugas sinkronisasi offline menggunakan grup sumber daya eksklusif untuk dijalankan. Grup sumber daya eksklusif mengambil data dari sumber data di Data Integration dan menulis data ke Elasticsearch.

1. Buka halaman Data Development di DataWorks.

   1. Masuk ke Konsol DataWorks.

   2. Di panel navigasi kiri, klik Workspaces.

   3. Di kolom Operation ruang kerja target, pilih Quick Access > Data Development.

2. Buat tugas sinkronisasi offline.

   1. Di panel navigasi kiri, klik ikon dan pilih New > New Business Flow.

   2. Klik kanan alur bisnis baru dan pilih New Node > Offline Synchronization.

   3. Di kotak dialog New Node, masukkan nama node dan klik Confirm.

3. Konfigurasi jaringan dan sumber daya.

   1. Di area Data Source, atur Data Source ke SQL Server dan pilih sumber data untuk Data Source Name.

   2. Di area My Resource Groups, pilih grup sumber daya eksklusif.

   3. Di area Data Destination, atur Data Destination ke Elasticsearch dan pilih sumber data untuk Data Source Name.

4. Klik Next.

5. Konfigurasi tugas.

   1. Di area Data Source, pilih tabel yang akan disinkronkan.

   2. Konfigurasikan parameter di area Data Destination.

   3. Di area Field Mapping, konfigurasikan pemetaan antara Source Field dan Destination Field. Untuk informasi selengkapnya, lihat Configure an offline sync task using the codeless UI.

   4. Di area Channel Control, Anda dapat mengonfigurasi parameter saluran.

   Untuk informasi konfigurasi lebih lanjut, lihat Configure an offline sync task using the codeless UI.

6. Jalankan tugas.

   1. (Opsional) Di panel kanan, klik Scheduling Configuration untuk mengonfigurasi parameter penjadwalan tugas. Untuk informasi selengkapnya tentang setiap parameter, lihat Scheduling configuration.

   2. Di pojok kanan atas tab konfigurasi node, klik ikon simpan untuk menyimpan tugas.

   3. Di pojok kanan atas tab konfigurasi node, klik ikon kirim untuk mengirimkan tugas.

      Jika Anda mengonfigurasi properti penjadwalan, tugas akan berjalan secara otomatis pada interval yang ditentukan. Anda juga dapat mengklik ikon jalankan di pojok kanan atas tab konfigurasi node untuk menjalankan tugas segera.

      Jika log berisi pesan Shell run successfully!, tugas berhasil dijalankan.

Langkah 5: Verifikasi hasil sinkronisasi data

1. Masuk ke konsol Kibana dari instans Alibaba Cloud ES tujuan. Untuk informasi selengkapnya, lihat Log on to the Kibana console.

2. Di pojok kiri atas halaman Kibana, klik ikon dan pilih Dev Tools.

1. Di Console, Anda dapat menjalankan perintah berikut untuk melihat data yang telah disinkronkan.

   POST /dbo.students/_search?pretty
   {
      "query": { "match_all": {}}
   }

   Catatan

   Ganti dbo.students dengan nilai yang Anda tentukan untuk parameter index saat mengonfigurasi sinkronisasi data di DataWorks.

   Hasil yang diharapkan ditunjukkan pada gambar berikut.