DataWorks:Data Integration

Batasan

Anda harus memiliki role Development untuk membuat task sinkronisasi di DataStudio. Untuk mempelajari cara memberikan izin, lihat Tambahkan anggota ruang kerja dan kelola role mereka.

Task sinkronisasi batch

• Kasus penggunaan

  Sinkronisasi batch mendukung dua skenario utama: menyinkronkan satu tabel sumber ke satu tabel tujuan dan menyinkronkan data dari database dan tabel sumber yang ter-shard ke satu tabel tujuan. Anda dapat menggunakan parameter penjadwalan DataWorks untuk menulis data inkremental maupun penuh secara berkala ke partisi tertentu dalam tabel tujuan. Selain itu, fitur pengisian ulang data di Operation Center memungkinkan Anda menggunakan konfigurasi task tunggal untuk menyinkronkan data historis ke tabel atau partisi tertentu di database atau gudang data tujuan.

• Sumber data yang didukung

  Data Integration mendukung lebih dari 40 jenis sumber data, termasuk database relasional, penyimpanan tidak terstruktur, penyimpanan big data, dan antrian pesan. Anda dapat mentransfer data antara sumber data terstruktur dan semi-terstruktur apa pun dengan mendefinisikan sumber dan tujuan data serta menggunakan Plugin Reader dan Writer di Data Integration.

• Fitur

  Deskripsi	Referensi
  Data Integration menggunakan Plugin Reader dan Plugin Writer untuk sinkronisasi batch. Anda dapat membuat sumber data di DataWorks dan menggunakan namanya untuk menentukan sumber dan tujuan transfer data.	Sumber data yang didukung dan Plugin Reader/Writer Ikhtisar sinkronisasi batch
  Setelah membuat sumber data di DataWorks, Anda dapat mengonfigurasi task sinkronisasi data menggunakan Antarmuka tanpa kode.	Konfigurasikan task sinkronisasi batch menggunakan Antarmuka tanpa kode
  Anda harus menggunakan editor kode untuk mengonfigurasi task sinkronisasi dalam skenario berikut: Sumber data tidak dapat dibuat langsung di DataWorks. Sumber data tidak mendukung konfigurasi task menggunakan Antarmuka tanpa kode. Parameter plugin tertentu harus dikonfigurasi di editor kode.	Konfigurasikan task sinkronisasi batch menggunakan editor kode

Task sinkronisasi real-time

Sinkronisasi real-time memungkinkan Anda menggabungkan beberapa sumber data menjadi pipeline berbentuk bintang. Anda dapat mengonfigurasi berbagai kombinasi input dan output untuk membangun tautan sinkronisasi data yang fleksibel, baik dari satu tabel sumber ke satu tabel tujuan maupun dari seluruh database sumber ke tujuan. Untuk detailnya, lihat Sumber data yang didukung untuk sinkronisasi real-time dan Ikhtisar sinkronisasi real-time.

Konfigurasi penjadwalan task

Dependensi node

• Task sinkronisasi batch
  • Node leluhur task sinkronisasi batch: Task sinkronisasi dapat bergantung pada alur data platform. Bergantung pada kompleksitas logika bisnis ruang kerja Anda, Anda dapat mengatur task agar bergantung pada root node ruang kerja atau node beban nol. Pengaturan ini menentukan apakah root node atau node beban nol yang menjadwalkan node tersebut.
  • Node keturunan task sinkronisasi batch: Untuk memastikan task SQL downstream dapat secara otomatis mengurai dan mengatur dependensi terhadap task sinkronisasi ini saat memproses data tabel, tambahkan tabel output task sinkronisasi sebagai output node tersebut. Gunakan format projectname.tablename.
• Node keturunan task sinkronisasi real-time
  DataWorks hanya mendukung pengaturan dependensi pada tabel yang dihasilkan oleh node yang dijadwalkan secara berkala. Artinya, Anda tidak dapat menggunakan alur data untuk mengatur dependensi ketika task downstream perlu memproses data dari task sinkronisasi real-time. Sebagai solusi alternatif, Anda dapat mengatur node leluhur task tersebut menjadi root node ruang kerja atau node beban nol, sehingga root node atau node beban nol dapat menjadwalkan task tersebut sesuai kebutuhan bisnis Anda.

  Catatan Untuk memastikan task sinkronisasi real-time Anda berjalan sesuai harapan, konfigurasikan aturan pemantauan.

Parameter penjadwalan node