Cara menggunakan Integrasi Data untuk ingestion data lake secara real-time - DataWorks

Integrasi Data mendukung sinkronisasi real-time seluruh data dari database seperti MySQL dan PolarDB ke OSS. Topik ini menjelaskan cara menggunakan Integrasi Data untuk menyinkronkan data dari MySQL ke data lake di OSS secara real time.

Prasyarat

Grup sumber daya Serverless atau grup sumber daya eksklusif untuk Integrasi Data telah dibeli.
Sumber data MySQL dan sumber data ApsaraDB for OceanBase telah dibuat. Untuk informasi selengkapnya, lihat Buat sumber data untuk Integrasi Data.
Catatan
Fitur binary logging harus diaktifkan untuk sumber data MySQL. Untuk informasi selengkapnya, lihat Persiapkan lingkungan MySQL.
Konektivitas jaringan antara grup sumber daya dan sumber data telah ditetapkan. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

Batasan

Nilai dalam kolom kunci primer pada tabel sumber tidak boleh NULL atau string kosong. Jika tidak, kesalahan mungkin dilaporkan saat tugas sinkronisasi terkait dijalankan.

Kemampuan yang didukung oleh sinkronisasi real-time seluruh data dari database ke data lake di OSS

Mendukung sinkronisasi struktur data dalam sumber data MySQL, sinkronisasi satu kali data historis dari seluruh atau tabel tertentu dalam database di sumber data MySQL, serta sinkronisasi real-time data inkremental dari sumber data MySQL ke data lake di OSS.
Mendukung sinkronisasi perubahan data yang dihasilkan oleh operasi DDL table creation dan column addition, serta mendukung penyesuaian otomatis tabel dan kolom tujuan berdasarkan jumlah tabel sumber dan jumlah kolom dalam tabel sumber selama sinkronisasi data.
Penting
Perubahan data yang dihasilkan oleh operasi DDL seperti penghapusan tabel dan penggantian nama tabel tidak dapat disinkronkan. Jika operasi DDL tersebut dilakukan pada tabel sumber, tugas sinkronisasi terkait akan gagal.
Mendukung pembuatan otomatis metadatabase dan metatable di Data Lake Formation (DLF) jika DLF diaktifkan di wilayah yang sama dengan ruang kerja Anda. Sistem secara otomatis membuat metadatabase dan metatable saat data disimpan ke data lake di OSS.
Catatan
Pembuatan metadatabase lintas wilayah tidak didukung.

Prosedur

Langkah 1: Pilih jenis tugas sinkronisasi

Buka halaman Integrasi Data.
Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Sync Task, lalu klik Create Sync Task di bagian atas halaman untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:
- Source And Destination: MySQL→OSS
- Task Name: Tentukan nama kustom untuk tugas sinkronisasi.
- Synchronization Type: Real-time Database Synchronization.
- Synchronization Steps: Pilih Full Synchronization dan Incremental Synchronization.

Langkah 2: Konfigurasi jaringan dan sumber daya

Pada bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah CU untuk Task Resource Usage.
Untuk Source Data Source, pilih sumber data MySQL yang telah ditambahkan. Untuk Destination Data Source, pilih sumber data OSS yang telah ditambahkan, lalu klik Test Connectivity.
Setelah memastikan bahwa sumber data dan tujuan berhasil terhubung, klik Next.

Langkah 3: Konfigurasi pengaturan dasar untuk tujuan

Write Format: Mendukung tiga format penulisan: Hudi, Paimon, dan lceberg.
Storage Path Selection: Pilih path OSS tempat Anda ingin menyimpan data yang disinkronkan.
Location For Creating Metadatabase: Anda dapat memilih apakah akan mengaktifkan sistem untuk membuat metadatabase di DLF.
Catatan
Metadatabase hanya dapat dibuat secara otomatis di DLF yang diaktifkan di wilayah yang sama dengan ruang kerja Anda.

Langkah 4: Pilih tabel yang akan disinkronkan

Pada langkah ini, Anda dapat memilih tabel dari mana Anda ingin menyinkronkan data dalam daftar Source Table dan klik ikon untuk memindahkan tabel yang dipilih ke daftar Selected Tables.

Select Specific Tables:
- Pada Database Filter dan Table Filter tabel sumber, Anda dapat memfilter database dan tabel yang perlu disinkronkan dengan memasukkan informasi karakteristik nama database atau tabel. Pilih semua database dan tabel yang perlu disinkronkan, lalu klik ikon untuk memindahkannya ke bagian Selected Tables.
- Pada Selected Tables, gunakan Database Filter dan Table Filter untuk memfilter database dan tabel yang tidak perlu disinkronkan dengan memasukkan informasi karakteristik nama database atau tabel. Pilih semua database dan tabel yang tidak perlu disinkronkan, lalu klik ikon untuk memindahkannya kembali ke bagian Source Tables.
Use Regular Expressions To Select Tables (Supports Adding/Removing Tables By Regular Expressions During Runtime):
Filter informasi tabel melalui ekspresi reguler yang dikonfigurasi di Database Filter dan Table Filter. Klik Confirm Selection untuk memilih data database dan tabel yang perlu disinkronkan.
Catatan
Sebagai contoh, jika Anda perlu memfilter informasi database dan tabel di mana awalan nama database adalah a dan awalan nama tabel adalah order, Anda dapat memasukkan pada bidang Database Filtera.*Table Filtering dan order.* pada bidang Table Filter.

Langkah 5: Konfigurasi pemetaan tabel tujuan

Setelah Anda memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih akan ditampilkan secara otomatis di bagian Mapping Rules for Destination Tables. Properti tabel tujuan menunggu untuk dipetakan. Anda harus menentukan pemetaan antara tabel sumber dan tabel tujuan secara manual untuk menentukan hubungan pembacaan dan penulisan data. Kemudian, Anda dapat mengklik Refresh di kolom Actions untuk merefresh pemetaan antara tabel sumber dan tabel tujuan, baik secara langsung maupun setelah mengonfigurasi pengaturan terkait tabel tujuan.

Catatan

Anda dapat memilih tabel yang akan disinkronkan dan mengklik Batch Refresh Mapping. Saat aturan pemetaan belum dikonfigurasi, aturan nama tabel default adalah ${tableName}. Jika tabel dengan nama yang sama tidak ada di tujuan, tabel baru akan dibuat secara otomatis.
Anda dapat mengklik tombol Configure di kolom Custom Destination Database Name Mapping untuk menyesuaikan aturan nama database tujuan.
Anda dapat menggunakan variabel bawaan dan string yang dimasukkan secara manual untuk membentuk nama database tujuan. Anda dapat mengedit variabel bawaan. Misalnya, Anda dapat membuat aturan nama database baru dengan menambahkan akhiran ke nama database sumber sebagai nama database tujuan.
Anda dapat mengklik Edit di kolom Customize Mapping Rules for Destination Table Names untuk mengonfigurasi aturan pemetaan nama tabel tujuan sesuai kebutuhan bisnis Anda.
Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama tabel tujuan. Anda dapat mengedit variabel bawaan. Misalnya, saat membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama tabel sumber untuk membentuk nama tabel tujuan.

a. Ubah pemetaan tipe data untuk field

Pemetaan default sudah ada antara tipe data field sumber dan tipe data field tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas bagian Mapping Rules for Destination Tables untuk mengonfigurasi pemetaan tipe data antara field sumber dan field tujuan sesuai kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

b. Ubah skema tabel tujuan untuk menambahkan field ke tabel dan memberikan nilai ke field tersebut

Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan field ke tabel dan memberikan nilai ke field tersebut:

Tambahkan field ke satu atau beberapa tabel tujuan.
- Tambahkan field ke satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin menambahkan field dan klik ikon di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan field.
- Tambahkan field ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin menambahkan field sekaligus, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.
Berikan nilai ke field tersebut. Anda dapat melakukan salah satu operasi berikut untuk memberikan nilai ke field tersebut:
- Berikan nilai ke field yang ditambahkan ke satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin memberikan nilai ke field yang baru ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Additional Field, berikan nilai ke field tersebut.
- Berikan nilai ke field yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin memberikan nilai ke field yang baru ditambahkan, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk memberikan nilai ke field yang sama di tabel tujuan yang dipilih sekaligus.
Catatan
Anda dapat mengklik ikon untuk mengganti metode pemberian nilai dan memberikan konstanta serta variabel ke field yang ditambahkan ke tabel tujuan.

c. Konfigurasi aturan pemrosesan DML

Integrasi Data menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan sesuai kebutuhan bisnis Anda.

Konfigurasi aturan pemrosesan DML untuk satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasi aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.

Langkah 6: Konfigurasi peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi berbagai aturan peringatan untuk tugas sinkronisasi.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Configure Alert Rule.
Di panel Configure Alert Rule, klik Add Alert Rule. Di kotak dialog Add Alert Rule, konfigurasikan parameter untuk mengatur aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasi pada langkah ini berlaku untuk subtask sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk membuka halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasi untuk subtask sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang telah dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

Langkah 7: Konfigurasi parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasi untuk tugas sinkronisasi sesuai kebutuhan bisnis Anda. Misalnya, Anda dapat menentukan nilai yang sesuai untuk parameter Maximum read connections untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebihan pada database sumber dan memengaruhi produksi data.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan agar Anda memahami makna parameter sebelum mengubah nilainya.

Di pojok kanan atas halaman konfigurasi, klik Configure Advanced Parameters.
Di panel Configure Advanced Parameters, ubah nilai parameter yang diinginkan.

Langkah 8: Konfigurasi kemampuan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan pemrosesan pesan DDL dari sumber sesuai kebutuhan bisnis Anda.

Catatan

Untuk informasi selengkapnya, lihat Konfigurasi aturan pemrosesan pesan DDL.

Langkah 9: Konfigurasi grup sumber daya

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah grup sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

Langkah 10: Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang telah dibuat dan klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses berjalan detail dari tugas sinkronisasi tersebut.

Operasi dan pemeliharaan tugas sinkronisasi

Lihat status berjalan tugas

Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang telah dibuat dan informasi dasar masing-masing tugas sinkronisasi di halaman tugas sinkronisasi.

Anda dapat Start atau Stop tugas sinkronisasi di kolom Actions, serta dapat Edit, View, dan melakukan operasi lain pada tugas sinkronisasi dari menu More.
Untuk tugas yang telah dijalankan, Anda dapat melihat status berjalan dasar di Execution Overview, dan Anda juga dapat mengklik area ringkasan yang sesuai untuk melihat detail eksekusi.
Tugas sinkronisasi real-time dari MySQL ke OSS terdiri dari tiga langkah:
- Migrasi struktur: Termasuk metode pembuatan tabel tujuan (tabel yang sudah ada/pembuatan tabel otomatis). Jika menggunakan pembuatan tabel otomatis, pernyataan DDL akan ditampilkan.
- Inisialisasi penuh: Termasuk informasi tabel sinkronisasi offline, progres sinkronisasi, dan jumlah catatan yang ditulis.
- Sinkronisasi data real-time: Termasuk informasi statistik sinkronisasi real-time (progres real-time, catatan DDL, catatan DML, dan informasi peringatan).

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik More di kolom Actions tugas sinkronisasi lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan tersebut. Selama proses menjalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasi tugas, klik More di kolom Actions lalu klik Rerun untuk menjalankan ulang tugas guna melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah menambahkan atau menghapus tabel dari tugas, klik Complete setelah perubahan tersebut. Dalam hal ini, Apply Updates akan ditampilkan di kolom Actions tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses menjalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.