Topik ini menjelaskan fitur-fitur tugas sinkronisasi Serverless dan cara mengonfigurasinya di Data Integration.
Limitations
Wilayah yang didukung: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Hong Kong), Inggris (London), AS (Silicon Valley), AS (Virginia), Jepang (Tokyo), Jerman (Frankfurt), Malaysia (Kuala Lumpur).
Jenis sinkronisasi yang didukung:
Sinkronisasi real-time seluruh database dari MySQL ke Hologres
Sinkronisasi real-time seluruh database dari MySQL ke MaxCompute
Sinkronisasi real-time seluruh database dari MySQL ke StarRocks
Anda hanya dapat menggunakan sumber data di wilayah saat ini yang termasuk dalam Akun Alibaba Cloud Anda.
Usage notes
Tugas sinkronisasi Serverless tidak melibatkan kelompok sumber daya, sehingga Anda dapat fokus pada tugas itu sendiri.
Anda tidak perlu mengonfigurasi konektivitas jaringan untuk tugas sinkronisasi Serverless. Namun, Blok CIDR dari VPC yang terkait dengan sumber dan tujuan sumber data tidak boleh tumpang tindih.
Tugas sinkronisasi Serverless menggunakan penagihan Pay-as-you-go. Saat Anda memulai tugas, ID pesanan akan dibuat secara otomatis. Anda dapat menggunakan ID pesanan tersebut untuk melihat detail penagihan di sistem Pesanan Alibaba Cloud. Untuk informasi lebih lanjut tentang penagihan, lihat Metrik kinerja kelompok sumber daya serverless DataWorks.
Tugas Serverless hanya ditagih berdasarkan skema Pay-as-you-go saat sedang Berjalan. Penagihan berhenti ketika tugas dihentikan atau gagal. Jika Anda tidak lagi memerlukan tugas tersebut, Anda dapat menghapusnya. Penghapusan tugas bersifat ireversibel dan akan melepaskan pesanan terkait.
Configure a Serverless synchronization task
Step 1: Create a Serverless synchronization task
Buka halaman Data Integration.
Masuk ke DataWorks console. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down lalu klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Serverless Synchronization Task.
Pada bagian Serverless Synchronization Task, pilih Source dan Destination, lalu klik Create Serverless Synchronization Task.
Step 2: Configure basic information
Untuk menggunakan sumber data yang sudah ada, klik Use Existing Data Source lalu pilih sumber data tersebut. Informasi sumber data akan diisi secara otomatis.
Anda tidak perlu menambahkan sumber data Source dan Destination terlebih dahulu; Anda dapat langsung mengonfigurasi detail Source atau Destination pada halaman ini.
Setelah mengonfigurasi sumber dan tujuan sumber data, klik Test. Untuk instans RDS dan Hologres Alibaba Cloud, pengujian konektivitas jaringan akan lolos secara otomatis jika Daftar putih alamat IP belum dikonfigurasi. Jika Daftar putih alamat IP telah dikonfigurasi, Anda harus menambahkan alamat IP yang diperlukan. Untuk daftar alamat IP tersebut, lihat Configure network connectivity and an IP address whitelist.
Step 3: Configure the task
Konfigurasikan pengaturan sinkronisasi sesuai dengan jenis tugas spesifik Anda dengan mengikuti petunjuk di layar.
Step 4: Complete the configuration
Setelah menyelesaikan konfigurasi, klik Complete.
Pertama kali Anda mengklik Complete, configuration check akan dilakukan secara otomatis. check ini tidak menghalangi aksi Complete.
Start the task
Saat Anda memulai tugas, configuration check akan dipicu kembali. check ini bersifat wajib. Jika pemeriksaan gagal, tugas tidak dapat dimulai.
Item-item dalam pemeriksaan konfigurasi bervariasi tergantung pada jenis tugas sinkronisasi.
Saat pertama kali memulai tugas, sistem akan memeriksa apakah pengguna memiliki kebijakan yang diperlukan. Kebijakan tersebut sama dengan yang dibutuhkan untuk membeli kelompok sumber daya serverless dengan skema Pay-as-you-go. Pengguna harus memiliki kebijakan AliyunBSSOrderAccess dan AliyunDataWorksFullAccess untuk dapat memulai tugas.
Task details
Klik entri pada kolom Name/ID atau Execution Overview dari tugas sinkronisasi Serverless untuk membuka halaman detail tugas.
Basic Information: Menampilkan informasi tentang sumber data tugas, Order ID, dan solusi sinkronisasi.
Execution status: Menampilkan status eksekusi setiap langkah dalam tugas. Anda juga dapat melihat Runtime Log, detail failover, dan pemanfaatan sumber daya.
Details: Menampilkan informasi rinci tentang migrasi skema, inisialisasi data penuh, dan sinkronisasi real-time.
Modify the task
Pada kolom Actions dari tugas sinkronisasi Serverless yang dituju, klik Edit untuk membuka halaman konfigurasi tugas.
Anda dapat menambahkan, menghapus, atau mengubah tabel sinkronisasi, lalu klik Complete.
Pada kolom Actions, klik Apply Updates.
Saat Anda mengklik Apply Updates, pre-check akan dipicu secara otomatis. Jika pemeriksaan gagal, aksi Apply Updates akan diblokir.
Aksi Apply Updates memiliki item pemeriksaan yang lebih sedikit dibandingkan saat mulai pertama kali. Karena sumber daya telah diinisialisasi, aksi Apply Updates tidak mencakup fase persiapan sumber daya yang terjadi selama initial start.
Appendix
View task order details
Berbeda dengan tugas sinkronisasi lainnya, tugas sinkronisasi Serverless tidak dikaitkan dengan kelompok sumber daya. Tugas-tugas ini ditagih berdasarkan pesanan tugas dan menggunakan skema Pay-as-you-go.
Tugas Serverless hanya ditagih berdasarkan skema Pay-as-you-go selama Berjalan. Penagihan berhenti jika tugas dihentikan atau gagal. Jika Anda tidak lagi memerlukan tugas tersebut, Anda dapat menghapusnya. Penghapusan tugas bersifat ireversibel dan juga melepaskan pesanan.
Anda dapat melihat pesanan dengan cara berikut:
Klik entri pada kolom Name/ID atau Execution Overview dari tugas sinkronisasi Serverless untuk membuka halaman detail tugas.
Pada bagian Basic Information, temukan Order ID.
Buka halaman atau Orders Alibaba Cloud lalu cari detail pesanan menggunakan Order ID tersebut.
Advanced configurations
Configure source and rules
Secara default, setelah Anda memilih database dan tabel sumber yang akan disinkronkan, tugas akan menulis data ke skema atau tabel tujuan dengan nama yang sama. Jika skema atau tabel tersebut tidak ada di tujuan, sistem akan membuatnya secara otomatis. Anda juga dapat menggunakan Customize Mapping Rules for Destination Schema Names dan Customize Mapping Rules for Destination Table Names untuk menentukan nama akhir skema atau tabel di tujuan. Fitur ini memungkinkan Anda mengganti awalan tetap pada nama database atau tabel sumber dengan awalan lain saat menulis ke tujuan.
Configure the destination table
Anda dapat menentukan properti tabel tujuan. Misalnya, Anda dapat memilih untuk menulis ke tabel yang sudah ada atau membuat tabel baru, menambahkan columns, menentukan apakah akan menulis ke tabel partisi, mengatur nama partition column dan storage mode, serta mengonfigurasi destination column value assignments.
Pada langkah ini, setelah Anda mengklik tombol Apply and Refresh Mapping, sistem akan memetakan tabel sumber ke tabel tujuan berdasarkan aturan tabel yang Anda tentukan.
Configure write rules
Sumber data sumber dapat berisi banyak operasi DDL atau DML. Untuk memastikan data sesuai harapan, Anda dapat mengonfigurasi kebijakan pemrosesan pesan DDL atau DML berdasarkan jenis sumber data tujuan. Untuk informasi lebih lanjut tentang kebijakan pemrosesan pesan DDL, lihat DDL message processing rules dan DML message processing policies.