-
Permasalahan konektivitas jaringan sinkronisasi data
-
Permasalahan konfigurasi kelompok sumber daya
Kemampuan jaringan DataWorks untuk sinkronisasi batch
Sebelum menyinkronkan data menggunakan Integrasi Data, Anda harus mengetahui hal-hal berikut:
-
VPC, vSwitch, dan wilayah database yang ingin Anda sinkronkan, serta wilayah ruang kerja DataWorks Anda.
-
Apakah database dan ruang kerja DataWorks berada di Akun Alibaba Cloud atau wilayah yang berbeda.
Jika Anda mengalami masalah selama tugas sinkronisasi data, lihat Sumber data yang didukung dan plugin baca/tulis untuk langkah-langkah troubleshooting.
Jika uji konektivitas sumber data gagal, lihat Solusi konektivitas jaringan untuk solusinya.
Saat menggunakan kelompok sumber daya eksklusif untuk Integrasi Data, ikuti langkah-langkah berikut: beli kelompok sumber daya, kaitkan dengan VPC database Anda, evaluasi apakah perlu menambahkan rute, konfigurasikan daftar putih alamat IP database, dan kaitkan kelompok sumber daya dengan ruang kerja Anda. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya eksklusif untuk Integrasi Data.
Konektivitas jaringan dengan database ECS yang dikelola sendiri
Jika Anda perlu menggunakan kelompok sumber daya eksklusif untuk Integrasi Data guna menyinkronkan database yang dikelola sendiri pada Instance ECS melalui jaringan internal, Anda perlu mengonfigurasi jaringan untuk kelompok sumber daya tersebut. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya eksklusif untuk Integrasi Data. Poin utama solusi konektivitasnya adalah sebagai berikut:
-
Kaitkan kelompok sumber daya eksklusif untuk Integrasi Data dengan VPC tempat Instance ECS berada. Rute ke Blok CIDR VPC akan ditambahkan secara otomatis. Jangan menghapus rute ini secara manual karena dapat menyebabkan kegagalan akses ke database lain dan mengakibatkan error tugas.
-
Tambahkan Blok CIDR vSwitch yang dikaitkan dengan kelompok sumber daya eksklusif untuk Integrasi Data ke daftar putih alamat IP database Anda. Untuk informasi lebih lanjut, lihat Tambahkan daftar putih alamat IP.
Konektivitas jaringan cross-region
Sebelum memulai, tinjau solusi dalam Solusi konektivitas jaringan dan pilih yang sesuai dengan skenario Anda. Poin utamanya adalah:
Jika Anda menyinkronkan data dari database cross-region melalui Internet, Anda harus menambahkan EIP kelompok sumber daya eksklusif ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Tambahkan daftar putih alamat IP.
Transfer data melalui Internet dikenai biaya. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.
Konektivitas jaringan cross-account
Sebelum memulai, tinjau solusi dalam Solusi konektivitas jaringan dan pilih yang sesuai dengan skenario Anda.
-
Jika Anda menyinkronkan data dari database cross-account melalui Internet, Anda harus menambahkan EIP kelompok sumber daya eksklusif ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Tambahkan daftar putih alamat IP.
CatatanTransfer data melalui Internet dikenai biaya. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.
-
Untuk menyinkronkan data dari database cross-account melalui jaringan internal, ikuti langkah-langkah berikut:
-
Hubungkan jaringan kedua Akun Alibaba Cloud menggunakan layanan seperti VPN Gateway atau Express Connect.
-
Kaitkan kelompok sumber daya eksklusif untuk Integrasi Data dengan VPC yang terhubung ke jaringan akun lainnya.
-
Setelah mengaitkan VPC, tambahkan rute kustom. Atur lompatan berikutnya ke Local IDC dan tentukan alamat IP database target.
-
Tambahkan Blok CIDR vSwitch yang dikaitkan dengan kelompok sumber daya eksklusif ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Tambahkan daftar putih alamat IP.
-
Atasi kegagalan konektivitas VPC
-
Jika Anda menambahkan sumber data menggunakan titik akhir VPC:
-
Konfirmasi bahwa kelompok sumber daya eksklusif untuk Integrasi Data telah dikaitkan dengan VPC tempat database berada.
-
Konfirmasi bahwa Blok CIDR vSwitch yang dikaitkan dengan kelompok sumber daya eksklusif telah ditambahkan ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Tambahkan daftar putih alamat IP.
-
-
Jika Anda menambahkan sumber data menggunakan titik akhir publik dan uji konektivitas gagal saat menggunakan kelompok sumber daya eksklusif untuk Integrasi Data, konfirmasi bahwa EIP kelompok sumber daya telah ditambahkan ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Tambahkan daftar putih alamat IP.
CatatanTransfer data melalui Internet dikenai biaya. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.
Atasi konektivitas tidak stabil
Periksa apakah tugas Anda menggunakan kelompok sumber daya yang dibagikan. Konektivitas jaringan untuk kelompok-kelompok ini bisa tidak stabil. Untuk koneksi yang stabil, kami merekomendasikan agar Anda menggunakan kelompok sumber daya eksklusif untuk Integrasi Data.
Konektivitas jaringan untuk Serverless dan Hologres
Kelompok sumber daya Serverless harus dikaitkan dengan VPC tempat Instans Hologres berada. Untuk melakukannya, ikuti langkah-langkah berikut:
-
Masuk ke Konsol DataWorks dan temukan kelompok sumber daya Serverless target dalam daftar kelompok sumber daya.
-
Klik Network Settings. Di area Data Scheduling and Data Integration, klik Add VPC Association.
-
Pilih VPC, zona ketersediaan, dan vSwitch tempat Instans Hologres berada, lalu klik OK.
-
Setelah pengaitan selesai, buat sumber data Hologres di Integrasi Data. Klik Test Connectivity untuk memastikan koneksi dapat dibuat.
Jika terjadi konflik Blok CIDR antara VPC yang sudah dikaitkan dengan kelompok sumber daya dan VPC Hologres, Anda harus terlebih dahulu menghapus pengaitan VPC yang bertentangan sebelum menambahkan VPC Hologres. Mengaitkan VPC akan membuat antarmuka jaringan elastis di VPC dan menghabiskan kuota. Jangan menghapus antarmuka jaringan elastis tersebut.
Untuk petunjuk detail tentang pengalihan jaringan Hologres, lihat Panduan pengalihan jaringan untuk DataWorks On Hologres.
Kelompok sumber daya eksklusif tidak ditemukan
Pastikan kelompok sumber daya eksklusif telah dikaitkan dengan ruang kerja DataWorks. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya eksklusif untuk Integrasi Data.
Periksa jenis kelompok sumber daya dari log
-
Jika tugas dijalankan pada kelompok sumber daya Default, log berisi pesan serupa berikut:
running in Pipeline[basecommon_ group_xxxxxxxxx]. -
Jika tugas dijalankan pada kelompok sumber daya kustom, log berisi pesan serupa berikut:
running in Pipeline[basecommon_xxxxxxxxx]. -
Jika tugas dijalankan pada kelompok sumber daya eksklusif untuk Integrasi Data, log berisi pesan serupa berikut:
running in Pipeline[basecommon_S_res_group_xxx].
Ubah kelompok sumber daya untuk tugas
-
Untuk mengubah kelompok sumber daya penjadwalan dan kelompok sumber daya untuk tugas Integrasi Data di Pusat Operasi, buka halaman Operation Center > Scheduled Task O&M > Scheduled Tasks. Pilih tugas yang ingin Anda ubah, lalu klik Modify Scheduling Resource Group atau Modify Data Integration Resource Group di bagian bawah halaman untuk melakukan perubahan batch.
-
Ubah kelompok sumber daya untuk tugas produksi di DataStudio, lalu deploy tugas tersebut.
CatatanSaat menggunakan metode ini untuk mengubah kelompok sumber daya, Anda harus mendeploy tugas agar perubahan diterapkan. Dalam mode standar, perubahan yang diajukan hanya berlaku untuk lingkungan pengembangan. Perubahan tersebut baru berlaku untuk tugas terjadwal di lingkungan produksi setelah Anda mendeploy tugas. Anda kemudian dapat memverifikasi pembaruan tersebut di halaman Scheduled Tasks di Pusat Operasi.
1. Untuk mengubah kelompok sumber daya penjadwalan, buka panel Schedule untuk node tugas. Di bagian Resource Properties, klik daftar drop-down Scheduling Resource Group dan pilih kelompok sumber daya target, seperti shared scheduling resource group.
2. Untuk mengubah kelompok sumber daya untuk tugas Integrasi Data, klik tab Configure Resource Group for Data Integration di panel kanan. Dari daftar drop-down Exclusive resource group for Data Integration, pilih kelompok sumber daya target, seperti xiangcui_vpc.
Atasi masalah gerbang kelompok sumber daya kustom
Masuk ke Konsol DataWorks atau . Di panel navigasi kiri, klik Kelompok Sumber Daya, lalu buka tab Kelompok Sumber Daya Kustom. Klik Server Management untuk kelompok sumber daya penjadwalan Tugas tersebut, kemudian periksa apakah server dihentikan atau sedang digunakan oleh tugas lain.
Jika langkah-langkah di atas tidak menyelesaikan masalah, jalankan perintah berikut untuk restart layanan:
su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart
Temukan IP publik kelompok sumber daya
Untuk menyinkronkan data melalui Internet menggunakan kelompok sumber daya eksklusif untuk Integrasi Data, Anda harus menambahkan alamat EIP kelompok sumber daya ke daftar putih alamat IP database Anda. Untuk mendapatkan alamat EIP, ikuti langkah-langkah berikut:
Di Konsol DataWorks, buka halaman Resource Group. Di tab Exclusive Resource Groups, klik Details di samping kelompok sumber daya Integrasi Data. Di bagian Basic Information, salin EIP Address dan tambahkan ke daftar putih alamat IP database Anda.
Atasi error 'insufficient resources'
Periksa detail kelompok sumber daya. Error ini biasanya terjadi ketika sumber daya yang tersisa tidak cukup untuk memulai tugas baru, misalnya jika tugas lain sedang dalam antrian untuk kelompok sumber daya tersebut.
Kuota pengaitan VPC kelompok sumber daya Serverless
Setiap kelompok sumber daya Serverless dapat dikaitkan dengan maksimal dua VPC.
Masuk ke Konsol DataWorks. Di halaman Resource Groups, temukan kelompok sumber daya Serverless target dan klik Details. Di bagian Basic Information pada halaman detail kelompok sumber daya, bidang VPCs That Can Be Associated menampilkan penggunaan kuota saat ini dalam format Bound: X, Remaining: Y.
Saat kuota dua VPC penuh (Bound: 2, Remaining: 0), Anda tidak dapat menambahkan pengaitan lagi. Anda dapat mengatasi masalah ini dengan salah satu cara berikut:
-
Anda dapat men-deploy sumber data di VPC yang sudah dikaitkan atau menghubungkan VPC sumber data dengan VPC yang sudah dikaitkan menggunakan Cloud Enterprise Network (CEN).
-
Gunakan Cloud Enterprise Network (CEN) untuk membuat konektivitas cross-VPC. Tambahkan VPC yang sudah dikaitkan dan VPC target ke instans CEN yang sama untuk menghubungkan jaringan. Hal ini memungkinkan Anda mengakses sumber data di VPC target tanpa menghabiskan kuota pengaitan VPC.
Pengaitan VPC dalam pengaturan jaringan kelompok sumber daya memiliki dua tujuan: layanan data dan penjadwalan data. Kuota dua VPC merupakan batas total untuk kelompok sumber daya dan digunakan bersama oleh kedua tujuan tersebut.