Konektivitas Jaringan dalam Grup Sumber Daya DataWorks - DataWorks

Masalah konektivitas jaringan untuk Sinkronisasi Offline
Masalah konfigurasi grup sumber daya

Kemampuan jaringan DataWorks untuk sinkronisasi offline

Sebelum melakukan sinkronisasi data, pahami hal-hal berikut:

Virtual Private Cloud (VPC), vSwitch, dan Wilayah tempat database Anda berada, serta Wilayah ruang kerja DataWorks Anda.
Apakah database dan ruang kerja DataWorks berada dalam Akun Alibaba Cloud atau Wilayah yang berbeda.

Jika mengalami masalah selama sinkronisasi data, lihat Jenis sumber data yang didukung, plugin Reader, dan plugin Writer untuk troubleshooting.

Jika uji konektivitas sumber data gagal, lihat solusi dalam Solusi konektivitas jaringan.

Saat menggunakan grup sumber daya eksklusif untuk Integrasi Data, ikuti langkah-langkah berikut: beli grup sumber daya, asosiasikan grup sumber daya tersebut dengan VPC untuk membangun konektivitas jaringan, evaluasi apakah perlu menambahkan rute, konfigurasikan daftar putih alamat IP database, dan asosiasikan grup sumber daya eksklusif tersebut dengan ruang kerja Anda. Untuk informasi lebih lanjut, lihat Gunakan grup sumber daya eksklusif untuk Integrasi Data.

Konektivitas jaringan untuk database ECS yang dikelola sendiri

Untuk menggunakan grup sumber daya eksklusif untuk Integrasi Data guna menyinkronkan data dari database yang dikelola sendiri pada instans Elastic Compute Service (ECS) melalui jaringan internal, Anda harus mengonfigurasi pengaturan jaringan grup sumber daya tersebut. Untuk informasi lebih lanjut, lihat Gunakan grup sumber daya eksklusif untuk Integrasi Data. Langkah utama untuk membangun konektivitas adalah:

Asosiasikan grup sumber daya eksklusif untuk Integrasi Data dengan VPC tempat instans ECS berada. Rute ke blok CIDR VPC akan ditambahkan secara otomatis. Disarankan agar Anda tidak menghapus rute ini secara manual karena dapat menyebabkan kegagalan akses ke database lain dan mengakibatkan error pada task.
Tambahkan blok CIDR vSwitch yang diasosiasikan dengan grup sumber daya eksklusif untuk Integrasi Data ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih alamat IP.

Konektivitas jaringan lintas wilayah

Sebelum memulai, pilih solusi dari Solusi konektivitas jaringan. Langkah utama untuk membangun konektivitas adalah sebagai berikut:

Untuk menyinkronkan data melalui Internet dari database di Wilayah lain, tambahkan Elastic IP Address (EIP) grup sumber daya eksklusif ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih alamat IP.

Catatan

Transfer data melalui Internet dikenai biaya. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.

Konektivitas jaringan lintas akun

Sebelum memulai, pilih solusi dari Solusi konektivitas jaringan.

Untuk menyinkronkan data melalui Internet dari database di Akun Alibaba Cloud yang berbeda, tambahkan Elastic IP Address (EIP) grup sumber daya eksklusif ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih alamat IP.
Catatan
Transfer data melalui Internet dikenai biaya. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.
Untuk menyinkronkan data melalui jaringan internal dari database di Akun Alibaba Cloud yang berbeda, lakukan langkah-langkah berikut:
1. Buat koneksi antara jaringan kedua Akun Alibaba Cloud menggunakan produk cloud seperti VPN Gateway atau Express Connect.
2. Asosiasikan grup sumber daya eksklusif untuk Integrasi Data dengan VPC yang terhubung ke jaringan Akun Alibaba Cloud lainnya.
3. Setelah mengasosiasikan VPC, tambahkan rute kustom. Atur lompatan berikutnya ke 'Local IDC' dan tentukan alamat IP database target.
4. Tambahkan blok CIDR vSwitch yang diasosiasikan dengan grup sumber daya eksklusif ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih alamat IP.

Penyelesaian masalah uji konektivitas VPC yang gagal

Jika Anda menambahkan sumber data menggunakan titik akhir VPC:
1. Pastikan Anda telah mengasosiasikan grup sumber daya eksklusif untuk Integrasi Data dengan VPC tempat database berada.
2. Pastikan Anda telah menambahkan blok CIDR vSwitch yang diasosiasikan dengan grup sumber daya eksklusif untuk Integrasi Data ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih alamat IP.
Jika Anda menambahkan sumber data menggunakan titik akhir publik dan uji konektivitas gagal saat menggunakan grup sumber daya eksklusif untuk Integrasi Data, pastikan Anda telah menambahkan Elastic IP Address (EIP) grup sumber daya tersebut ke daftar putih alamat IP database. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih alamat IP.
Catatan
Transfer data melalui Internet dikenai biaya. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.

Penyelesaian masalah kegagalan konektivitas yang bersifat intermiten

Periksa apakah Anda menggunakan resource yang dibagikan. Konektivitas jaringan untuk resource yang dibagikan bisa tidak stabil. Disarankan untuk menggunakan grup sumber daya eksklusif untuk Integrasi Data guna memastikan koneksi yang stabil.

Grup sumber daya eksklusif tidak ditemukan

Pastikan grup sumber daya eksklusif telah diasosiasikan dengan ruang kerja DataWorks. Untuk informasi lebih lanjut, lihat Gunakan grup sumber daya eksklusif untuk Integrasi Data.

Jenis grup sumber daya dalam log

Jika task dijalankan pada grup sumber daya default, entri log berikut akan muncul: running in Pipeline[basecommon_ group_xxxxxxxxx].
Jika task dijalankan pada grup sumber daya kustom untuk Integrasi Data, entri log berikut akan muncul: running in Pipeline[basecommon_xxxxxxxxx].
Jika task dijalankan pada grup sumber daya eksklusif untuk Integrasi Data, entri log berikut akan muncul: running in Pipeline[basecommon_S_res_group_xxx].

Mengubah grup sumber daya untuk tugas terjadwal

Di Pusat Operasi, ganti grup sumber daya untuk penjadwalan dan grup sumber daya eksekusi untuk task Integrasi Data:
Di DataStudio, deploy perubahan ke Lingkungan Produksi untuk mengubah grup sumber daya task tersebut.
Catatan
Jika menggunakan metode ini, ingatlah untuk melakukan deployment. Dalam mode standar, operasi commit hanya berlaku di Lingkungan Pengembangan. Anda harus melakukan deployment agar perubahan diterapkan pada tugas terjadwal di Lingkungan Produksi. Setelah deployment, Anda dapat memverifikasi perubahan grup sumber daya untuk Cycle Task di Pusat Operasi.
1. Ubah grup sumber daya untuk penjadwalan:
2. Ubah grup sumber daya eksekusi untuk task Integrasi Data:

Penyelesaian masalah grup sumber daya kustom yang menunggu gateway

Login ke Konsol DataWorks. Di panel navigasi sebelah kiri, klik Resource Groups dan buka tab Custom Resource Groups. Klik Server Management untuk grup sumber daya penjadwalan task tersebut. Periksa apakah server berhenti atau sedang digunakan oleh task lain.

Jika masalah tetap berlanjut, jalankan perintah berikut untuk restart layanan.

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

Menemukan IP publik untuk daftar putih

Untuk menyinkronkan data melalui Internet menggunakan grup sumber daya eksklusif untuk Integrasi Data, tambahkan Elastic IP Address (EIP) grup sumber daya tersebut ke daftar putih alamat IP database. Untuk mendapatkan EIP, lakukan langkah-langkah berikut:

Pada halaman Resource Groups di Konsol DataWorks, buka tab Exclusive Resource Groups. Klik Details di sebelah grup sumber daya Integrasi Data. Di bagian Basic Information, salin EIPAddress dan tambahkan ke daftar putih alamat IP database.

Error 'Insufficient resources' meskipun resource tersedia

Periksa detail grup sumber daya tersebut. Masalah ini biasanya terjadi karena sisa resource tidak mencukupi untuk memulai task baru. Misalnya, Anda mungkin melihat task lain sedang dalam antrian di grup sumber daya tersebut.