DataWorks:Operasi kelompok sumber daya dan konektivitas jaringan

Apa yang perlu saya ketahui tentang DataWorks dan kemampuan jaringannya sebelum menjalankan tugas sinkronisasi batch?

Jika Anda mengalami masalah selama sinkronisasi tugas, Anda dapat terlebih dahulu merujuk ke Troubleshoot data synchronization issues untuk troubleshooting mandiri.

Jika Anda mengalami masalah saat menguji konektivitas sumber data, Anda dapat terlebih dahulu merujuk ke Troubleshoot data source connectivity issues untuk memilih solusi yang tepat guna melakukan troubleshooting.

Saat menggunakan kelompok sumber daya eksklusif untuk Integrasi Data, ikuti langkah-langkah berikut: beli kelompok sumber daya, kaitkan dengan VPC tempat database terhubung, evaluasi apakah perlu menambahkan rute, konfigurasikan daftar izin database, dan kaitkan kelompok sumber daya eksklusif dengan ruang kerja. Untuk informasi lebih lanjut, lihat Configure an exclusive resource group for Data Integration.

Bagaimana cara memastikan konektivitas jaringan antara DataWorks dan database yang dikelola sendiri pada instance ECS?

Bagaimana cara memastikan konektivitas jaringan ketika database dan ruang kerja DataWorks berada di wilayah yang berbeda?

Sebelum memulai, rujuk ke Troubleshoot data source connectivity issues untuk memilih solusi konektivitas jaringan yang tepat. Poin-poin utama solusi konektivitas adalah sebagai berikut:

Bagaimana cara memastikan konektivitas jaringan ketika database dan ruang kerja DataWorks berada di bawah Akun Alibaba Cloud yang berbeda?

Apa yang harus saya lakukan jika pengujian konektivitas gagal untuk database di VPC?

• Jika Anda menambahkan sumber data menggunakan titik akhir VPC:

  1. Pastikan Anda telah mengaitkan kelompok sumber daya eksklusif untuk Integrasi Data dengan VPC tempat database berada.

  2. Pastikan blok CIDR vSwitch yang dikaitkan dengan kelompok sumber daya eksklusif untuk Integrasi Data telah ditambahkan ke daftar izin database. Untuk informasi lebih lanjut, lihat Add allowlist entries.

• Jika Anda menambahkan sumber data menggunakan titik akhir publik dan pengujian konektivitas gagal dengan kelompok sumber daya eksklusif untuk Integrasi Data, periksa apakah EIP kelompok sumber daya eksklusif tersebut telah ditambahkan ke daftar izin database. Untuk informasi lebih lanjut, lihat Add allowlist entries.

  Catatan

  Sinkronisasi data berbasis Internet dikenakan biaya lalu lintas internet. Untuk informasi lebih lanjut, lihat Pricing.

Apa yang harus saya lakukan jika konektivitas sumber data bersifat intermiten?

Periksa apakah Anda menggunakan kelompok sumber daya yang dibagikan. Jaringan kelompok sumber daya yang dibagikan tidak stabil. Kami menyarankan Anda menggunakan kelompok sumber daya eksklusif untuk Integrasi Data guna memastikan stabilitas koneksi.

Bagaimana cara memastikan konektivitas jaringan antara kelompok sumber daya arsitektur tanpa server dan Hologres saat menyinkronkan data dengan Integrasi Data?

Kelompok sumber daya arsitektur tanpa server harus dikaitkan dengan VPC tempat instance Hologres berada. Lakukan langkah-langkah berikut:

1. Masuk ke Konsol DataWorks dan temukan kelompok sumber daya arsitektur tanpa server target dalam daftar kelompok sumber daya.

2. Klik Network Settings. Di bagian Data Scheduling and Data Integration, klik Add VPC Association.

3. Pilih VPC, zona, dan vSwitch tempat instance Hologres berada, lalu klik OK.

4. Setelah pengaitan selesai, buat sumber data Hologres di bagian manajemen sumber data Integrasi Data, lalu klik Test Connectivity untuk memverifikasi bahwa koneksi berhasil.

Jika blok CIDR VPC yang sudah dikaitkan dengan kelompok sumber daya bertentangan dengan blok CIDR VPC Hologres, putuskan kaitan VPC yang bertentangan terlebih dahulu, lalu tambahkan VPC Hologres. Pengaitan VPC akan membuat elastic network interfaces (ENIs) di VPC yang mengonsumsi kuota. Jangan hapus ENIs tersebut.

Untuk operasi detail tentang pergantian konfigurasi jaringan Hologres, lihat Switch Hologres network configurations.

Bagaimana cara melakukan troubleshooting kesalahan koneksi atau kegagalan konektivitas saat DataWorks terhubung ke Kafka akibat ketidaksesuaian advertised.listeners?

Jika DataWorks gagal terhubung ke kluster Kafka atau melaporkan kesalahan koneksi, lakukan troubleshooting berdasarkan skenario berikut:

1. Di security group ECS, izinkan akses dari blok CIDR vSwitch yang dikaitkan dengan kelompok sumber daya DataWorks yang digunakan untuk tugas tersebut (misalnya, 172.17.112.0/20).

2. Pastikan alamat kluster Kafka sesuai dengan nilai parameter advertised.listeners dalam file server.properties setiap broker, serta semua broker dalam kluster berada dalam kondisi berjalan normal.

3. Jika Anda terhubung ke Kafka menggunakan alamat IP internal, pastikan VPC yang dikaitkan dengan kelompok sumber daya DataWorks dapat mengakses alamat IP internal tersebut.

4. Jika Anda terhubung ke Kafka menggunakan alamat IP publik, konfigurasikan NAT Gateway dan Elastic IP Address (EIP) untuk VPC yang dikaitkan dengan kelompok sumber daya DataWorks.

5. Jika resolusi nama domain gagal, konfigurasikan resolusi DNS internal menggunakan PrivateZone.

Apa yang harus saya lakukan jika saya telah membeli kelompok sumber daya eksklusif tetapi tidak dapat menemukannya saat menguji konektivitas sumber data atau menjalankan tugas?

Pastikan kelompok sumber daya eksklusif telah dikaitkan dengan ruang kerja DataWorks. Untuk informasi lebih lanjut, lihat Associate a resource group with a workspace.

Bagaimana cara memeriksa log untuk menentukan jenis kelompok sumber daya tempat tugas dijalankan?

• Jika tugas dijalankan pada kelompok sumber daya default, informasi berikut akan muncul di log: running in Pipeline[basecommon_ group_xxxxxxxxx].

• Jika tugas dijalankan pada kelompok sumber daya kustom untuk Integrasi Data, informasi berikut akan muncul di log: running in Pipeline[basecommon_xxxxxxxxx].

• Jika tugas dijalankan pada kelompok sumber daya eksklusif untuk Integrasi Data, informasi berikut akan muncul di log: running in Pipeline[basecommon_S_res_group_xxx].

Bagaimana cara mengganti kelompok sumber daya yang digunakan oleh tugas dalam sistem penjadwalan?

Bagaimana cara melakukan troubleshooting kelompok sumber daya kustom yang sedang menunggu gerbang?

Masuk ke Konsol DataWorks. Di panel navigasi kiri, klik Daftar Kelompok Sumber Daya dan buka tab Kelompok Sumber Daya Kustom. Klik Manajemen Server di samping kelompok sumber daya penjadwalan yang digunakan oleh tugas, lalu periksa apakah server berhenti atau sedang digunakan oleh tugas lain.

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

Bagaimana cara menemukan alamat IP publik kelompok sumber daya untuk daftar izin alamat IP?

Jika Anda menggunakan kelompok sumber daya eksklusif untuk Integrasi Data guna menyinkronkan data melalui Internet, tambahkan EIP kelompok sumber daya eksklusif tersebut ke daftar izin database. Anda dapat memperoleh EIP sebagai berikut:

Pada halaman Resource Groups di Konsol DataWorks, klik tab Exclusive Resource Groups. Klik Details di samping kelompok sumber daya Integrasi Data, lalu salin EIP dari bagian informasi dasar ke daftar izin database.

Mengapa saya mendapatkan error "insufficient resources" padahal kelompok sumber daya memiliki sumber daya yang tersedia?

Periksa detail kelompok sumber daya. Umumnya, sumber daya tersisa dari kelompok sumber daya tidak mencukupi untuk tugas baru. Misalnya, kelompok sumber daya mungkin memiliki tugas yang sedang dalam antrian pada saat itu.

Berapa banyak VPC yang dapat dikaitkan dengan kelompok sumber daya arsitektur tanpa server, dan apa yang harus saya lakukan jika kuota telah tercapai?

Setiap kelompok sumber daya arsitektur tanpa server mendukung maksimal dua asosiasi VPC.

Masuk ke Konsol DataWorks. Pada halaman Resource Groups, temukan kelompok sumber daya arsitektur tanpa server target lalu klik Details. Di bagian informasi dasar halaman detail kelompok sumber daya, bidang VPCs That Can Be Associated menampilkan penggunaan kuota saat ini dalam format X associated, Y remaining.

Ketika kuota dua VPC telah terpakai penuh (2 associated, 0 remaining), Anda tidak dapat menambahkan asosiasi VPC lagi. Anda dapat mengatasi masalah ini dengan metode berikut:

• Evaluasi apakah Anda dapat menggunakan kembali VPC yang sudah dikaitkan. Terapkan sumber data yang memerlukan konektivitas di VPC yang sudah dikaitkan, atau hubungkan VPC tempat sumber data berada ke VPC yang sudah dikaitkan menggunakan Cloud Enterprise Network (CEN).

• Gunakan Cloud Enterprise Network (CEN) untuk konektivitas lintas-VPC. Tambahkan VPC yang sudah dikaitkan dan VPC target ke instans CEN yang sama untuk membangun konektivitas jaringan. Dengan cara ini, Anda dapat mengakses sumber data di VPC target tanpa mengonsumsi kuota asosiasi VPC tambahan.

Asosiasi VPC dalam pengaturan jaringan kelompok sumber daya dibagi menjadi dua bagian: Data Service dan Data Scheduling. Kuota dua VPC merupakan total kuota tingkat kelompok sumber daya yang dibagi oleh kedua bagian tersebut.

Apa yang harus saya lakukan jika kelompok sumber daya DataWorks dan instance ApsaraDB RDS for MySQL berada di VPC yang sama dan daftar izin telah dikonfigurasi, tetapi koneksi tetap gagal?

Masalah ini biasanya terjadi karena tugas tidak dijalankan pada kelompok sumber daya yang dikaitkan dengan VPC database. Saat mengonfigurasi atau menjalankan tugas, pilih secara eksplisit kelompok sumber daya yang dikaitkan dengan VPC tempat instance ApsaraDB RDS for MySQL berada dan yang telah memiliki entri daftar izin database yang diperlukan.

Jika Anda hanya perlu mengembangkan dan men-debug tugas di Integrasi Data, cukup pastikan pengujian konektivitas sumber data berhasil. Anda tidak perlu mempertimbangkan konektivitas modul Data Service dalam skenario ini.

Apa yang harus saya lakukan jika sumber data berhasil diunggah secara batch tetapi entri tersebut tidak muncul dalam daftar, atau halaman berhenti merespons?

Jika Anda mengunggah sumber data secara batch tetapi entri tersebut tidak muncul dalam daftar sumber data, atau halaman berhenti merespons, lakukan troubleshooting sebagai berikut:

1. Konfirmasi bahwa Anda telah mengklik Start Creation setelah unggahan, lalu refresh halaman.

2. Periksa apakah tabel yang diunggah berisi entri yang namanya menduplikasi sumber data yang sudah ada. Entri duplikat dilewati selama pembuatan, yang juga dapat menyebabkan halaman tidak memberikan respons. Hapus entri duplikat tersebut dan unggah ulang tabel.

3. Periksa bidang mode dan lingkungan ruang kerja. Jika ruang kerja berada dalam Basic Mode, ruang kerja hanya mendukung Production Environment. Jika bidang lingkungan dalam tabel yang diunggah diatur ke dev, ubah menjadi Prod lalu unggah ulang tabel. Hanya dalam Standard Mode Anda perlu membedakan antara Development Environment dan Production Environment.

4. Coba unggah dalam mode penyamaran atau mode penjelajahan pribadi browser Anda untuk mengesampingkan gangguan dari data cache.

Apa yang harus saya lakukan jika saya tidak dapat menemukan instance target saat membuat sumber data dari instance ApsaraDB RDS?

Jika instance yang ingin Anda gunakan tidak muncul dalam daftar instance saat membuat sumber data dari instance ApsaraDB RDS, pertama-tama konfirmasi apakah tipe instance RDS adalah MySQL atau PostgreSQL. Lalu, atur tipe sumber data agar sesuai dengan tipe instance RDS yang sebenarnya, dan refresh halaman untuk memuat ulang daftar instance lengkap.

Apa yang harus saya lakukan jika DataWorks gagal terhubung ke database eksternal, seperti MongoDB Atlas, melalui Internet dan melaporkan error UnknownHostException?

Jika terjadi kegagalan konektivitas atau error UnknownHostException saat Anda menggunakan DataWorks untuk terhubung ke database eksternal melalui Internet, lakukan troubleshooting sebagai berikut:

1. Konfirmasi bahwa NAT Gateway telah dikonfigurasi untuk VPC kelompok sumber daya arsitektur tanpa server dan Elastic IP Address (EIP) telah dikaitkan dengan NAT Gateway tersebut. Verifikasi bahwa EIP ini dapat diakses dari Internet, misalnya dengan menjalankan pengujian ping terhadapnya.

2. Di sisi database eksternal (misalnya, MongoDB Atlas), periksa apakah EIP NAT Gateway telah ditambahkan ke daftar izin akses, atau apakah database dikonfigurasi untuk mengizinkan akses dari semua alamat IP.

3. Jika koneksi tetap gagal setelah Anda menyelesaikan pemeriksaan di atas, database target biasanya berada di lingkungan cloud lain, seperti MongoDB Atlas atau Microsoft Azure. Koneksi Internet antar lingkungan cloud berbeda dapat terpengaruh oleh pembatasan jaringan lintas batas atau ketidakstabilan. Dalam kasus ini, gunakan IPsec VPN, Express Connect, atau jalur sewa untuk membangun koneksi jaringan internal antara VPC Alibaba Cloud Anda dan lingkungan cloud target. Lalu, konfigurasikan sumber data menggunakan alamat jaringan internal untuk meningkatkan konektivitas dan stabilitas.