Konektivitas jaringan dan operasi pada kelompok sumber daya - DataWorks

Konektivitas Jaringan untuk Sinkronisasi Data
Konfigurasi dan Operasi pada Grup Sumber Daya

Informasi apa tentang DataWorks dan kemampuan jaringannya yang perlu saya pahami sebelum mengonfigurasi tugas sinkronisasi data?

Sebelum mengonfigurasi tugas sinkronisasi data, perhatikan hal-hal berikut:

Virtual Private Cloud (VPC), vSwitch, dan wilayah dari sumber data tempat ingin menyinkronkan data, serta wilayah grup sumber daya DataWorks.
Apakah sumber data dan grup sumber daya DataWorks berada di wilayah berbeda atau dimiliki oleh akun Alibaba Cloud berbeda.

Untuk informasi lebih lanjut tentang cara menyelesaikan masalah saat mengonfigurasi dan menjalankan tugas sinkronisasi data, lihat Tipe Sumber Data yang Didukung, Plugin Reader, dan Plugin Writer.

Jika mengalami masalah saat menguji konektivitas jaringan sumber data, Anda dapat menyelesaikannya dengan merujuk pada Solusi Konektivitas Jaringan.

Jika ingin menggunakan grup sumber daya eksklusif untuk Data Integration, Anda harus melakukan langkah-langkah berikut sebelum mengonfigurasi tugas sinkronisasi data: membeli grup sumber daya eksklusif untuk Data Integration, mengaitkannya dengan VPC tempat sumber data berada, mengevaluasi apakah perlu menambahkan rute, mengonfigurasi Daftar putih alamat IP dari sumber data, dan mengaitkan grup sumber daya dengan ruang kerja DataWorks. Untuk informasi lebih lanjut, lihat Buat dan Gunakan Grup Sumber Daya Eksklusif untuk Data Integration.

Bagaimana cara memastikan konektivitas jaringan antara grup sumber daya DataWorks dan sumber data mandiri yang dihosting pada Instance ECS saat saya menyinkronkan data dari sumber data tersebut?

Jika ingin menggunakan grup sumber daya eksklusif untuk Data Integration untuk mengakses sumber data mandiri yang dihosting pada Instance ECS melalui jaringan internal, Anda harus mengonfigurasi pengaturan jaringan untuk grup sumber daya tersebut. Untuk informasi lebih lanjut, lihat Buat dan Gunakan Grup Sumber Daya Eksklusif untuk Data Integration. Saat mengonfigurasi pengaturan jaringan, perhatikan hal-hal berikut:

Jika mengaitkan grup sumber daya eksklusif untuk Data Integration dengan VPC tempat Instance ECS berada, rute yang menunjuk ke blok CIDR dari VPC akan ditambahkan secara otomatis. Kami sarankan agar tidak menghapus rute yang telah ditambahkan. Jika menghapus rute tersebut, Anda mungkin gagal mengakses sumber data lainnya, dan kesalahan mungkin dilaporkan selama sinkronisasi data.
Anda harus menambahkan blok CIDR dari vSwitch yang dikaitkan dengan grup sumber daya eksklusif untuk Data Integration ke Daftar putih alamat IP dari sumber data. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih Alamat IP.

Bagaimana cara memastikan konektivitas jaringan antara grup sumber daya DataWorks dan sumber data yang berada di wilayah berbeda dari grup sumber daya saat saya menyinkronkan data dari sumber data tersebut?

Sebelum mengonfigurasi dan menjalankan tugas sinkronisasi data, kami sarankan memilih solusi konektivitas jaringan yang sesuai untuk menetapkan koneksi jaringan antara grup sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Solusi Konektivitas Jaringan. Perhatikan hal-hal berikut:

Jika ingin menyinkronkan data dari sumber data yang berada di wilayah berbeda dari grup sumber daya DataWorks melalui Internet, Anda harus menambahkan alamat IP elastis (EIP) dari grup sumber daya eksklusif untuk Data Integration ke Daftar putih alamat IP dari sumber data. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih Alamat IP.

Catatan

Jika Anda menyinkronkan data melalui Internet, Anda akan dikenakan biaya untuk lalu lintas yang dihasilkan selama sinkronisasi data. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.

Bagaimana cara memastikan konektivitas jaringan antara grup sumber daya DataWorks dan sumber data yang dimiliki oleh akun Alibaba Cloud berbeda dari grup sumber daya saat saya menyinkronkan data dari sumber data tersebut?

Jika ingin menyinkronkan data lintas akun melalui Internet, Anda harus menambahkan EIP dari grup sumber daya eksklusif untuk Data Integration ke Daftar putih alamat IP dari sumber data. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih Alamat IP.
Catatan
Jika Anda menyinkronkan data melalui Internet, Anda akan dikenakan biaya untuk lalu lintas yang dihasilkan selama sinkronisasi data. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.
Jika ingin menyinkronkan data dari sumber data melalui jaringan internal dan sumber data dimiliki oleh akun Alibaba Cloud berbeda dari grup sumber daya eksklusif Anda untuk Data Integration, Anda harus melakukan langkah-langkah berikut:
1. Tetapkan koneksi jaringan antara VPC tempat sumber data berada dan VPC (disebut sebagai VPC 1) dalam akun Alibaba Cloud tempat grup sumber daya eksklusif untuk Data Integration berada. Anda dapat menggunakan alat koneksi jaringan seperti gateway VPN atau sirkuit Express Connect untuk menetapkan koneksi jaringan.
2. Kaitkan grup sumber daya eksklusif Anda untuk Data Integration dengan VPC 1.
3. Tambahkan rute kustom untuk grup sumber daya eksklusif Anda untuk Data Integration di konsol DataWorks. Saat menambahkan rute kustom, atur parameter Destination Type ke IDC, parameter Connection Method ke Fixed IP Address, dan masukkan alamat IP dari sumber data di bidang Fixed IP Address.
4. Tambahkan blok CIDR dari vSwitch yang dikaitkan dengan grup sumber daya eksklusif untuk Data Integration ke Daftar putih alamat IP dari sumber data. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih Alamat IP.

Apa yang harus saya lakukan jika pengujian konektivitas jaringan untuk sumber data dalam VPC gagal?

Untuk sumber data yang ditambahkan menggunakan titik akhir VPC:
1. Pastikan telah mengaitkan grup sumber daya eksklusif untuk Data Integration yang ingin digunakan dengan VPC tempat sumber data berada.
2. Pastikan telah menambahkan blok CIDR dari vSwitch yang dikaitkan dengan grup sumber daya eksklusif untuk Data Integration ke Daftar putih alamat IP dari sumber data. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih Alamat IP.
Untuk sumber data yang ditambahkan menggunakan titik akhir publik, jika pengujian konektivitas jaringan gagal, periksa apakah telah menambahkan EIP dari grup sumber daya eksklusif untuk Data Integration ke Daftar putih alamat IP dari sumber data. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih Alamat IP.
Catatan
Jika Anda menyinkronkan data melalui Internet, Anda akan dikenakan biaya untuk lalu lintas yang dihasilkan selama sinkronisasi data. Untuk informasi lebih lanjut, lihat Penagihan lalu lintas internet.

Pengujian konektivitas jaringan yang dilakukan pada sumber data terkadang berhasil dan terkadang gagal. Apa yang harus saya lakukan?

Periksa apakah grup sumber daya dibagi untuk Data Integration digunakan. Jaringan dari grup sumber daya dibagi untuk Data Integration tidak stabil. Kami sarankan menggunakan grup sumber daya eksklusif untuk Data Integration untuk memastikan stabilitas koneksi jaringan.

Saya tidak dapat menemukan grup sumber daya eksklusif untuk Data Integration yang saya beli saat menguji konektivitas jaringan untuk sumber data atau menjalankan tugas sinkronisasi data. Apa yang harus saya lakukan?

Pastikan telah mengaitkan grup sumber daya eksklusif untuk Data Integration dengan ruang kerja DataWorks yang ingin digunakan. Untuk informasi lebih lanjut, lihat Buat dan Gunakan Grup Sumber Daya Eksklusif untuk Data Integration.

Bagaimana cara melihat jenis grup sumber daya tempat tugas sinkronisasi data dijalankan dari log?

Jika tugas sinkronisasi data dijalankan pada grup sumber daya bersama untuk Integrasi Data, log yang dihasilkan untuk tugas tersebut berisi informasi berikut: running in Pipeline[basecommon_ group_xxxxxxxxx].
Jika tugas sinkronisasi data dijalankan pada grup sumber daya kustom untuk Integrasi Data, log yang dihasilkan untuk tugas tersebut berisi informasi berikut: running in Pipeline[basecommon_xxxxxxxxx].
Jika tugas sinkronisasi data dijalankan pada grup sumber daya eksklusif untuk Integrasi Data, log yang dihasilkan untuk tugas tersebut berisi informasi berikut: running in Pipeline[basecommon_S_res_group_xxx].

Bagaimana cara mengubah jenis grup sumber daya tempat tugas sinkronisasi data dijalankan?

Ubah grup sumber daya untuk penjadwalan dan grup sumber daya untuk Data Integration tempat tugas sinkronisasi data dijalankan di Pusat Operasi dalam lingkungan produksi.
Ubah grup sumber daya tempat tugas sinkronisasi data dalam lingkungan produksi dijalankan pada halaman DataStudio dan terapkan operasi perubahan.
Catatan
Setelah melakukan operasi berikut untuk mengubah grup sumber daya tempat tugas sinkronisasi data dijalankan, Anda harus menerapkan operasi perubahan. Untuk ruang kerja dalam mode standar, perubahan hanya berlaku di lingkungan pengembangan jika hanya mengirimkan operasi perubahan. Jika ingin perubahan berlaku di lingkungan produksi, Anda harus menerapkan operasi perubahan. Setelah operasi perubahan diterapkan, Anda dapat memeriksa apakah grup sumber daya yang digunakan oleh tugas sinkronisasi data diubah pada halaman Tugas Siklus di Pusat Operasi dalam lingkungan produksi.
1. Ubah grup sumber daya untuk penjadwalan yang digunakan oleh tugas sinkronisasi data.
2. Ubah grup sumber daya untuk Data Integration yang digunakan oleh tugas sinkronisasi data.

Bagaimana cara menyelesaikan masalah bahwa grup sumber daya kustom untuk penjadwalan menunggu sumber daya gateway?

Masuk ke konsol DataWorks. Di panel navigasi di sebelah kiri, klik Grup Sumber Daya. Di halaman Grup Sumber Daya, klik Grup Sumber Daya Kustom. Temukan grup sumber daya untuk penjadwalan dan klik Manajemen Server di kolom Aksi. Di kotakdialog yang muncul, periksa apakah server berada dalam status Dihentikan dan apakah server sedang digunakan oleh tugas lain.

Jika masalah tetap ada, jalankan perintah berikut untuk memulai ulang layanan:

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

Bagaimana cara melihat EIP dari grup sumber daya dan menambahkan EIP dari grup sumber daya ke Daftar putih alamat IP dari sumber data tempat saya ingin menyinkronkan data?

Jika ingin menggunakan grup sumber daya eksklusif untuk Data Integration untuk menjalankan tugas menyinkronkan data dari sumber data melalui Internet, tambahkan EIP dari grup sumber daya eksklusif ke Daftar putih alamat IP dari sumber data. Untuk mendapatkan dan menambahkan EIP dari grup sumber daya eksklusif untuk Data Integration ke Daftar putih alamat IP dari sumber data, lakukan langkah-langkah berikut:

Buka tab Exclusive Resource Groups pada halaman Resource Groups di konsol DataWorks, temukan grup sumber daya eksklusif untuk Data Integration yang EIP-nya ingin dilihat, dan kemudian klik Details di kolom Aksi. Di kotak dialog Grup Sumber Daya Eksklusif, salin EIPAddress. Kemudian, tambahkan EIP yang disalin ke Daftar putih alamat IP dari sumber data.

Mengapa muncul pesan yang menunjukkan bahwa tugas tidak dapat dijalankan karena sumber daya tidak cukup dalam grup sumber daya meskipun grup sumber daya masih memiliki sumber daya?

Dalam banyak kasus, masalah ini terjadi jika sumber daya yang tersisa dalam grup sumber daya tidak cukup untuk menjalankan tugas. Dalam hal ini, beberapa tugas mungkin sedang menunggu sumber daya dalam grup sumber daya. Untuk menyelesaikan masalah ini, lihat detail dari grup sumber daya.