DataWorks:Solusi 6: Konektivitas jaringan untuk sumber data publik

Solusi ini direkomendasikan jika sumber data Anda memenuhi kondisi berikut:

• Sumber data memiliki titik akhir publik.

Langkah 1: Dapatkan informasi dasar

Langkah 2: Bangun konektivitas jaringan

• Kelompok sumber daya serverless: Secara default, kelompok sumber daya serverless tidak dapat mengakses internet. Anda harus mengonfigurasi Internet NAT Gateway dan EIP untuk VPC yang terikat agar dapat mengakses sumber data melalui internet.

• Kelompok sumber daya eksklusif lama: Kelompok sumber daya eksklusif lama memiliki akses internet secara default dan dapat terhubung langsung.

Langkah 3: (Opsional) Konfigurasi allowlist

Jika sumber data menggunakan allowlist untuk kontrol akses, Anda harus menambahkan alamat IP publik kelompok sumber daya ke allowlist sumber data.

Topik ini menggunakan MySQL sebagai contoh untuk menunjukkan cara mengonfigurasi allowlist IP yang membatasi akses database hanya ke alamat IP publik kelompok sumber daya.

1. Login ke database sebagai administrator.

2. Buat akun untuk DataWorks gunakan saat mengakses sumber data, dan berikan izin yang diperlukan kepada akun tersebut.

   -- "dataworks_user" adalah username. Anda dapat menyesuaikannya.
   -- "StrongPassword123!" adalah password pengguna. Anda dapat menyesuaikannya.
   CREATE USER 'dataworks_user'@'<public_IP_address_bound_to_resource_group>' IDENTIFIED BY 'StrongPassword123!';
   -- Berikan izin kepada pengguna untuk mengakses database tertentu, misalnya mydatabase, dari alamat IP publik yang terikat pada kelompok sumber daya.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<public_IP_address_bound_to_resource_group>' WITH GRANT OPTION;

3. Jalankan perintah FLUSH PRIVILEGES; untuk menerapkan izin, lalu jalankan perintah exit untuk keluar dari database.

1. Informasi dasar

2. Bangun konektivitas jaringan

Solusi ini hanya berlaku untuk kelompok sumber daya serverless. Internet NAT Gateway digunakan untuk mengaktifkan akses internet bagi VPC yang terikat pada kelompok sumber daya. Kelompok sumber daya eksklusif lama memiliki EIP terikat secara default dan tidak memerlukan konfigurasi.

1. Buka halaman daftar kelompok sumber daya DataWorks, temukan kelompok sumber daya target, lalu klik Network Settings di kolom Operation.

2. Di bawah modul fitur terkait, temukan VPC yang terikat dan klik ikon di samping VPC untuk membuka halaman Basic Information VPC tersebut.

   Misalnya, jika Anda perlu menghubungkan instans MySQL dengan titik akhir publik ke DataWorks untuk sinkronisasi data, temukan VPC yang sesuai di bawah Data Scheduling & Data Integration dan klik ikon di samping VPC tersebut.

3. Buka tab Resource management. Di bagian Access to Internet, klik Create di bawah Internet NAT Gateway untuk mengaktifkan akses internet bagi VPC yang terikat pada kelompok sumber daya.

   Konfigurasikan parameter utama berikut:

   Parameter	Nilai
   VPC	Pilih VPC dan vSwitch yang sama dengan yang terikat pada kelompok sumber daya.
   Associated vSwitch
   Access mode	Pilih Full NAT Mode for VPC (SNAT).
   Elastic IP address	Pilih Purchase EIP.
   Create service-linked role	Pertama kali membuat gateway NAT, Anda harus membuat peran terkait layanan. Klik Create service-linked role.

4. Klik Buy Now dan selesaikan pembayaran untuk membuat instans gateway NAT.

   Setelah pembelian selesai, muncul pesan sukses yang menampilkan hasil tiga operasi resource: Create Elastic IP (Success), Create NAT Gateway (Success), dan Bind Elastic IP (Success).

5. Setelah instans gateway NAT dibuat, kembali ke konsol dan buat entri SNAT untuk instans baru tersebut.

   Catatan

   Kelompok sumber daya dalam VPC ini hanya dapat mengakses internet setelah entri SNAT dikonfigurasi.

   Entri SNAT mendukung empat cakupan: VPC, vSwitch, instans ECS/ENI, dan blok CIDR kustom. Entri dengan cakupan vSwitch hanya mencakup vSwitch yang dipilih. Jika kelompok sumber daya DataWorks dideploy pada vSwitch yang tidak dipilih, ia tidak dapat mengakses internet melalui entri SNAT ini. Kami menyarankan Anda mengonfigurasi entri SNAT dengan cakupan VPC. Untuk cakupan ini, blok CIDR sumber adalah 0.0.0.0/0, yang mencakup semua blok CIDR dalam VPC. Hal ini memastikan bahwa kelompok sumber daya pada semua vSwitch dapat mengakses internet melalui gateway NAT.

   1. Di kolom Actions untuk instans baru, klik Management untuk membuka halaman manajemen instans, lalu klik tab SNAT Management.

   2. Di tab SNAT Entry List, klik Create SNAT Entry dan konfigurasikan parameter utama berikut:

      Parameter	Nilai
      SNAT entry scope	Pilih cakupan VPC untuk memastikan semua kelompok sumber daya dalam VPC tempat gateway NAT berada dapat mengakses internet melalui EIP yang dikonfigurasi.
      Select EIP	Pilih EIP yang terikat pada instans gateway NAT saat ini.

      Setelah mengonfigurasi parameter untuk entri SNAT, klik OK untuk membuat entri SNAT.

   Di tab SNAT Entry List, ketika Status entri SNAT baru berubah menjadi Enabled, VPC yang terikat pada kelompok sumber daya telah memiliki akses internet.

   Jika sebelumnya Anda telah mengonfigurasi entri SNAT dengan cakupan vSwitch, Anda dapat menghapusnya setelah membuat entri SNAT dengan cakupan VPC. Entri SNAT dengan cakupan VPC, yang memiliki blok CIDR sumber 0.0.0.0/0, mencakup semua blok CIDR vSwitch dalam VPC. Entri lama dengan cakupan vSwitch tidak lagi diperlukan dan dapat dihapus dengan aman.

3. Konfigurasi allowlist

1. Dapatkan alamat IP publik yang terikat pada kelompok sumber daya.

   Kelompok sumber daya serverless

   1. Buka Konsol VPC. Di panel navigasi kiri, pilih NAT Gateway > Internet NAT Gateway untuk membuka halaman daftar Internet NAT Gateway.

   2. Temukan Internet NAT Gateway yang telah Anda buat dan dapatkan alamat EIP dari kolom Elastic IP Address.

   Kelompok sumber daya eksklusif lama

   1. Buka halaman daftar kelompok sumber daya DataWorks, temukan kelompok sumber daya target, lalu klik Details di kolom Operation untuk membuka halaman detail kelompok sumber daya.

   2. Dapatkan alamat EIP.

2. Login ke database sebagai administrator.

3. Buat akun untuk DataWorks gunakan saat mengakses sumber data, dan berikan izin yang diperlukan kepada akun tersebut.

   -- "dataworks_user" adalah username. Anda dapat menyesuaikannya.
   -- "StrongPassword123!" adalah password pengguna. Anda dapat menyesuaikannya.
   CREATE USER 'dataworks_user'@'<public_IP_address_bound_to_resource_group>' IDENTIFIED BY 'StrongPassword123!';
   -- Berikan izin kepada pengguna untuk mengakses database tertentu, misalnya mydatabase, dari alamat IP publik yang terikat pada kelompok sumber daya.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<public_IP_address_bound_to_resource_group>' WITH GRANT OPTION;

4. Jalankan perintah FLUSH PRIVILEGES; untuk menerapkan izin, lalu jalankan perintah exit untuk keluar dari database.

4. Uji konektivitas

1. Login ke Konsol DataWorks. Di wilayah target, klik Data Integration > Data Integration di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Integration.

2. Di panel navigasi kiri, klik Data Sources untuk membuka halaman Data Sources, lalu klik Add Connection.

3. Pilih MySQL sebagai jenis sumber data dan konfigurasikan parameternya.

   • Atur Configuration Mode ke User-created Data Store with Public IP Addresses.

   • Untuk Host Address, masukkan alamat IP publik server tempat instans MySQL berada. Dalam contoh ini, alamat IP-nya adalah 47.117.XX.XX.

   • Atur Port Number ke 3306.

   • Untuk Database Name, masukkan nama database yang sudah ada.

   • Untuk Username dan Password, masukkan kredensial untuk akun dataworks_user yang telah Anda buat di 3. Tambahkan alamat IP ke allowlist.

4. Di bagian Connection Configuration, klik Test Connectivity untuk kelompok sumber daya yang terikat pada ruang kerja dan periksa apakah hasil uji menunjukkan Connectable.

   Catatan

   Jika hasil uji menunjukkan Failed, gunakan Network Connectivity Diagnostic Tool untuk memecahkan masalah. Jika konektivitas tetap gagal, submit a ticket untuk bantuan.

Timeout koneksi serverless ke FTP publik

Secara default, kelompok sumber daya serverless tidak dapat mengakses internet. Jika koneksi ke sumber data FTP publik mengalami timeout, lakukan langkah-langkah berikut untuk memecahkan masalah:

1. Verifikasi bahwa Anda telah mengonfigurasi gateway NAT dan entri SNAT untuk VPC yang berisi kelompok sumber daya serverless. Jika belum, lihat "Langkah 2: Bangun konektivitas jaringan" dalam topik ini untuk menyelesaikan pengikatan gateway NAT dan pembuatan entri SNAT.

2. Periksa apakah gateway NAT terikat pada VPC dan vSwitch yang benar-benar digunakan oleh kelompok sumber daya serverless. Pastikan hubungan pengikatan konsisten dengan pengaturan jaringan kelompok sumber daya.

3. Di tabel rute VPC, tambahkan rute untuk blok CIDR yang sesuai dengan alamat IP server FTP. Misalnya, jika alamat server FTP adalah 121.4.x.x, tambahkan entri rute untuk blok CIDR tujuan 121.4.0.0/16 dan atur lompatan berikutnya ke instans gateway NAT.

4. Periksa pembatasan allowlist di server FTP. Tambahkan alamat IP egress kelompok sumber daya serverless, yaitu EIP yang terikat pada gateway NAT, ke allowlist akses server FTP.

Pencarian tabel UI gagal untuk koneksi PostgreSQL publik

Saat Anda menghubungkan ke sumber data PostgreSQL melalui internet, fitur pencarian tabel di UI memerlukan beberapa interaksi untuk mengambil metadata, yang membutuhkan stabilitas jaringan tinggi. Jika lingkungan jaringan publik tidak stabil atau memiliki pembatasan transmisi, pengambilan metadata mungkin mengalami timeout atau gagal, sehingga pencarian tabel gagal memuat daftar. Sebaliknya, mode skrip langsung mengirimkan tugas sinkronisasi, sehingga tidak terpengaruh oleh masalah ini.

Kami menyarankan Anda menggunakan metode berikut untuk menyelesaikan masalah ini:

• Utamakan membuat koneksi jaringan internal: Akses sumber data PostgreSQL melalui koneksi VPC untuk menghindari dampak ketidakstabilan jaringan publik. Untuk informasi lebih lanjut mengenai solusi jaringan, lihat Ikhtisar solusi konektivitas jaringan.

• Gunakan SDK untuk membuat tugas: Jika Anda tidak dapat beralih ke koneksi jaringan internal, gunakan OpenAPI atau SDK DataWorks untuk membuat tugas sinkronisasi data guna menghindari keterbatasan fitur pencarian tabel UI.

Tidak dapat mengakses konsol DataWorks luar negeri

Saat Anda mengakses konsol DataWorks di wilayah luar negeri, seperti US (Silicon Valley), dari Tiongkok daratan, koneksi jaringan lintas batas terlibat. Hal ini dapat menyebabkan halaman gagal dibuka atau dimuat lambat karena latensi jaringan atau pembatasan. Kami menyarankan Anda melakukan langkah-langkah berikut:

1. Coba gunakan komputer atau lingkungan jaringan berbeda, seperti hotspot seluler, untuk mengesampingkan masalah pada lingkungan jaringan lokal Anda.

2. Jika masalah dipastikan terkait dengan koneksi lintas batas, hubungi departemen manajemen jaringan perusahaan Anda untuk menyesuaikan kebijakan jaringan agar mengizinkan akses ke alamat konsol DataWorks di wilayah luar negeri.

3. Untuk akses stabil jangka panjang ke konsol di wilayah luar negeri, kami menyarankan Anda menggunakan Alibaba Cloud Global Accelerator (GA) untuk mengoptimalkan pengalaman akses lintas batas. GA menyediakan akselerasi jaringan lintas batas dengan latensi rendah dan ketersediaan tinggi.

Menyesuaikan IP egress dengan proksi

Tidak. Alibaba Cloud secara seragam memelihara dan mengalokasikan alamat IP egress untuk setiap kelompok sumber daya. Anda tidak dapat mengubah atau menyesuaikan alamat IP egress kelompok sumber daya dengan menggunakan alamat IP proksi atau metode lainnya. Bahkan jika pengaturan proksi telah dikonfigurasi dalam kode Anda, tugas DataWorks tetap menggunakan alamat IP yang dialokasikan ke kelompok sumber daya pada waktu proses. Untuk mengakses sumber data yang dibatasi secara geografis, gunakan produk jaringan seperti VPN Gateway atau Express Connect untuk membuat koneksi lintas batas.