Realtime Compute for Apache Flink：Konektivitas jaringan

• Bagaimana cara memecahkan masalah jaringan?

• Bagaimana cara menggunakan fitur deteksi jaringan?

• Bagaimana cara mendapatkan titik akhir instans Hologres?

• Bagaimana cara mengakses Internet?

• Bagaimana cara melihat bandwidth publik?

• Bagaimana cara mengakses layanan lain lintas VPC?

• Bagaimana cara mengonfigurasi daftar putih?

• Bagaimana cara menyelesaikan resolusi nama domain layanan yang menjadi dependensi Pekerjaan Flink?

• Error: JobManager heartbeat timeout

• Mengapa error 'timeout expired while fetching topic metadata' terjadi meskipun jaringan antara Flink dan Kafka sudah terhubung?

Bagaimana cara memecahkan masalah jaringan?

Ruang kerja Realtime Compute for Apache Flink dideploy di virtual private cloud (VPC). Anda tidak dapat mengubah VPC setelah membuat ruang kerja. Jika sumber data atau tujuan tidak berada dalam VPC yang sama dengan ruang kerja Flink, koneksi jaringan akan terputus sehingga data tidak dapat dibaca atau ditulis. Jika Anda mengalami masalah membaca atau menulis data, periksa jaringan dengan langkah-langkah berikut:

1. Periksa konektivitas jaringan antara layanan hulu dan hilir dengan ruang kerja Flink. Anda dapat menguji konektivitas jaringan di Konsol Flink. Untuk informasi selengkapnya, lihat Bagaimana cara menggunakan fitur deteksi jaringan?.

   Secara default, Realtime Compute for Apache Flink hanya dapat mengakses layanan dalam wilayah dan VPC yang sama. Untuk mengakses resource lintas VPC atau melalui Internet:

   • Untuk informasi selengkapnya tentang akses lintas-VPC, lihat Bagaimana cara mengakses layanan lain lintas VPC?.

   • Untuk mengakses Internet, gunakan Alibaba Cloud NAT Gateway untuk menghubungkan VPC Anda ke Internet. Untuk informasi selengkapnya, lihat Bagaimana cara mengakses Internet?.

2. Periksa apakah layanan hulu dan hilir telah dikonfigurasi dengan daftar putih. Untuk informasi selengkapnya, lihat Bagaimana cara mengonfigurasi daftar putih?.

3. Jika error timeout jaringan masih terjadi, kemungkinan disebabkan oleh timeout koneksi. Tingkatkan nilai parameter connect.timeout pada klausa `WITH` DDL. Nilai default-nya adalah 30 detik.

Bagaimana cara menggunakan fitur deteksi jaringan?

Realtime Compute for Apache Flink menyediakan fitur deteksi jaringan. Anda dapat menggunakan fitur tersebut di Konsol pengembangan Flink dengan langkah-langkah berikut:

1. Login ke Konsol Realtime Compute for Apache Flink.

2. Pada kolom Actions ruang kerja yang dituju, klik Console.

3. Di pojok kanan atas bilah navigasi atas, klik ikon Network Detection.

   

4. Masukkan titik akhir atau alamat IP untuk memeriksa apakah lingkungan Pekerjaan Flink terhubung ke sistem hulu dan hilir Anda.

   Penting

   Saat memasukkan titik akhir, hapus sufiks :<port> dan masukkan nomor port pada kolom Port.

   

   Jika muncul error connect timed out, pastikan apakah domain yang Anda akses berada di jaringan publik atau di VPC lain. Secara default, Realtime Compute for Apache Flink hanya dapat mengakses layanan dalam VPC yang sama. Untuk mengakses resource lintas VPC atau melalui jaringan publik, lihat Bagaimana cara mengakses layanan lain lintas VPC? dan Bagaimana cara mengakses Internet?.

Bagaimana cara mendapatkan titik akhir instans Hologres?

1. Login ke Konsol Hologres. Pada halaman Instance List, klik instans yang dituju.

2. Pada halaman Instance Details, Anda dapat menemukan titik akhir di bagian Network Information.

   Anda dapat memperoleh titik akhir yang sesuai berdasarkan jenis jaringan.

   Jenis jaringan	Skenario
   VPC Tertentu (Direkomendasikan)	Jaringan pribadi yang terhubung ke VPC tertentu. VPC Sama (Direkomendasikan): Instans Hologres dan ruang kerja Realtime Compute for Apache Flink berada dalam VPC yang sama dan dapat terhubung langsung. VPC Berbeda: Instans Hologres dan ruang kerja berada dalam VPC yang berbeda. Anda harus mengonfigurasi pengaturan jaringan untuk mengakses resource lintas-VPC. Untuk informasi selengkapnya, lihat Layanan lintas-VPC.
   Jaringan publik	Jaringan publik tanpa batasan akses. Dibandingkan jaringan internal, latensi bisa tidak dapat diprediksi. Anda harus menggunakan NAT Gateway untuk menghubungkan VPC ke jaringan publik. Untuk informasi selengkapnya, lihat Konfigurasi akses jaringan publik.

3. (Opsional) Uji konektivitas jaringan di Konsol Flink. Untuk informasi selengkapnya, lihat Bagaimana cara menggunakan fitur deteksi jaringan?.

   • Deteksi berhasil: Titik akhir benar.

   • Deteksi gagal: Pastikan apakah instans Hologres dan ruang kerja Realtime Compute for Apache Flink berada dalam VPC yang berbeda atau memerlukan akses jaringan publik. Anda harus mengonfigurasi jaringan sesuai kebutuhan sebelum dapat mengakses instans tersebut. Untuk informasi selengkapnya, lihat Layanan lintas-VPC dan Konfigurasi akses jaringan publik.

Bagaimana cara mengakses Internet?

Mengakses Internet dapat menyebabkan latensi yang tidak dapat diprediksi dibandingkan jaringan internal. Jika bisnis Anda memerlukan latensi rendah dan stabilitas tinggi, kami merekomendasikan penggunaan akses jaringan internal.

Alibaba Cloud NAT Gateway menghubungkan VPC ke Internet, memungkinkan Realtime Compute for Apache Flink mengakses sumber data publik. Untuk informasi selengkapnya, lihat Sumber data publik.

Bagaimana cara melihat bandwidth publik?

Saat membaca dari atau menulis ke pekerjaan melalui jaringan publik, jika semua metrik pekerjaan normal dan tidak ada tekanan balik, Anda dapat memeriksa bandwidth publik untuk mengidentifikasi potensi bottleneck. Lakukan langkah-langkah berikut:

1. Di Konsol Realtime Compute for Apache Flink, peroleh VPC ID dari Workspace Details.

2. Di Konsol VPC, klik ID VPC yang dituju.

3. Pada tab Resource Management, klik angka di samping Internet NAT Gateway.

   Catatan

   Jika angka di samping Internet NAT Gateway adalah 0, buat gateway Internet NAT. Untuk informasi selengkapnya, lihat Internet NAT Gateway.

4. Klik ID instans gateway Internet NAT.

5. Pada tab Attached EIP, klik nama instans.

6. Di halaman Public Network Access > Elastic IP Address, klik Monitoring untuk melihat informasi bandwidth publik.

Bagaimana cara mengakses layanan lain lintas VPC?

Jika layanan lain masih dalam tahap perencanaan awal atau dapat diganti, kami merekomendasikan membeli layanan dalam VPC yang sama dengan Realtime Compute for Apache Flink. Atau, rilis ruang kerja Flink saat ini dan buat yang baru dalam VPC yang sama dengan layanan lain tersebut.

Pilih metode yang sesuai untuk mengakses layanan lintas VPC berdasarkan kebutuhan bisnis Anda. Untuk informasi selengkapnya mengenai solusi tersebut, lihat Layanan lintas-VPC.

Bagaimana cara mengonfigurasi daftar putih?

Secara default, layanan hulu dan hilir untuk Realtime Compute for Apache Flink menolak akses dari perangkat eksternal. Anda harus menambahkan Blok CIDR dari virtual switch yang dikonfigurasi untuk ruang kerja Flink ke daftar putih layanan target. Lakukan langkah-langkah berikut:

1. Login ke Konsol Realtime Compute for Apache Flink.

2. Untuk workspace yang dituju, pada kolom Actions, pilih More > Workspace Details.

3. Pada dialog Workspace Details, lihat informasi CIDR block dari virtual switch ruang kerja.

4. Tambahkan CIDR block dari virtual switch ruang kerja Flink ke daftar putih layanan hulu dan hilir target Anda.

   Sebagai contoh, untuk mengatur daftar putih database ApsaraDB RDS untuk MySQL, lihat Konfigurasi daftar putih alamat IP.

   Catatan

   • Jika Anda menambahkan virtual switch baru nanti, Anda juga harus menambahkan Blok CIDR-nya ke daftar putih layanan target.

   • Jika virtual switch dan layanan hulu atau hilir Anda berada di zona yang berbeda, jaringan dapat terhubung setelah Anda menambahkan Blok CIDR virtual switch ke daftar putih.

Bagaimana cara menyelesaikan resolusi nama domain layanan yang menjadi dependensi Pekerjaan Flink?

Jika Pekerjaan Flink yang Anda bangun bergantung pada layanan yang ditentukan melalui nama domain, Anda mungkin mengalami error resolusi nama domain saat memigrasikan pekerjaan tersebut ke Realtime Compute for Apache Flink. Dalam kasus ini, gunakan salah satu solusi berikut untuk menyelesaikan resolusi nama domain:

• Anda memiliki DNS on-premises, VPC Flink dapat terhubung ke layanan DNS on-premises tersebut, dan DNS on-premises tersebut dapat menyelesaikan nama domain dengan benar.

  Anda dapat menggunakan templat pekerjaan Realtime Compute for Apache Flink untuk resolusi nama domain. Sebagai contoh, jika alamat IP DNS on-premises Anda adalah 192.168.0.1, lakukan langkah-langkah berikut:

  1. Login ke Konsol Realtime Compute for Apache Flink.

  2. Pada kolom Actions ruang kerja yang dituju, klik Console.

  3. Pada halaman Configuration Management, buka tab Default Job Configurations dan tambahkan kode berikut ke kotak teks Other Configurations.

     env.java.opts: >-
       -Dsun.net.spi.nameservice.provider.1=default
       -Dsun.net.spi.nameservice.provider.2=dns,sun
       -Dsun.net.spi.nameservice.nameservers=192.168.0.1

     Catatan

     • Metode ini hanya berlaku untuk engine yang tidak menggunakan JDK 11. Metode ini tidak berfungsi jika versi engine database mencantumkan jdk-11.

     • Jika DNS on-premises Anda memiliki beberapa alamat IP, pisahkan dengan koma (,).

  4. Klik Save Changes.

  5. Di Konsol pengembangan Realtime Compute for Apache Flink, buat dan jalankan pekerjaan baru.

     • Jika error UnknownHostException masih terjadi, artinya nama domain tidak dapat diselesaikan. Dalam hal ini, hubungi kami.

     • Jika pekerjaan sering gagal over dan muncul error 'JobManager heartbeat timeout' setelah Anda mengonfigurasi resolusi DNS on-premises, lihat Error: JobManager heartbeat timeout untuk solusinya.

• Jika Anda tidak memiliki DNS on-premises, atau VPC Flink tidak dapat terhubung ke DNS on-premises Anda, Anda dapat menggunakan DNS Alibaba Cloud untuk membuat koneksi.

Error: JobManager heartbeat timeout

• Detail error

  Setelah Anda mengonfigurasi resolusi DNS on-premises, pekerjaan sering gagal over dan muncul error 'JobManager heartbeat timeout'.

• Penyebab

  Hal ini mungkin disebabkan oleh latensi koneksi yang tinggi ke DNS on-premises.

• Solusi

  Anda harus menonaktifkan resolusi nama domain untuk TaskManagers (TMs) dalam pekerjaan tersebut. Untuk melakukannya, atur jobmanager.retrieve-taskmanager-hostname ke `false`. Konfigurasi ini tidak memengaruhi kemampuan pekerjaan untuk terhubung ke layanan eksternal menggunakan nama domain. Untuk informasi tentang cara mengonfigurasi parameter ini, lihat Bagaimana cara mengonfigurasi parameter running kustom untuk pekerjaan?.

Mengapa error "timeout expired while fetching topic metadata" terjadi meskipun jaringan antara Flink dan Kafka sudah terhubung?

Koneksi jaringan antara Flink dan Kafka tidak menjamin bahwa data dapat dibaca. Flink hanya dapat terhubung ke Kafka dan membaca data jika dapat terhubung ke titik akhir yang dijelaskan dalam metadata kluster yang dikembalikan oleh broker Kafka selama proses bootstrap. Untuk informasi selengkapnya, lihat Kafka client cannot connect to broker. Untuk memeriksa koneksi, lakukan langkah-langkah berikut:

1. Gunakan tool zkCli.sh atau zookeeper-shell.sh untuk login ke ZooKeeper yang digunakan oleh Kafka.

2. Jalankan perintah ls /brokers/ids untuk mencantumkan semua ID broker Kafka.

3. Jalankan perintah get /brokers/ids/{your_broker_id} untuk melihat metadata broker.

   Informasi titik akhir terdapat di `listener_security_protocol_map`.

4. Pastikan Flink dapat terhubung ke titik akhir tersebut.

   Jika titik akhir menggunakan nama domain, konfigurasikan layanan resolusi nama domain yang sesuai untuk Flink. Untuk informasi selengkapnya tentang cara menyelesaikan nama domain, lihat Bagaimana cara menyelesaikan resolusi nama domain layanan yang menjadi dependensi Pekerjaan Flink?.