Realtime Compute for Apache Flink：FAQ tentang konektivitas jaringan

• Bagaimana cara menangani masalah jaringan?

• Bagaimana cara menggunakan fitur deteksi jaringan?

• Bagaimana cara mendapatkan titik akhir dari instance Hologres?

• Bagaimana Realtime Compute for Apache Flink mengakses Internet?

• Bagaimana cara melihat bandwidth publik?

• Bagaimana Realtime Compute for Apache Flink mengakses layanan lintas VPC?

• Bagaimana cara mengonfigurasi daftar putih?

• Bagaimana cara menyelesaikan nama domain layanan tempat Realtime Compute for Apache Flink bergantung?

• Apa yang harus dilakukan jika muncul pesan kesalahan "JobManager heartbeat timeout"?

• Mengapa pesan kesalahan "timeout expired while fetching topic metadata" muncul meskipun koneksi jaringan telah terbentuk antara Realtime Compute for Apache Flink dan Kafka?

Bagaimana cara saya menangani masalah jaringan?

Workspace Realtime Compute for Apache Flink diterapkan di dalam VPC. Anda tidak dapat mengubah VPC yang dipilih saat membeli workspace Realtime Compute for Apache Flink. Jika sumber atau sink tidak berada di VPC yang sama dengan workspace Realtime Compute for Apache Flink, maka sumber atau sink tersebut terputus dari workspace Realtime Compute for Apache Flink dan data tidak dapat dibaca dari sumber atau ditulis ke sink. Jika data tidak dapat dibaca dari sumber atau ditulis ke sink, lakukan langkah-langkah berikut untuk memeriksa apakah ada masalah jaringan:

1. Periksa konektivitas jaringan antara layanan penyimpanan hulu dan hilir dengan workspace Realtime Compute for Apache Flink. Anda dapat menguji konektivitas jaringan di konsol pengembangan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat bagian Bagaimana cara menggunakan fitur deteksi jaringan? dalam topik ini.

   Secara default, Realtime Compute for Apache Flink hanya dapat mengakses layanan yang diterapkan di VPC dan wilayah yang sama dengan Realtime Compute for Apache Flink. Jika Anda ingin mengakses sumber daya lintas VPC atau mengakses Realtime Compute for Apache Flink melalui Internet, gunakan metode berikut:

   • Untuk mengakses sumber daya lintas VPC, Anda dapat menggunakan salah satu metode yang dijelaskan dalam bagian Bagaimana Realtime Compute for Apache Flink mengakses layanan lintas VPC? dari topik ini.

   • Untuk mengakses Realtime Compute for Apache Flink melalui Internet, Anda dapat menggunakan Gateway NAT yang disediakan oleh Alibaba Cloud untuk memungkinkan komunikasi antara VPC dan Internet. Untuk informasi lebih lanjut, lihat Bagaimana Realtime Compute for Apache Flink mengakses Internet?

2. Periksa apakah blok CIDR dari vSwitch tempat workspace Realtime Compute for Apache Flink berada telah ditambahkan ke daftar putih layanan penyimpanan hulu dan hilir. Untuk informasi lebih lanjut, lihat Bagaimana cara mengonfigurasi daftar putih?

3. Jika kesalahan timeout jaringan terus berlanjut, masalah jaringan mungkin disebabkan oleh timeout koneksi. Dalam hal ini, tingkatkan nilai parameter connect.timeout dalam klausa WITH. Nilai default parameter ini adalah 30 detik.

Bagaimana cara saya menggunakan fitur deteksi jaringan?

Realtime Compute for Apache Flink mendukung fitur deteksi jaringan. Untuk menggunakan fitur deteksi jaringan, lakukan langkah-langkah berikut di konsol pengembangan Realtime Compute for Apache Flink:

1. Masuk ke Konsol Manajemen Realtime Compute for Apache Flink.

2. Temukan workspace yang ingin Anda kelola dan klik Konsol di kolom Tindakan.

3. Di bilah navigasi atas halaman Gambaran Umum, klik ikon Deteksi Jaringan.

   

4. Di kotak dialog Deteksi Jaringan, konfigurasikan parameter Host untuk menentukan alamat IP atau titik akhir untuk memeriksa apakah lingkungan kerja penerapan Realtime Compute for Apache Flink terhubung ke layanan penyimpanan hulu dan hilir.

   Penting

   Jika Anda menentukan titik akhir, hapus :<port> dari akhir titik akhir dan masukkan <port> di bidang Port di kotak dialog Deteksi Jaringan.

   

   Jika pesan kesalahan "connect timed out" muncul, periksa apakah titik akhir yang Anda akses adalah titik akhir Internet atau VPC lain. Secara default, Realtime Compute for Apache Flink hanya dapat mengakses layanan yang diterapkan di VPC yang sama dengan Realtime Compute for Apache Flink. Jika Anda ingin mengakses sumber daya lintas VPC atau mengakses Realtime Compute for Apache Flink melalui Internet, lihat bagian Bagaimana Realtime Compute for Apache Flink mengakses layanan lintas VPC? dan Bagaimana Realtime Compute for Apache Flink mengakses Internet? dalam topik ini.

Bagaimana cara saya mendapatkan titik akhir dari instance Hologres?

1. Masuk ke Konsol Hologres. Di panel navigasi sebelah kiri, klik Instances. Pada halaman Instances, temukan instance yang diinginkan dan klik nama instance tersebut.

2. Di bagian Network Information pada halaman Instance Details, dapatkan titik akhir dari instance tersebut.

   Anda dapat memperoleh titik akhir terkait berdasarkan tipe jaringan.

   Tipe jaringan	Skenario penggunaan
   VPC tertentu (direkomendasikan)	Jaringan pribadi yang terhubung dengan VPC tertentu. VPC yang sama (direkomendasikan): Jika instance Hologres dan workspace Realtime Compute for Apache Flink berada di VPC yang sama, koneksi jaringan terbentuk antara instance Hologres dan workspace. VPC berbeda: Jika instance Hologres dan workspace Realtime Compute for Apache Flink berada di VPC berbeda, Anda harus mengonfigurasi pengaturan jaringan sebelum dapat menggunakan Realtime Compute for Apache Flink untuk mengakses instance Hologres lintas VPC. Untuk informasi lebih lanjut, lihat Hubungkan ke VPC lain.
   Internet	Internet. Anda dapat memilih tipe jaringan ini jika ingin mengakses instance Hologres tanpa batasan koneksi jaringan. Internet mungkin mengalami latensi tidak pasti dibandingkan dengan jaringan internal. Anda dapat menggunakan gateway Network Address Translation (NAT) dari Alibaba Cloud untuk menyiapkan koneksi antara VPC dan Internet. Untuk informasi lebih lanjut, lihat Konfigurasikan koneksi Internet.

3. (Opsional). Uji konektivitas jaringan di konsol pengembangan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Bagaimana cara menggunakan fitur deteksi jaringan?

   • Jika uji konektivitas jaringan berhasil, titik akhir yang Anda peroleh valid.

   • Jika uji konektivitas jaringan gagal, Anda harus memeriksa apakah instance Hologres dan workspace Realtime Compute for Apache Flink berada di VPC berbeda atau Realtime Compute for Apache Flink perlu mengakses instance Hologres melalui Internet. Anda dapat mengonfigurasi pengaturan jaringan berdasarkan kebutuhan bisnis Anda sebelum dapat menggunakan Realtime Compute for Apache Flink untuk mengakses instance Hologres. Untuk informasi lebih lanjut, lihat Hubungkan ke VPC lain dan Konfigurasikan koneksi Internet.

Bagaimana Realtime Compute for Apache Flink mengakses Internet?

Internet mungkin mengalami latensi tidak pasti dibandingkan dengan jaringan internal. Jika bisnis Anda memerlukan latensi jaringan rendah dan stabilitas tinggi, kami merekomendasikan agar Anda mengakses layanan melalui VPC.

Alibaba Cloud menyediakan Gateway Network Address Translation (NAT) untuk memungkinkan komunikasi antara VPC dan Internet. Dengan cara ini, Realtime Compute for Apache Flink dapat mengakses Internet.

Bagaimana cara saya melihat bandwidth publik?

Jika nilai metrik penerapan normal dan tidak ada tekanan balik dalam penerapan selama pembacaan atau penulisan data melalui Internet, Anda dapat melihat bandwidth publik untuk memeriksa apakah ada masalah bottleneck. Untuk melihat bandwidth publik, lakukan langkah-langkah berikut:

1. Masuk ke konsol manajemen Realtime Compute for Apache Flink. Temukan workspace yang diinginkan dan pilih Lainnya > Detail Workspace di kolom Tindakan. Dalam pesan Workspace Details, lihat VPC ID.

2. Masuk ke konsol VPC. Di panel navigasi sebelah kiri, klik VPC. Pada halaman VPC, temukan VPC yang diinginkan dan klik ID-nya.

3. Di tab Resource Management pada halaman detail VPC, klik nilai Gateway NAT Internet di bagian Akses ke Internet.

   Catatan

   Jika nilai Gateway NAT Internet di bagian Akses ke Internet adalah 0, Anda harus membuat gateway NAT Internet. Untuk informasi lebih lanjut, lihat Buat dan Kelola Gateway NAT Internet.

4. Di halaman Gateway NAT Internet, klik ID gateway NAT Internet.

5. Di tab Associated EIP, klik ID EIP.

6. Di halaman yang muncul, klik tab Monitoring and O&M untuk melihat bandwidth publik.

Bagaimana Realtime Compute for Apache Flink mengakses layanan lintas VPC?

Jika layanan yang ingin diakses oleh Realtime Compute for Apache Flink masih dalam tahap perencanaan awal atau dapat diganti, kami merekomendasikan agar Anda membeli sumber daya layanan yang sama yang berada di VPC yang sama dengan Realtime Compute for Apache Flink. Anda juga dapat melepaskan workspace Realtime Compute for Apache Flink saat ini dan kemudian membeli workspace lain yang berada di VPC yang sama dengan layanan tersebut.

Anda juga dapat menggunakan metode yang sesuai untuk memungkinkan Realtime Compute for Apache Flink mengakses layanan lintas VPC.

Bagaimana cara saya mengonfigurasi daftar putih?

Dalam banyak kasus, layanan penyimpanan hulu dan hilir yang didukung oleh Realtime Compute for Apache Flink tidak mengizinkan akses dari sistem eksternal. Oleh karena itu, Anda harus melakukan langkah-langkah berikut untuk menambahkan blok CIDR dari vSwitch Realtime Compute for Apache Flink ke daftar putih layanan penyimpanan yang perlu diakses oleh Realtime Compute for Apache Flink.

1. Masuk ke Konsol Manajemen Realtime Compute for Apache Flink.

2. Temukan workspace yang ingin Anda kelola dan pilih More > Workspace Details di kolom Actions.

3. Di kotak dialog Workspace Details, lihat CIDR block dari vSwitch tempat workspace Realtime Compute for Apache Flink berada.

4. Tambahkan CIDR block dari vSwitch Realtime Compute for Apache Flink ke daftar putih layanan penyimpanan yang perlu diakses oleh Realtime Compute for Apache Flink.

   Sebagai contoh, Anda harus mengonfigurasi daftar putih untuk database ApsaraDB RDS for MySQL. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih Alamat IP.

   Catatan

   • Jika Anda menambahkan vSwitch nanti, Anda juga harus menambahkan blok CIDR dari vSwitch baru ke daftar putih layanan penyimpanan yang perlu diakses oleh Realtime Compute for Apache Flink.

   • Jika vSwitch Anda tidak berada di zona yang sama dengan layanan penyimpanan hulu dan hilir, jaringan dapat terhubung setelah Anda menambahkan blok CIDR dari vSwitch ke daftar putih.

Bagaimana cara saya menyelesaikan nama domain layanan tempat penerapan Realtime Compute for Apache Flink bergantung?

Jika penerapan Realtime Compute for Apache Flink Anda bergantung pada nama domain layanan, kegagalan resolusi nama domain dilaporkan ketika Anda memigrasikan data layanan ke Realtime Compute for Apache Flink. Untuk menyelesaikan masalah ini, Anda dapat menggunakan salah satu metode berikut berdasarkan skenario:

• Anda memiliki DNS mandiri. Flink dapat terhubung ke layanan DNS mandiri melalui VPC, dan DNS mandiri dapat menyelesaikan nama domain secara normal.

  Dalam hal ini, Anda dapat melakukan resolusi DNS menggunakan template penerapan Realtime Compute for Apache Flink. Sebagai contoh, alamat IP DNS mandiri Anda adalah 192.168.0.1. Lakukan langkah-langkah berikut:

  1. Masuk ke Konsol Manajemen Realtime Compute for Apache Flink.

  2. Temukan workspace yang ingin Anda kelola dan klik Console di kolom Actions.

  3. Di panel navigasi sebelah kiri, klik Configurations. Pada tab Deployment Defaults, tambahkan kode berikut ke dalam bidang Other Configuration:

     env.java.opts: >-
       -Dsun.net.spi.nameservice.provider.1=default
       -Dsun.net.spi.nameservice.provider.2=dns,sun
       -Dsun.net.spi.nameservice.nameservers=192.168.0.1

     Catatan

     Jika DNS mandiri Anda memiliki beberapa alamat IP, kami merekomendasikan agar Anda memisahkan alamat IP dengan koma (,).

  4. Klik Save Changes.

  5. Buat draf dan jalankan penerapan untuk draf tersebut di konsol pengembangan Realtime Compute for Apache Flink.

     • Jika kesalahan UnknownHostException terus berlanjut, nama domain tidak dapat diselesaikan. Dalam hal ini, hubungi Alibaba Cloud untuk dukungan teknis.

     • Setelah DNS mandiri dikonfigurasi, penerapan sering gagal, dan pesan kesalahan "JobManager heartbeat timeout" muncul. Untuk informasi lebih lanjut tentang metode pemecahan masalah, lihat Apa yang harus saya lakukan jika pesan kesalahan "JobManager heartbeat timeout" muncul?

• Anda tidak menerapkan DNS mandiri atau Realtime Compute for Apache Flink tidak dapat terhubung ke DNS mandiri melalui VPC.

  Dalam hal ini, Anda harus menggunakan Alibaba Cloud DNS PrivateZone untuk menyelesaikan nama domain. Sebagai contoh, VPC tempat Realtime Compute for Apache Flink berada bernama vpc-flinkxxxxxxx, dan nama domain yang perlu diakses oleh penerapan Realtime Compute for Apache Flink Anda adalah aaa.test.com 127.0.0.1, bbb.test.com 127.0.0.2, dan ccc.test.com 127.0.0.3. Untuk menyelesaikan nama domain, lakukan langkah-langkah berikut:

  1. Aktifkan Alibaba Cloud DNS PrivateZone. Untuk informasi lebih lanjut, lihat Aktifkan Alibaba Cloud DNS PrivateZone.

  2. Tambahkan zona dan gunakan akhiran umum dari layanan yang perlu diakses oleh penerapan Realtime Compute for Apache Flink Anda sebagai nama zona. Untuk informasi lebih lanjut, lihat Tambahkan zona.

  3. Hubungkan zona dengan VPC tempat Realtime Compute for Apache Flink berada. Untuk informasi lebih lanjut, lihat Hubungkan zona dengan VPC atau putuskan hubungan zona dari VPC.

  4. Tambahkan catatan DNS ke zona. Untuk informasi lebih lanjut, lihat Tambahkan catatan DNS.

  5. Di konsol pengembangan Realtime Compute for Apache Flink, buat dan jalankan penerapan atau hentikan dan jalankan ulang penerapan yang ada.

     Jika kesalahan UnknownHost terus berlanjut, nama domain tidak dapat diselesaikan. Dalam hal ini, hubungi Alibaba Cloud untuk dukungan teknis.

Apa yang harus saya lakukan jika pesan kesalahan "JobManager heartbeat timeout" muncul?

• Deskripsi Masalah

  Setelah DNS mandiri dikonfigurasi, penerapan sering gagal, dan pesan kesalahan "JobManager heartbeat timeout" muncul.

• Penyebab

  Latensi jaringan ke DNS mandiri tinggi.

• Solusi

  Ubah nilai jobmanager.retrieve-taskmanager-hostname menjadi false dalam kode penerapan untuk menonaktifkan DNS untuk TaskManagers dari penerapan tersebut. Setelah konfigurasi diubah, penerapan masih dapat terhubung ke layanan eksternal menggunakan nama domain. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter ini, lihat Bagaimana cara mengonfigurasi parameter kustom untuk menjalankan penerapan?

Mengapa pesan kesalahan "timeout expired while fetching topic metadata" muncul meskipun koneksi jaringan telah terbentuk antara Realtime Compute for Apache Flink dan Kafka?

Realtime Compute for Apache Flink mungkin tidak dapat membaca data dari Kafka meskipun koneksi jaringan telah terbentuk antara kedua sistem tersebut. Untuk memastikan bahwa layanan terhubung dan data dapat dibaca dari Kafka, Anda harus menggunakan titik akhir yang dijelaskan dalam metadata kluster yang dikembalikan oleh broker Kafka selama bootstrapping. Untuk informasi lebih lanjut, kunjungi Masalah Koneksi Jaringan Kafka. Untuk memeriksa koneksi jaringan, lakukan langkah-langkah berikut:

1. Gunakan zkCli.sh atau zookeeper-shell.sh untuk masuk ke layanan ZooKeeper yang digunakan oleh kluster Kafka.

2. Jalankan perintah ls /brokers/ids untuk mendapatkan ID semua broker Kafka.

3. Jalankan perintah get /brokers/ids/{your_broker_id} untuk melihat informasi metadata broker Kafka.

   Titik akhir ditampilkan di listener_security_protocol_map.

4. Periksa apakah Realtime Compute for Apache Flink dapat terhubung ke titik akhir.

   Jika titik akhir berisi nama domain, konfigurasikan layanan DNS untuk Realtime Compute for Apache Flink. Untuk informasi lebih lanjut tentang cara mengonfigurasi layanan DNS untuk Realtime Compute for Apache Flink, lihat bagian "Bagaimana cara menyelesaikan nama domain layanan tempat penerapan Flink bergantung?" pada topik Referensi.