ApsaraMQ for Kafka:Mengelola connector

Catatan

• Anda hanya dapat memodifikasi konfigurasi untuk Function Compute sink connector dan MySQL source connector.

• Anda hanya dapat menangguhkan connector saat statusnya Running. Anda hanya dapat mengaktifkan connector saat statusnya Suspended.

Lihat konfigurasi connector

Lihat informasi dasar, informasi sumber, dan informasi tujuan connector.

1. Login ke ApsaraMQ for Kafka console.

2. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.

3. Di panel navigasi sebelah kiri, klik Connectors.

4. Pada halaman Connectors, pilih instans tempat connector berada dari daftar drop-down Select Instance. Temukan connector di daftar tersebut, lalu klik Details di kolom Actions.

   Pada halaman detail connector, Anda dapat melihat Basic Information, Source Information, dan Destination Information connector tersebut.

Lihat log connector

Jika perlu melakukan troubleshooting masalah connector, Anda dapat melihat log-nya di konsol Message Queue for Apache Kafka.

1. Login ke ApsaraMQ for Kafka console.

2. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.

3. Di panel navigasi sebelah kiri, klik Connectors.

4. Pada halaman Connectors, pilih instans tempat connector berada dari daftar drop-down Select Instance. Temukan connector yang dituju di daftar tersebut. Di kolom Actions, pilih More > View Logs.

   Atau, klik nama connector yang dituju, atau klik Details di kolom Actions. Pada halaman detail connector, klik View Logs di pojok kanan atas.

   Catatan

   Lokasi tombol View Logs di kolom Actions bergantung pada status tugas. Tampilan UI aktual yang berlaku.

   Pada halaman log connector, Anda dapat melihat log connector tersebut.

Modifikasi konfigurasi connector

Setelah membuat Function Compute sink connector atau MySQL source connector, Anda dapat memodifikasi konfigurasinya di konsol Message Queue for Apache Kafka.

1. Login ke ApsaraMQ for Kafka console.

2. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.

3. Di panel navigasi sebelah kiri, klik Connectors.

4. Pada halaman Connectors, pilih instans tempat connector berada dari daftar drop-down Select Instance. Temukan connector yang dituju di daftar tersebut. Di kolom Actions, pilih More > Modify Configuration.

   Atau, klik nama connector yang dituju, atau klik Details di kolom Actions. Pada halaman detail connector, klik Modify Configuration di pojok kanan atas.

5. Pada panel Modify Configuration, ubah parameter konfigurasi sesuai kebutuhan, lalu klik OK.

   • Modifikasi konfigurasi untuk Function Compute sink connector

     Parameter	Description
     Consumer Thread Concurrency	Jumlah thread konsumen konkuren untuk topik sumber. Nilai default adalah 6. Nilai yang valid: 1 2 3 6 12
     Failure Handling Policy	Menentukan tindakan yang diambil ketika pengiriman pesan ke partisi topik gagal. Nilai yang valid: Continue Subscription: Melanjutkan konsumsi dari partisi tempat terjadi error dan mencatat error tersebut. Stop Subscription: Menghentikan konsumsi dari partisi tempat terjadi error dan mencatat error tersebut. Catatan Untuk informasi lebih lanjut tentang cara melihat log, lihat Mengelola connector. Untuk informasi lebih lanjut tentang cara menemukan solusi berdasarkan kode kesalahan, lihat Daftar kode kesalahan.
     Transmission Mode	Mode pengiriman pesan. Nilai yang valid: Synchronous: Pengirim dan penerima harus berjalan secara bersamaan dan siap berkomunikasi. Asynchronous: Setelah mengirim pesan, pengirim dapat melanjutkan tugas lain tanpa menunggu respons dari server.
     Data Size	Jumlah pesan yang dikirim dalam satu batch. Nilai default adalah 20. Rentang nilai: [1, 5000].
     Retries	Jumlah upaya pengulangan setelah pengiriman pesan gagal. Nilai default adalah 2. Rentang nilai: 1 hingga 3. Beberapa error tidak mendukung pengulangan. Untuk informasi lebih lanjut tentang kode kesalahan, lihat Daftar kode kesalahan. Dukungan pengulangan untuk berbagai kode kesalahan dijelaskan sebagai berikut: 4xx: Tidak mendukung pengulangan, kecuali kode kesalahan 429. 5xx: Mendukung pengulangan. Catatan Connector memanggil API InvokeFunction untuk mengirim pesan ke Function Compute.

   • Modifikasi konfigurasi untuk MySQL source connector

     Parameter

     Description

     Database Table

     Nama satu atau beberapa tabel di instans ApsaraDB RDS for MySQL yang akan disinkronkan. Pisahkan beberapa nama tabel dengan koma (,). Terdapat pemetaan satu-ke-satu antara tabel database dan topik tujuan. Catatan Jika Anda menambahkan atau memodifikasi tabel untuk tugas yang sudah ada, Anda harus membuat Topik yang sesuai di konsol Message Queue for Apache Kafka terlebih dahulu. Nama Topik harus dalam format awalan_Topik_nama tabel. Jika tidak, akan terjadi error waktu proses. Untuk informasi lebih lanjut, lihat Langkah 1: Buat Topik.

   Setelah modifikasi selesai, pada halaman Connectors, temukan Connector yang dituju. Di kolom Actions-nya, klik Details. Pada halaman Connector Details, Anda dapat melihat konfigurasi Connector yang telah diperbarui.

Menangguhkan atau mengaktifkan connector

Anda dapat menangguhkan connector yang sedang berjalan untuk menghentikannya sementara, atau mengaktifkan connector yang ditangguhkan untuk melanjutkannya, di konsol Message Queue for Apache Kafka.

1. Login ke ApsaraMQ for Kafka console.

2. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.

3. Di panel navigasi sebelah kiri, klik Connectors.

4. Pada halaman Connectors, pilih instans tempat connector berada dari daftar drop-down Select Instance. Temukan connector yang dituju di daftar tersebut, lalu tangguhkan atau aktifkan sesuai kebutuhan.

   • Untuk menangguhkan connector: Di kolom Actions, pilih More > Suspend. Pada kotak dialog Note, konfirmasi penangguhan dan klik OK.

   • Untuk mengaktifkan connector: Di kolom Actions, klik Enable. Pada kotak dialog Note, konfirmasi startup dan klik OK.

   Atau, klik nama connector yang dituju, atau klik Details di kolom Actions. Pada halaman detail connector, klik Suspend atau Enable di pojok kanan atas.

   Pada halaman Connectors, temukan connector yang telah Anda tangguhkan atau aktifkan. Status berubah menjadi Suspended atau Running.

   Catatan

   Jika tugas MySQL source connector telah ditangguhkan dalam jangka waktu lama, tugas tersebut mungkin gagal restart. Dalam kasus ini, temukan tugas tersebut dan klik Task Configurations di kolom Actions. Pada halaman DataWorks, temukan baris tugas sinkronisasi yang dituju dan klik Start. Pada kotak dialog Start, pilih Reset Offset, konfigurasi Start Time Point, lalu klik OK.

Uji connector

Anda dapat mengirim pesan uji untuk memverifikasi connector dari konsol Message Queue for Apache Kafka.

1. Login ke ApsaraMQ for Kafka console.

2. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.

3. Di panel navigasi sebelah kiri, klik Connectors.

4. Pada halaman Connectors, pilih instans tempat connector berada dari daftar drop-down Select Instance. Temukan connector yang dituju di daftar tersebut, lalu klik Test di kolom Actions.

   Atau, klik nama connector yang dituju, atau klik Details di kolom Actions. Pada halaman detail connector, klik Test di pojok kanan atas.

   Catatan

   Posisi tombol Test di kolom Actions dapat berbeda-beda tergantung status tugas.

5. Pada panel Send Message, kirim pesan uji.

   1. Pada kotak teks Message Key, masukkan kunci untuk pesan tersebut, misalnya demo.

   2. Pada kotak teks Message Content, masukkan konten pesan uji, misalnya {"key": "test"}.

   3. Gunakan opsi Send to Specified Partition untuk mengontrol apakah pesan dikirim ke partisi tertentu.

      • Klik Yes dan masukkan ID partisi di kotak teks Partition ID, misalnya 0. Untuk mengetahui ID partisi, lihat Lihat status partisi.

      • Klik No jika Anda tidak ingin menentukan partisi.

Lihat progres konsumsi

Setelah connector mulai berjalan, Anda dapat melihat status konsumsi kelompok konsumen-nya untuk topik sumber. Nama kelompok konsumen tersebut adalah connect-{nama_tugas}.

1. Login ke ApsaraMQ for Kafka console.

2. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.

3. Di panel navigasi sebelah kiri, klik Connectors.

4. Pada halaman Connectors, pilih instans tempat connector berada dari daftar drop-down Select Instance. Temukan connector yang dituju di daftar tersebut, lalu klik Consumption Progress di kolom Actions.

   Atau, klik nama connector yang dituju, atau klik Details di kolom Actions. Pada halaman detail connector, klik Consumption Progress di pojok kanan atas.

   Pada panel detail konsumsi kelompok konsumen, Anda dapat melihat detail konsumsi kelompok konsumen yang digunakan oleh tugas connector di topik sumber.

Hapus connector

Setiap instans Message Queue for Apache Kafka memiliki batas jumlah connector. Jika Anda tidak lagi memerlukan connector tersebut, Anda dapat menghapusnya di konsol Message Queue for Apache Kafka.

1. Login ke ApsaraMQ for Kafka console.

2. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.

3. Di panel navigasi sebelah kiri, klik Connectors.

4. Pada halaman Connectors, pilih instans tempat connector berada dari daftar drop-down Select Instance. Temukan connector yang dituju di daftar tersebut. Di kolom Actions, pilih More > Delete.

   Atau, klik nama connector yang dituju, atau klik Details di kolom Actions. Pada halaman detail connector, klik Delete di pojok kanan atas.

5. Pada kotak dialog Note, klik OK untuk menghapus connector.