Setelah membuat sebuah konektor, Anda dapat mengelolanya di konsol ApsaraMQ for Kafka. Anda dapat melihat konfigurasi dan log konektor, menangguhkan atau melanjutkan operasinya, memodifikasi konfigurasinya, mengujinya, melihat detail konsumsi, serta menghapusnya.
Prasyarat
Sebuah konektor telah dibuat. Untuk informasi lebih lanjut tentang cara membuat konektor, lihat topik-topik berikut:
Konfigurasi konektor hanya dapat dimodifikasi untuk konektor sink Function Compute dan konektor sumber MySQL.
Peringatan
Konfigurasi konektor hanya dapat dimodifikasi untuk konektor sink Function Compute dan konektor sumber MySQL.
Anda hanya dapat menangguhkan konektor dalam status Berjalan dan hanya dapat melanjutkan konektor dalam status Ditangguhkan.
Lihat konfigurasi sebuah konektor
Setelah membuat sebuah konektor, Anda dapat melihat informasi terkait seperti informasi dasar, sumber, dan tujuan.
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi di sebelah kiri, klik Connectors.
Pada halaman Connectors, pilih instance tempat konektor Anda termasuk dari daftar drop-down Select Instance. Dalam daftar konektor, temukan konektor dan klik Details di kolom Actions.
Di halaman yang muncul, periksa detail konektor pada bagian Basic Information, Source Information, dan Destination Information.
Lihat informasi log tentang sebuah konektor
Jika terjadi kesalahan pada sebuah konektor, Anda dapat melihat informasi log di konsol ApsaraMQ for Kafka untuk menyelesaikan masalah tersebut.
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi di sebelah kiri, klik Connectors.
Pada halaman Connectors, pilih instance tempat konektor Anda termasuk dari daftar drop-down Select Instance. Dalam daftar konektor, temukan konektor dan pilih di kolom Actions.
Anda juga dapat mengklik nama konektor atau klik Details di kolom Actions. Pada halaman detail yang muncul, klik View Logs di pojok kanan atas.
CatatanPosisi View Logs di kolom Actions bervariasi berdasarkan status konektor.
Dalam kotak dialog yang muncul, lihat informasi log tentang konektor tersebut.
Modifikasi konfigurasi sebuah konektor
Setelah membuat konektor sink Function Compute atau konektor sumber MySQL, Anda dapat memodifikasi konfigurasinya di konsol ApsaraMQ for Kafka.
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi di sebelah kiri, klik Connectors.
Pada halaman Connectors, pilih instance tempat konektor Anda termasuk dari daftar drop-down Select Instance. Dalam daftar konektor, temukan konektor dan pilih di kolom Actions.
Anda juga dapat mengklik nama konektor atau klik Details di kolom Actions. Pada halaman detail yang muncul, klik Modify Configuration di pojok kanan atas.
Di panel Modify Configuration, ubah nilai parameter sesuai kebutuhan bisnis Anda. Lalu klik OK.
Ubah konfigurasi sebuah konektor sink Function Compute.
Parameter
Deskripsi
Consumer Thread Concurrency
Jumlah thread konsumen konkuren yang digunakan untuk menyinkronkan data dari topik sumber. Nilai default: 6. Nilai valid:
1
2
3
6
12
Failure Handling Policy
Menentukan apakah akan mempertahankan langganan ke partisi tempat terjadinya kesalahan setelah pesan relevan gagal dikirim. Nilai valid:
Continue Subscription: mempertahankan langganan ke partisi tempat terjadinya kesalahan dan menghasilkan entri log kesalahan.
Stop Subscription: menghentikan langganan ke partisi tempat terjadinya kesalahan dan menghasilkan entri log kesalahan.
CatatanUntuk informasi tentang cara melihat informasi log, lihat Kelola sebuah konektor.
Untuk informasi tentang cara menyelesaikan kesalahan berdasarkan kode kesalahan, lihat Kode kesalahan.
Transmission Mode
Mode pengiriman pesan. Nilai valid:
Synchronous: Produser dan konsumen harus berjalan untuk siap melakukan pertukaran data.
Asynchronous: Setelah produser mengirim pesan, produser tidak perlu menunggu respons dari broker dan dapat melanjutkan pemrosesan tugas lainnya.
Data Size
Jumlah maksimum pesan yang dapat dikirim sekaligus.
Nilai valid: 1 hingga 5000. Nilai default: 20.
Retries
Jumlah maksimum percobaan ulang yang diizinkan setelah pesan gagal dikirim. Nilai default: 2. Nilai valid: 1 hingga 3. Dalam kasus tertentu, ketika pesan gagal dikirim, percobaan ulang tidak didukung. Untuk informasi lebih lanjut tentang kode kesalahan, lihat Kode kesalahan. Berikut ini menjelaskan apakah percobaan ulang didukung ketika kode kesalahan tertentu dikembalikan:
Untuk 4xx, percobaan ulang tidak didukung kecuali jika 429 dikembalikan.
Untuk 5xx, percobaan ulang didukung.
CatatanKonektor memanggil operasi InvokeFunction untuk mengirim pesan ke Function Compute.
Ubah konfigurasi sebuah konektor sumber MySQL.
Parameter
Deskripsi
Database Table
Nama satu atau lebih tabel ApsaraDB RDS for MySQL tempat Anda ingin menyinkronkan data. Pisahkan beberapa nama tabel dengan koma (,).
Tabel sumber dan topik tujuan saling terkait berdasarkan pemetaan satu-satu.
CatatanJika Anda menambahkan atau memodifikasi tabel, Anda harus membuat topik yang sesuai di konsol ApsaraMQ for Kafka. Nama topik harus dalam format
<Awalan Topik>_<Nama Tabel>. Jika tidak, kesalahan akan terjadi saat Anda menjalankan konektor. Untuk informasi tentang cara membuat topik, lihat Langkah 1: Buat topik.
Setelah konfigurasi dimodifikasi, buka halaman Connectors dan temukan konektor. Klik Details di kolom Actions. Pada halaman Connector Details, Anda dapat melihat konfigurasi yang diperbarui.
Hentikan atau aktifkan sebuah konektor
Jika perlu menangguhkan konektor yang sedang berjalan atau melanjutkan konektor yang ditangguhkan, Anda dapat melakukannya di konsol ApsaraMQ for Kafka.
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi di sebelah kiri, klik Connectors.
Pada halaman Connectors, pilih instance tempat konektor Anda termasuk dari daftar drop-down Select Instance. Dalam daftar konektor, temukan konektor dan tangguhkan atau aktifkan konektor tersebut.
Tangguhkan konektor: Di kolom Actions, pilih . Di pesan Note, klik OK.
Aktifkan konektor: Di kolom Actions, klik Enable. Di pesan Note, klik OK.
Anda juga dapat mengklik nama konektor atau klik Details di kolom Actions. Pada halaman detail yang muncul, klik Suspend atau Enable di pojok kanan atas.
Pada halaman Connectors, temukan konektor yang Anda tangguhkan atau lanjutkan. Nilai parameter Status untuk konektor tersebut menjadi Suspended atau Running.
CatatanJika Anda mencoba melanjutkan konektor sumber MySQL yang tetap ditangguhkan dalam waktu lama, operasi tersebut mungkin gagal. Dalam kasus ini, Anda dapat mengklik Task Configurations di kolom Actions. Pada halaman DataWorks yang muncul, temukan konektor yang sesuai, dan klik Start. Di kotak dialog Start, pilih Reset Offset, konfigurasikan parameter Start Time Point, lalu klik OK.
Uji sebuah konektor
Setelah membuat sebuah konektor, Anda dapat mengirim pesan ke konektor dari konsol ApsaraMQ for Kafka untuk mengujinya.
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi di sebelah kiri, klik Connectors.
Pada halaman Connectors, pilih instance tempat konektor Anda termasuk dari daftar drop-down Select Instance. Dalam daftar konektor, temukan konektor dan klik Test di kolom Actions.
Anda juga dapat mengklik nama konektor atau klik Details di kolom Actions. Pada halaman detail yang muncul, klik Test di pojok kanan atas.
CatatanPosisi Test di kolom Actions bervariasi berdasarkan status konektor.
Di panel Send Message, kirim pesan uji.
Di bidang Message Key, masukkan kunci pesan uji, seperti demo.
Di bidang Message Content, masukkan isi pesan uji, seperti {"key": "test"}.
Konfigurasikan parameter Send to Specified Partition untuk menentukan apakah akan mengirim pesan uji ke partisi tertentu.
Jika Anda ingin mengirim pesan uji ke partisi tertentu, klik Yes dan masukkan ID partisi, seperti 0, di bidang Partition ID. Untuk informasi tentang cara memeriksa ID partisi, lihat Lihat status partisi.
Jika Anda tidak ingin mengirim pesan uji ke partisi tertentu, klik No.
Lihat kemajuan konsumsi untuk sebuah konektor
Setelah sebuah konektor dibuat dan memasuki status Berjalan, Anda dapat melihat detail konsumsi grup konsumen yang sesuai dengan konektor tersebut.Grup Nama grup konsumen adalah connect-{Nama Konektor}.Grup
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi di sebelah kiri, klik Connectors.
Pada halaman Connectors, pilih instance tempat konektor Anda termasuk dari daftar drop-down Select Instance. Dalam daftar konektor, temukan konektor dan klik Consumption Progress di kolom Actions.
Anda juga dapat mengklik nama konektor atau klik Details di kolom Actions. Pada halaman detail yang muncul, klik Consumption Progress di pojok kanan atas.
Di panel yang muncul, Anda dapat melihat detail konsumsi grup konsumen yang sesuai dengan konektor tersebut di topik sumber.
Hapus sebuah konektor
ApsaraMQ for Kafka membatasi jumlah konektor untuk setiap instance. Jika Anda tidak lagi membutuhkan sebuah konektor, Anda dapat menghapusnya di konsol ApsaraMQ for Kafka.
Jika sebuah konektor sumber MySQL dalam status Berjalan, Anda tidak dapat langsung menghapusnya di konsol ApsaraMQ for Kafka. Anda harus masuk ke konsol DataWorks dan menghentikan serta membatalkan publikasi konektor tersebut, lalu kirim tiket untuk membersihkan metadata konektor ApsaraMQ for Kafka. Anda dapat langsung menghapus konektor sink Function Compute, konektor sink MaxCompute, konektor sink Object Storage Service (OSS), dan konektor sink Elasticsearch di konsol ApsaraMQ for Kafka.
Saat Anda menghapus sebuah konektor, Message Queue for Apache Kafka akan menghapus lima topik dan dua grup konsumen yang diperlukan oleh konektor tersebut, baik topik dan grup konsumen tersebut dibuat secara otomatis maupun manual.Grup
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi di sebelah kiri, klik Connectors.
Pada halaman Connectors, pilih instance tempat konektor Anda termasuk dari daftar drop-down Select Instance. Dalam daftar konektor, temukan konektor dan pilih di kolom Actions.
Anda juga dapat mengklik nama konektor atau klik Details di kolom Actions. Pada halaman detail yang muncul, klik Delete di pojok kanan atas.
Di pesan Note, klik OK untuk menghapus konektor.