Topik ini menjelaskan cara membuat konektor sink MaxCompute untuk mengekspor data dari topik sumber data ApsaraMQ for Kafka ke tabel MaxCompute.
Prasyarat
Persyaratan berikut harus dipenuhi:
ApsaraMQ for Kafka:
Fitur konektor diaktifkan untuk instance ApsaraMQ for Kafka. Untuk informasi lebih lanjut, lihat Aktifkan fitur konektor.
Sebuah topik dibuat dalam instance ApsaraMQ for Kafka. Untuk informasi lebih lanjut, lihat Langkah 1: Buat topik.
Nama topik maxcompute-test-input digunakan dalam contoh ini.
MaxCompute
Tabel MaxCompute dibuat pada klien MaxCompute. Untuk informasi lebih lanjut, lihat Buat tabel.
Dalam contoh ini, tabel MaxCompute bernama test_kafka dibuat dalam proyek bernama connector_test. Anda dapat menjalankan pernyataan berikut untuk membuat tabel MaxCompute bernama test_kafka:
CREATE TABLE IF NOT EXISTS test_kafka(topic STRING,partition BIGINT,offset BIGINT,key STRING,value STRING) PARTITIONED by (pt STRING);
Opsional:EventBridge:
EventBridge diaktifkan. Untuk informasi lebih lanjut tentang cara mengaktifkan EventBridge, lihat Aktifkan EventBridge dan berikan izin kepada pengguna RAM.
CatatanEventBridge hanya diperlukan jika instance yang berisi topik sumber data berada di wilayah China (Hangzhou) atau China (Chengdu).
Peringatan
Data hanya dapat diekspor dari topik sumber data instance ApsaraMQ for Kafka ke tabel MaxCompute dalam wilayah yang sama. Untuk informasi lebih lanjut tentang batasan pada konektor, lihat Batasan.
Jika instance yang berisi topik sumber data berada di wilayah China (Hangzhou) atau China (Chengdu), tugas konektor diterbitkan ke EventBridge.
Saat ini, EventBridge gratis. Untuk informasi lebih lanjut, lihat Penagihan.
Ketika Anda membuat konektor, EventBridge membuat peran layanan terhubung AliyunServiceRoleForEventBridgeSourceKafka untuk Anda.
Jika peran layanan terhubung tidak tersedia, EventBridge secara otomatis membuat satu agar EventBridge dapat mengakses ApsaraMQ for Kafka.
Jika peran layanan terhubung tersedia, EventBridge tidak membuat yang baru.
Untuk informasi lebih lanjut tentang peran layanan terhubung, lihat Peran layanan terhubung.
Anda tidak dapat melihat log operasional tugas konektor yang diterbitkan ke EventBridge. Setelah tugas konektor selesai, Anda dapat melihat detail konsumsi grup yang berlangganan topik sumber data untuk memeriksa status tugas konektor. Untuk informasi lebih lanjut, lihat Lihat detail konsumen.
Prosedur
Untuk mengekspor data dari topik sumber data instance ApsaraMQ for Kafka ke tabel MaxCompute menggunakan konektor sink MaxCompute, ikuti langkah-langkah berikut:
Berikan izin kepada ApsaraMQ for Kafka untuk mengakses MaxCompute.
Opsional: Buat topik dan grup yang diperlukan oleh konektor sink MaxCompute.
Jika Anda tidak ingin membuat topik dan grup secara manual, lewati langkah ini dan atur parameter Metode Pembuatan Sumber Daya ke Otomatis di langkah berikutnya.
PentingTopik tertentu yang diperlukan oleh konektor sink MaxCompute harus menggunakan mesin penyimpanan lokal. Jika versi utama instance ApsaraMQ for Kafka adalah 0.10.2, topik yang menggunakan mesin penyimpanan lokal tidak dapat dibuat secara manual dan harus dibuat secara otomatis.
Verifikasi hasilnya.
Buat Peran RAM
Anda tidak dapat memilih ApsaraMQ for Kafka sebagai layanan tepercaya saat membuat peran RAM. Oleh karena itu, pilih layanan apa pun yang dapat menjadi layanan tepercaya terlebih dahulu. Kemudian, modifikasi kebijakan kepercayaan peran RAM secara manual.
Masuk ke Konsol RAM.
Di panel navigasi sisi kiri, pilih .
Di halaman Roles, klik Create Role.

Di panel Create Role, lakukan operasi berikut:
Pilih Alibaba Cloud Service sebagai entitas tepercaya dan klik Next.
Atur parameter Role Type ke Normal Service Role. Di bidang RAM Role Name, masukkan AliyunKafkaMaxComputeUser1. Dari daftar drop-down Select Trusted Service, pilih MaxCompute. Lalu, klik OK.
Di halaman Roles, temukan dan klik AliyunKafkaMaxComputeUser1.
Di halaman AliyunKafkaMaxComputeUser1, klik tab Trust Policy Management lalu klik Edit Trust Policy.
Di panel Edit Trust Policy, ganti fc dalam skrip dengan alikafka, lalu klik OK.

Tambahkan Izin
Untuk menggunakan konektor sink MaxCompute untuk mengekspor pesan ke tabel MaxCompute, Anda harus memberikan izin berikut kepada peran RAM.
Objek | Operasi | Deskripsi |
Proyek | CreateInstance | Izin untuk membuat instance dalam proyek. |
Tabel | Describe | Izin untuk membaca metadata tabel. |
Tabel | Alter | Izin untuk memodifikasi metadata tabel dan izin untuk membuat dan menghapus partisi. |
Tabel | Update | Izin untuk menimpa data dalam tabel dan menyisipkan data ke dalam tabel. |
Untuk informasi lebih lanjut tentang izin di atas dan cara memberikan izin tersebut, lihat Izin MaxCompute.
Untuk memberikan izin yang diperlukan kepada AliyunKafkaMaxComputeUser1, lakukan langkah-langkah berikut:
Masuk ke klien MaxCompute.
Jalankan perintah berikut untuk menambahkan peran RAM AliyunKafkaMaxComputeUser1 sebagai pengguna RAM:
add user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;CatatanGanti <accountid> dengan ID akun Alibaba Cloud Anda.
Berikan pengguna RAM izin minimum yang diperlukan untuk mengakses MaxCompute.
-
Jalankan perintah berikut untuk memberikan pengguna RAM izin pada proyek connector_test:
grant CreateInstance on project connector_test to user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;CatatanGanti <accountid> dengan ID akun Alibaba Cloud Anda.
-
Jalankan perintah berikut untuk memberikan pengguna RAM izin pada tabel test_kafka:
grant Describe, Alter, Update on table test_kafka to user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;CatatanGanti <accountid> dengan ID akun Alibaba Cloud Anda.
-
Buat Topik yang Diperlukan oleh Konektor Sink MaxCompute
Di konsol ApsaraMQ for Kafka, Anda dapat secara manual membuat lima topik yang diperlukan oleh konektor sink MaxCompute. Lima topik tersebut adalah topik offset tugas, topik konfigurasi tugas, topik status tugas, topik antrian pesan gagal, dan topik data kesalahan. Lima topik tersebut berbeda dalam jumlah partisi dan mesin penyimpanan. Untuk informasi lebih lanjut, lihat Parameter dalam Langkah Konfigurasi Layanan Sumber.
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
PentingAnda harus membuat topik di wilayah tempat instance Elastic Compute Service (ECS) Anda diterapkan, karena topik tidak dapat digunakan lintas wilayah. Sebagai contoh, jika produsen dan konsumen pesan berjalan di instance ECS yang berada di wilayah China (Beijing), maka topik juga harus dibuat di wilayah China (Beijing).
Di halaman Instances, klik nama instance yang ingin Anda kelola.
Di panel navigasi sisi kiri, klik Topics.
Di halaman Topics, klik Create Topic.
Di panel Create Topic, tentukan properti topik, lalu klik OK.
Parameter
Deskripsi
Contoh
Name
Nama topik.
demo
Description
Deskripsi topik.
demo test
Partitions
Jumlah partisi dalam topik.
12
Storage Engine
CatatanAnda dapat menentukan jenis mesin penyimpanan hanya jika Anda menggunakan instance Edisi Profesional non-serverless. Untuk jenis instance lainnya, Cloud Storage dipilih secara default.
Jenis mesin penyimpanan yang digunakan untuk menyimpan pesan dalam topik.
ApsaraMQ for Kafka mendukung jenis mesin penyimpanan berikut:
Cloud Storage: Jika Anda memilih nilai ini, sistem menggunakan disk Alibaba Cloud untuk topik dan menyimpan data dalam tiga replika dalam mode terdistribusi. Mesin penyimpanan ini memiliki latensi rendah, performa tinggi, daya tahan panjang, dan keandalan tinggi. Jika Anda mengatur parameter Instance Edition ke Standard (High Write) saat Anda membuat instance, Anda hanya dapat mengatur parameter ini ke Cloud Storage.
Local Storage: Jika Anda memilih nilai ini, sistem menggunakan algoritma in-sync replicas (ISR) dari Apache Kafka open source dan menyimpan data dalam tiga replika dalam mode terdistribusi.
Cloud Storage
Message Type
Jenis pesan topik. Nilai valid:
Normal Message: Secara default, pesan dengan kunci yang sama disimpan dalam partisi yang sama sesuai urutan pengiriman pesan. Jika broker dalam kluster gagal, urutan pesan yang disimpan dalam partisi mungkin tidak dipertahankan. Jika Anda mengatur parameter Storage Engine ke Cloud Storage, parameter ini secara otomatis diatur ke Normal Message.
Partitionally Ordered Message: Secara default, pesan dengan kunci yang sama disimpan dalam partisi yang sama sesuai urutan pengiriman pesan. Jika broker dalam kluster gagal, pesan tetap disimpan dalam partisi sesuai urutan pengiriman pesan. Pesan dalam beberapa partisi tidak dapat dikirim hingga partisi dipulihkan. Jika Anda mengatur parameter Storage Engine ke Local Storage, parameter ini secara otomatis diatur ke Partitionally Ordered Message.
Normal Message
Log Cleanup Policy
Kebijakan pembersihan log yang digunakan oleh topik.
Jika Anda mengatur parameter Storage Engine ke Local Storage, Anda harus mengonfigurasi parameter Log Cleanup Policy. Anda hanya dapat mengatur Parameter Mesin Penyimpanan ke Penyimpanan Lokal jika Anda menggunakan instance Edisi Profesional ApsaraMQ for Kafka.
ApsaraMQ for Kafka menyediakan kebijakan pembersihan log berikut:
Delete: kebijakan pembersihan log default. Jika ruang penyimpanan yang cukup tersedia dalam sistem, pesan disimpan berdasarkan periode retensi maksimum. Setelah penggunaan penyimpanan melebihi 85%, sistem menghapus pesan yang disimpan paling awal untuk memastikan ketersediaan layanan.
Compact: kebijakan kompaksi log yang digunakan dalam Apache Kafka. Kompaksi log memastikan bahwa nilai terbaru dipertahankan untuk pesan dengan kunci yang sama. Kebijakan ini cocok untuk skenario seperti memulihkan sistem yang gagal atau memuat ulang cache setelah sistem di-restart. Misalnya, saat Anda menggunakan Kafka Connect atau Confluent Schema Registry, Anda harus menyimpan informasi tentang status dan konfigurasi sistem dalam topik yang dikompaksi log-nya.
PentingAnda hanya dapat menggunakan topik yang dikompaksi log-nya di komponen cloud-native tertentu, seperti Kafka Connect dan Confluent Schema Registry. Untuk informasi lebih lanjut, lihat aliware-kafka-demos.
Compact
Tag
Tag yang ingin Anda lampirkan pada topik.
demo
Setelah topik dibuat, Anda dapat melihat topik tersebut di halaman Topics.
Buat Grup yang Diperlukan oleh Konektor Sink MaxCompute
Di konsol ApsaraMQ for Kafka, Anda dapat secara manual membuat grup yang diperlukan oleh konektor sink MaxCompute. Nama grup harus dalam format connect-nama tugas. Untuk informasi lebih lanjut, lihat Parameter dalam Langkah Konfigurasi Layanan Sumber.
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di halaman Instances, klik nama instance yang ingin Anda kelola.
Di panel navigasi sisi kiri, klik Groups.
Di halaman Groups, klik Create Group.
Di panel Create Group, masukkan nama grup di bidang Group ID dan deskripsi grup di bidang Description, lampirkan tag ke grup, lalu klik OK.
Setelah Anda membuat grup konsumen, Anda dapat melihat grup konsumen tersebut di halaman Groups.
Buat dan Terapkan Konektor Sink MaxCompute
Untuk membuat dan menerapkan konektor sink MaxCompute yang digunakan untuk mengekspor data dari ApsaraMQ for Kafka ke MaxCompute, lakukan langkah-langkah berikut:
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di halaman Instances, klik nama instance yang ingin Anda kelola.
Di panel navigasi sisi kiri, klik Connectors.
Di halaman Connectors, klik Create Connector.
Di wizard Create Connector, ikuti langkah-langkah berikut:
-
Pada langkah Configure Basic Information, atur parameter yang dijelaskan dalam tabel berikut, lalu klik Next.
Parameter
Deskripsi
Contoh
Name
Nama konektor. Perhatikan aturan berikut saat Anda menentukan nama konektor:
Nama konektor harus memiliki panjang 1 hingga 48 karakter. Bisa berisi angka, huruf kecil, dan tanda hubung (-), tetapi tidak bisa dimulai dengan tanda hubung (-).
Setiap nama konektor harus unik dalam instance ApsaraMQ for Kafka.
Nama grup yang digunakan oleh tugas konektor harus dalam format connect-nama tugas. Jika Anda belum membuat grup semacam itu, Message Queue for Apache Kafka secara otomatis membuat satu untuk Anda.
kafka-maxcompute-sink
Instance
Informasi tentang instance Message Queue for Apache Kafka. Secara default, nama dan ID instance ditampilkan.
demo alikafka_post-cn-st21p8vj****
-
Pada langkah Configure Source Service, pilih Message Queue for Apache Kafka sebagai layanan sumber, atur parameter yang dijelaskan dalam tabel berikut, lalu klik Next.
CatatanJika Anda telah membuat topik dan grup konsumen sebelumnya, atur parameter Metode Pembuatan Sumber Daya ke Manual dan masukkan nama sumber daya yang telah dibuat di bidang di bawah ini. Jika tidak, atur parameter Metode Pembuatan Sumber Daya ke Otomatis.
Tabel 1. Parameter dalam Langkah Konfigurasi Layanan Sumber
Parameter
Deskripsi
Contoh
Data Source Topic
Nama topik sumber data dari mana data akan diekspor.
maxcompute-test-input
Consumer Thread Concurrency
Jumlah thread konsumen konkuren yang digunakan untuk mengekspor data dari topik sumber data. Nilai default: 6. Nilai valid:
1
2
3
6
12
6
Consumer Offset
Offset tempat konsumsi dimulai. Nilai valid:
Earliest Offset: Konsumsi dimulai dari offset paling awal.
Latest Offset: Konsumsi dimulai dari offset terbaru.
Earliest Offset
VPC ID
ID virtual private cloud (VPC) tempat tugas ekspor data berjalan. Klik Configure Runtime Environment untuk menampilkan parameter. Nilai default adalah ID VPC yang Anda tentukan saat menerapkan instance ApsaraMQ for Kafka. Anda tidak perlu mengubah nilainya.
vpc-bp1xpdnd3l***
vSwitch ID
ID vSwitch tempat tugas ekspor data berjalan. Klik Configure Runtime Environment untuk menampilkan parameter. vSwitch harus diterapkan di VPC yang sama dengan instance ApsaraMQ for Kafka. Nilai default adalah ID vSwitch yang Anda tentukan saat menerapkan instance ApsaraMQ for Kafka.
vsw-bp1d2jgg81***
Failure Handling Policy
Menentukan apakah akan mempertahankan langganan ke partisi tempat terjadi kegagalan pengiriman pesan. Klik Configure Runtime Environment untuk menampilkan parameter. Nilai valid:
Continue Subscription: mempertahankan langganan ke partisi tempat kesalahan terjadi dan mengembalikan log.
Stop Subscription: menghentikan langganan ke partisi tempat kesalahan terjadi dan mengembalikan log.
CatatanUntuk informasi lebih lanjut, lihat Kelola konektor.
Untuk informasi lebih lanjut tentang cara menyelesaikan kesalahan berdasarkan kode kesalahan, lihat Kode Kesalahan.
Continue Subscription
Resource Creation Method
Metode untuk membuat topik dan grup yang diperlukan oleh konektor sink MaxCompute. Klik Configure Runtime Environment untuk menampilkan parameter.
Auto
Manual
Auto
Connector Consumer Group
Grup yang digunakan oleh tugas ekspor data konektor. Klik Configure Runtime Environment untuk menampilkan parameter. Nama grup harus dalam format connect-nama tugas.
connect-kafka-maxcompute-sink
Task Offset Topic
Topik yang digunakan untuk menyimpan offset konsumen. Klik Configure Runtime Environment untuk menampilkan parameter.
Topik: Kami sarankan Anda memulai nama topik dengan connect-offset.
Partisi: Jumlah partisi dalam topik harus lebih dari 1.
Mesin Penyimpanan: Mesin penyimpanan topik harus diatur ke Penyimpanan Lokal.
cleanup.policy: Kebijakan pembersihan log untuk topik harus diatur ke Kompaksi.
connect-offset-kafka-maxcompute-sink
Task Configuration Topic
Topik yang digunakan untuk menyimpan konfigurasi tugas. Klik Configure Runtime Environment untuk menampilkan parameter.
Topik: Kami sarankan Anda memulai nama topik dengan connect-config.
Partisi: Topik hanya dapat berisi satu partisi.
Mesin Penyimpanan: Mesin penyimpanan topik harus diatur ke Penyimpanan Lokal.
cleanup.policy: Kebijakan pembersihan log untuk topik harus diatur ke Kompaksi.
connect-config-kafka-maxcompute-sink
Task Status Topic
Topik yang digunakan untuk menyimpan status tugas. Klik Configure Runtime Environment untuk menampilkan parameter.
Topik: Kami sarankan Anda memulai nama topik dengan connect-status.
Partisi: Kami sarankan Anda mengatur jumlah partisi dalam topik menjadi 6.
Mesin Penyimpanan: Mesin penyimpanan topik harus diatur ke Penyimpanan Lokal.
cleanup.policy: Kebijakan pembersihan log untuk topik harus diatur ke Kompaksi.
connect-status-kafka-maxcompute-sink
Dead-letter Queue Topic
Topik yang digunakan untuk menyimpan data kesalahan kerangka kerja Kafka Connect. Klik Configure Runtime Environment untuk menampilkan parameter. Untuk menghemat sumber daya topik, Anda dapat membuat topik sebagai topik antrian pesan gagal dan topik data kesalahan.
Topik: Kami sarankan Anda memulai nama topik dengan connect-error.
Partisi: Kami sarankan Anda mengatur jumlah partisi dalam topik menjadi 6.
Mesin Penyimpanan: Mesin penyimpanan topik dapat diatur ke Penyimpanan Lokal atau Penyimpanan Cloud.
connect-error-kafka-maxcompute-sink
Error Data Topic
Topik yang digunakan untuk menyimpan data kesalahan konektor. Klik Configure Runtime Environment untuk menampilkan parameter. Untuk menghemat sumber daya topik, Anda dapat membuat topik sebagai topik antrian pesan gagal dan topik data kesalahan.
Topik: Kami sarankan Anda memulai nama topik dengan connect-error.
Partisi: Kami sarankan Anda mengatur jumlah partisi dalam topik menjadi 6.
Mesin Penyimpanan: Mesin penyimpanan topik dapat diatur ke Penyimpanan Lokal atau Penyimpanan Cloud.
connect-error-kafka-maxcompute-sink
-
Pada langkah Configure Destination Service, pilih MaxCompute sebagai layanan tujuan, atur parameter yang dijelaskan dalam tabel berikut, lalu klik Create.
CatatanJika instance yang berisi topik sumber data berada di wilayah China (Hangzhou) atau China (Chengdu), kotak dialog Service Authorization akan muncul saat Anda memilih MaxCompute sebagai layanan tujuan. Klik OK di kotak dialog Service Authorization, atur parameter yang dijelaskan dalam tabel berikut, lalu klik Create.
Parameter
Deskripsi
Contoh
Endpoint
Endpoint MaxCompute. Untuk informasi lebih lanjut, lihat Endpoint.
Endpoint VPC: Kami sarankan Anda menggunakan endpoint VPC karena memiliki latensi lebih rendah. Endpoint VPC dapat digunakan jika instance ApsaraMQ for Kafka dan proyek MaxCompute berada di wilayah yang sama.
Endpoint Publik: Kami sarankan Anda tidak menggunakan endpoint publik karena memiliki latensi lebih tinggi. Endpoint publik dapat digunakan jika instance ApsaraMQ for Kafka dan proyek MaxCompute berada di wilayah yang berbeda. Untuk menggunakan endpoint publik, Anda harus mengaktifkan akses Internet untuk konektor. Untuk informasi lebih lanjut, lihat Aktifkan akses Internet untuk konektor.
http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api
Workspace
Nama proyek MaxCompute tempat Anda ingin mengekspor data.
connector_test
Table
Nama tabel MaxCompute tempat Anda ingin mengekspor data.
test_kafka
Region for Table
Wilayah tempat tabel MaxCompute dibuat.
China (Hangzhou)
Alibaba Cloud Account ID
ID akun Alibaba Cloud yang digunakan untuk mengakses MaxCompute.
188***
RAM Role
Nama peran RAM yang diasumsikan oleh ApsaraMQ for Kafka. Untuk informasi lebih lanjut, lihat Buat Peran RAM.
AliyunKafkaMaxComputeUser1
Mode
Mode tempat pesan diekspor ke konektor sink MaxCompute. Nilai default: DEFAULT. Nilai valid:
KEY: Hanya kunci pesan yang dipertahankan dan ditulis ke kolom Key tabel MaxCompute.
VALUE: Hanya nilai pesan yang dipertahankan dan ditulis ke kolom Value tabel MaxCompute.
DEFAULT: Baik kunci maupun nilai pesan dipertahankan. Kunci ditulis ke kolom Key dan nilai ditulis ke kolom Value tabel MaxCompute.
PentingDalam mode DEFAULT, format CSV tidak didukung. Anda hanya dapat memilih format TEXT dan BINARY.
DEFAULT
Format
Format tempat pesan diekspor ke konektor sink MaxCompute. Nilai default: TEXT. Nilai valid:
TEXT: strings
BINARY: array byte
CSV: string yang dipisahkan dengan koma (,)
PentingJika Anda mengatur parameter ini ke CSV, mode DEFAULT tidak didukung. Hanya mode KEY dan VALUE yang didukung.
Mode KEY: Hanya kunci pesan yang dipertahankan. Kunci dipisahkan dengan koma (,) dan kemudian ditulis ke tabel MaxCompute sesuai urutan indeks.
Mode VALUE: Hanya nilai pesan yang dipertahankan. Nilai dipisahkan dengan koma (,) dan kemudian ditulis ke tabel MaxCompute sesuai urutan indeks.
TEXT
Partition
Frekuensi pembuatan partisi. Nilai default: HOUR. Nilai valid:
DAY: menulis data ke partisi baru setiap hari.
HOUR: menulis data ke partisi baru setiap jam.
MINUTE: menulis data ke partisi baru setiap menit.
HOUR
Time Zone
Zona waktu klien produsen ApsaraMQ for Kafka yang mengirim pesan ke topik sumber data. Nilai default: GMT 08:00.
GMT 08:00
Setelah konektor dibuat, Anda dapat melihatnya di halaman Connectors.
-
Pergi ke halaman Connectors, temukan konektor yang Anda buat, lalu klik Deploy di kolom Actions.
Kirim Pesan Uji
Setelah Anda menerapkan konektor sink MaxCompute, Anda dapat mengirim pesan ke topik sumber data di ApsaraMQ for Kafka untuk menguji apakah pesan tersebut dapat diekspor ke MaxCompute.
Di halaman Connectors, temukan konektor yang ingin Anda kelola dan klik Test di kolom Actions.
Di panel Send Message, konfigurasikan parameter untuk mengirim pesan pengujian.
-
Jika Anda mengatur parameter Sending Method ke Console, ikuti langkah-langkah berikut:
-
Di bidang Message Key, masukkan kunci pesan. Contoh: demo.
-
Di bidang Message Content, masukkan isi pesan. Contoh: {"key": "test"}.
-
Konfigurasikan parameter Send to Specified Partition untuk menentukan apakah akan mengirim pesan uji ke partisi tertentu.
-
Jika ingin mengirim pesan uji ke partisi tertentu, klik Yes dan masukkan ID partisi di bidang Partition ID. Contoh: 0. Untuk informasi tentang cara memeriksa ID partisi, lihat Lihat status partisi.
-
Jika tidak ingin mengirim pesan uji ke partisi tertentu, klik No.
-
-
-
Jika Anda mengatur parameter Sending Method ke Docker, jalankan perintah Docker di bagian Run the Docker container to produce a sample message untuk mengirim pesan uji.
-
Jika Anda mengatur parameter Sending Method ke SDK, pilih SDK untuk bahasa pemrograman atau framework yang diperlukan serta metode akses untuk mengirim dan berlangganan pesan uji.
-
Lihat Data di Tabel MaxCompute
Setelah Anda mengirim pesan ke topik sumber data di ApsaraMQ for Kafka, Anda dapat masuk ke klien MaxCompute untuk memeriksa apakah pesan tersebut diterima.
Untuk melihat tabel test_kafka, lakukan langkah-langkah berikut:
Masuk ke klien MaxCompute.
Jalankan perintah berikut untuk melihat partisi tabel:
show partitions test_kafka;Berikut adalah hasil yang dikembalikan dalam contoh ini:
pt=11-17-2020 15 OKJalankan perintah berikut untuk melihat data yang tersimpan di partisi:
select * from test_kafka where pt ="11-17-2020 14";Contoh ini mengembalikan hasil berikut:
+----------------------+------------+------------+-----+-------+---------------+ | topic | partition | offset | key | value | pt | +----------------------+------------+------------+-----+-------+---------------+ | maxcompute-test-input| 0 | 0 | 1 | 1 | 11-17-2020 14 | +----------------------+------------+------------+-----+-------+---------------+