Artikel ini menjelaskan cara membuat dan menggunakan konektor sink SLS untuk mengekspor data dari topik sumber di instans ApsaraMQ for Kafka ke Simple Log Service (SLS).
Prasyarat
Untuk langkah-langkah lengkapnya, lihat Prasyarat.
Langkah 1: Buat resource tujuan
-
Buat proyek. Untuk informasi selengkapnya, lihat Buat proyek.
-
Buat Logstore. Untuk informasi selengkapnya, lihat Buat Logstore.
Topik ini menggunakan proyek bernama guide-sls-sink-project dan Logstore bernama guide-sls-sink-logstore sebagai contoh.
Langkah 2: Buat dan mulai konektor sink SLS
Masuk ke ApsaraMQ for Kafka console. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.
-
Di panel navigasi sebelah kiri, pilih .
-
Pada halaman Tasks, klik Create Task.
-
Buat tugas.
-
Pada langkah Source, pilih Message Queue for Apache Kafka sebagai Data Provider. Konfigurasikan parameter berikut, lalu klik Next.
Parameter
Deskripsi
Contoh
Region
Wilayah instans sumber Message Queue for Apache Kafka.
China (Beijing)
Kafka instance
Instans sumber Message Queue for Apache Kafka.
alikafka_post-cn-jte3****
Topic
Pilih topik untuk menghasilkan pesan Message Queue for Apache Kafka.
demo-topic
Group ID
Kelompok konsumen instans sumber.
-
Quick Create: Ini adalah opsi yang direkomendasikan. Group ID dengan format
GID_EVENTBRIDGE_xxxakan dibuat secara otomatis. -
Use Existing: Pilih Group ID independen. Jangan gunakan Group ID yang dibagikan dengan layanan lain untuk menghindari gangguan pada konsumsi pesan yang sudah ada.
Quick Create
Consumer offset
Offset tempat konsumsi pesan dimulai.
-
Latest offset (latest)
-
Earliest offset (earliest)
Latest offset (latest)
Network configuration
Jenis jaringan untuk perutean pesan.
-
Basic Network
-
Self-managed Internet
Basic Network
VPC
Hanya diperlukan jika Network configuration diatur ke Self-managed Internet.
vpc-bp17fapfdj0dwzjkd****
vSwitch
Hanya diperlukan jika Network configuration diatur ke Self-managed Internet.
vsw-bp1gbjhj53hdjdkg****
Security group
Hanya diperlukan jika Network configuration diatur ke Self-managed Internet.
alikafka_pre-cn-7mz2****
Data Format
Format encoding untuk konten pesan. Untuk sumber data yang mendukung transmisi biner, pilih salah satu format berikut. Kami merekomendasikan Json jika Anda tidak memiliki persyaratan encoding khusus.
-
Json: Meng-encode data biner sebagai objek JSON ke dalam muatan menggunakan UTF-8.
-
Text: Meng-encode data biner sebagai string UTF-8 ke dalam muatan. Ini adalah format default.
-
Binary: Meng-encode data biner sebagai string Base64-encoded ke dalam muatan.
Json
Messages
Parameter Advanced configuration. Jumlah maksimum pesan yang dikirim per batch. Permintaan hanya dikirim ketika jumlah pesan terakumulasi mencapai nilai yang ditentukan. Nilai valid: 1 hingga 10.000.
100
Interval (Unit: Seconds)
Parameter Advanced configuration. Interval untuk memanggil fungsi. Sistem mengumpulkan pesan dan mengirimkannya ke sink pada setiap interval. Nilai valid: 0 hingga 15. Nilai 0 berarti pesan dikirimkan segera tanpa penundaan.
3
-
-
Pada langkah Filtering, atur Pattern Content untuk memfilter event. Untuk informasi selengkapnya, lihat event pattern.
-
Pada langkah Transformation, konfigurasikan transformasi data untuk melakukan operasi seperti pemisahan, pemetaan, pengayaan, dan perutean dinamis. Untuk informasi selengkapnya, lihat Gunakan Function Compute untuk membersihkan data pesan.
-
Pada wizard konfigurasi Sink, atur Service Type ke Simple Log Service, konfigurasikan parameter berikut, lalu klik Save.
-
Null
-
Fixed Value
-
Partial Data
-
Template
-
Default Format (JSON)
-
Custom Format (Key/Value)
Tabel 1. Sink (Simple Log Service)
Parameter
Deskripsi
Contoh
Project
Proyek Simple Log Service yang telah Anda buat.
guide-sls-sink-project
Logstore
Logstore Simple Log Service yang telah Anda buat.
guide-sls-sink-logstore
Topic
Metode yang digunakan untuk menghasilkan Topic SLS.
Empty
Content
Default Format (Json)
Role Name
Memberikan izin kepada EventBridge untuk menulis ke SLS. Jika role belum ada, ikuti petunjuk di layar untuk membuatnya.
sls_eb
-
-
Kembali ke halaman Tasks. Temukan tugas yang telah Anda buat dan klik Enable di kolom Actions.
-
Pada kotak dialog Note, baca pesannya lalu klik OK.
Tugas memerlukan waktu 30 hingga 60 detik untuk dimulai. Anda dapat memantau perkembangannya di kolom Status pada halaman Tasks.
Langkah 3: Uji konektor sink SLS
-
Pada halaman Tasks, temukan tugas konektor sink SLS dan klik topik sumber di kolom Event Source.
- Pada halaman detail topik, klik Send Test Message.
-
Pada panel Start to Send and Consume Message, konfigurasikan pesan, lalu klik OK.
Pilih tab Console. Atur Message Key menjadi
sls-sink-k1dan Message Content menjadisls-sink-v1. Untuk Send to a specified partition, pilih No. -
Pada halaman Tasks, temukan tugas konektor sink SLS dan klik proyek tujuan di kolom Event Target.
-
Pada halaman Logstore, lihat konten log.
Bidang content dari catatan log berformat JSON dan berisi
key:"sls-sink-k1"sertavalue:"sls-sink-v1". Hal ini mengonfirmasi bahwa konektor sink SLS berhasil menulis data ke Logstore tujuan.