ApsaraMQ for Kafka adalah layanan messaging terdistribusi yang sepenuhnya dikelola (fully managed) berbasis Apache Kafka. Layanan ini menyediakan throughput tinggi dan skalabilitas elastis untuk pipa data real-time tanpa beban operasional dalam mengelola kluster Kafka sendiri. ApsaraMQ for Kafka merupakan bagian integral dari ekosistem data besar.
Beban kerja umum mencakup pengumpulan log, agregasi data pemantauan, pemrosesan data streaming, serta analitik online dan offline skala besar.
%E8%8B%B1%E6%96%87%E7%89%88Kafka-%E4%BF%AE%E6%94%B9%E7%AC%AC%E4%B8%89%E7%89%88.mp4
Mengapa menggunakan layanan Kafka terkelola
Menjalankan Apache Kafka di lingkungan produksi memerlukan investasi operasional yang signifikan. ApsaraMQ for Kafka menangani tugas-tugas berikut sehingga Anda dapat fokus membangun aplikasi:
Provisioning dan konfigurasi kluster — Deploy kluster Kafka siap pakai tanpa perlu setup manual.
Patching dan peningkatan versi — Terapkan patch keamanan dan pembaruan versi Kafka dengan gangguan minimal.
Pemantauan dan peringatan — Lacak kesehatan kluster dan throughput melalui alat terintegrasi.
Skalabilitas elastis — Tingkatkan kapasitas broker dan penyimpanan sesuai perubahan beban kerja.
Dibandingkan dengan Apache Kafka yang dikelola sendiri, ApsaraMQ for Kafka mengurangi biaya infrastruktur, meningkatkan keandalan, dan memungkinkan penskalaan dengan upaya lebih sedikit.
Akses jaringan
ApsaraMQ for Kafka memungkinkan Anda mengakses instans melalui internet atau di dalam Virtual Private Cloud (VPC). Anda dapat mengelola VPC secara penuh: menentukan Blok CIDR, mengonfigurasi tabel rute dan gerbang, serta men-deploy sumber daya Alibaba Cloud lainnya—seperti instans Elastic Compute Service (ECS), instans ApsaraDB RDS, dan instans Server Load Balancer (SLB)—bersama kluster Kafka Anda.
Kasus penggunaan
ApsaraMQ for Kafka mendukung berbagai skenario pemrosesan data besar dan real-time:
Analisis perilaku pengguna — Analisis tindakan pengguna website dan data clickstream untuk memahami pola penggunaan.
Agregasi log — Kumpulkan log dari aplikasi dan infrastruktur terdistribusi ke dalam satu pipeline terpusat untuk pencarian, peringatan, dan analisis.
Pemantauan dan observabilitas — Agregasikan data pemantauan dari berbagai sumber dan alirkan ke dasbor serta sistem peringatan guna mendapatkan visibilitas operasional real-time.
Pemrosesan aliran — Bangun arsitektur berbasis event yang merespons data secara real-time.
Analisis data offline — Buffer aliran event ber-volume tinggi dan muat ke gudang data untuk analisis historis dan pelaporan.
Integrasi ekosistem
ApsaraMQ for Kafka terintegrasi dengan layanan Alibaba Cloud dan framework open-source untuk perpindahan dan pemrosesan data.
Integrasi data
Pindahkan pesan dari topik Kafka ke sistem penyimpanan dan analitik downstream:
| Layanan target | Kasus penggunaan |
|---|---|
| MaxCompute | Gudang data skala besar dan analitik batch |
| Object Storage Service (OSS) | Penyimpanan jangka panjang dan pengarsipan |
| ApsaraDB RDS | Sinkronisasi database relasional |
| Hadoop / HBase | Penyimpanan terdistribusi untuk beban kerja data besar |
Mesin pemrosesan aliran
Hubungkan Kafka ke mesin komputasi real-time untuk pemrosesan data berkelanjutan:
| Mesin | Kasus penggunaan |
|---|---|
| Realtime Compute for Apache Flink | Pemrosesan aliran terkelola |
| E-MapReduce (EMR) | Kluster Hadoop dan Spark terkelola untuk batch dan streaming |
| Spark | Analitik in-memory dan streaming |
| Storm | Pemrosesan aliran event-by-event dengan latensi rendah |
Memulai
Pilih titik awal berdasarkan tujuan Anda:
Buat instans pertama Anda — Ikuti panduan quick start untuk menyediakan instans Kafka dan mengirim pesan pertama Anda.
Pahami konsep inti — Pelajari tentang topik, partisi, kelompok konsumen, dan cara ApsaraMQ for Kafka mengorganisasi data.
Hubungkan aplikasi Anda — Gunakan SDK untuk mengintegrasikan produsen dan konsumen Kafka ke dalam aplikasi Anda.
Siapkan pipa data — Konfigurasikan konektor untuk memindahkan data antara Kafka dan layanan Alibaba Cloud lainnya.