Topik ini menyediakan panduan untuk pengembangan pekerjaan.
Pahami sistem hulu dan hilir
Hulu (Source): Sistem sumber tempat data dibaca.
Contohnya meliputi Kafka, MySQL CDC, Hologres, dan Simple Log Service (SLS).
Hilir (Sink): Sistem tujuan tempat hasil pemrosesan ditulis.
Contohnya meliputi database (MySQL, PostgreSQL), gudang data (ClickHouse, Doris, StarRocks), antrian pesan, dan data lake (Paimon, OSS).
Realtime Compute for Apache Flink mendukung lebih dari 30 konektor hulu dan hilir untuk berbagai skenario, termasuk database, antrian pesan, dan data lake, sehingga memungkinkan integrasi tautan data yang cepat dan siap pakai. Untuk informasi selengkapnya, lihat Konektor yang didukung.
Tentukan skenario bisnis Anda
Jenis Pekerjaan | Skenario |
Flink SQL | Ekstrak, transformasi, dan muat (ETL) real-time, perhitungan metrik real-time, join multi-aliran, pembangunan gudang data real-time, serta pemrosesan aliran dan batch terpadu untuk lakehouse. |
Ingesti Data Flink CDC | Sinkronisasi database real-time, migrasi data, dan sinkronisasi otomatis beberapa tabel. |
Datastream API | Pemrosesan event kompleks (CEP), panggilan eksternal frekuensi tinggi, logika jendela kompleks, serta sumber atau sink kustom. |
Kembangkan pekerjaan
Flink SQL Cepat mengimplementasikan ETL, agregasi, dan join tabel dimensi. | Ingesti Data Flink CDC Sinkronisasi database real-time dan ingesti batch dari beberapa tabel. | Datastream API Digunakan untuk CEP, status kustom, dan logika kompleks. |
Skenario khas | Kueri dan uji coba | Penggunaan lanjutan |
Integrasi ekosistem | O&M dan optimasi | Pemecahan masalah umum |