Lindorm Stream adalah mesin pemrosesan data real-time yang memanfaatkan SQL Standar dan fitur inti database untuk menyediakan pemrosesan data end-to-end dalam skenario Internet of Vehicles (IoV), Internet of Things (IoT), dan Internet. Kasus penggunaan umum mencakup penguraian dan ingest data real-time, ekstrak, transformasi, dan muat (ETL) real-time, deteksi anomali real-time, serta pelaporan real-time. Topik ini menjelaskan skenario dan fitur Lindorm Stream.
Kemampuan Inti
Serverless: Dibangun di atas Alibaba Cloud Elastic Container Instance (ECI) untuk penggunaan yang hemat biaya dan siap pakai.
Isolasi kelompok sumber daya: Menyediakan isolasi fisik antar kelompok sumber daya guna menjamin keamanan dan isolasi pekerjaan aliran.
Auto scaling: Secara otomatis menyesuaikan kapasitas sumber daya berdasarkan aturan berbasis waktu untuk jam sibuk dan jam sepi, serta berdasarkan beban kluster guna mengoptimalkan pemanfaatan sumber daya.
Konektor bawaan: Dilengkapi konektor bawaan untuk mesin seperti LindormTable, Lindorm Column, dan Lindorm Search. Konektor ini mendukung berbagi metadata, menjamin konsistensi data, dan meningkatkan efisiensi pengembangan.
Akses SQL Standar: Memungkinkan penggunaan SQL Standar dan SQL ETL real-time untuk membangun tautan data real-time atau tautan pra-komputasi data guna memenuhi berbagai kebutuhan pemrosesan data real-time.
Platform O&M aliran: Menyediakan platform terpadu untuk operasi dan maintenance (O&M) pekerjaan aliran, mencakup seluruh proses end-to-end mulai dari pengembangan, penerapan, O&M, hingga pemantauan peringatan.
CDC Database: Mengintegrasikan kemampuan Change Data Capture (CDC) Flink untuk menangkap perubahan data secara real-time dari database seperti MySQL dan Oracle, sehingga memudahkan pembuatan tautan sinkronisasi data heterogen.
Pemrosesan aliran dan batch terpadu: Menjalankan pekerjaan streaming dan batch pada platform yang sama menggunakan mesin komputasi Flink terpadu, memungkinkan satu tumpukan teknologi untuk memenuhi beragam kebutuhan pemrosesan data.
Skema Penggunaan
Ingest Real-time
Misalnya, dalam pelaporan data real-time untuk IoV, mesin aliran melakukan decoding, penguraian, dan ingest data kendaraan.
ETL Real-time
Serupa dengan tampilan yang di-materialisasi real-time, Lindorm Stream melakukan pra-komputasi real-time pada data tabel, seperti operasi pra-agregasi dan pra-JOIN. Hasilnya disimpan secara real-time ke tabel sink untuk memungkinkan kueri real-time.
Analisis Real-time
Menjalankan analisis real-time pada data CDC Lindorm untuk tugas seperti pelaporan, deteksi anomali, geo-fencing, dan Complex Event Processing (CEP).
