Lindorm Stream はリアルタイムデータ処理エンジンです。標準 SQL とコアデータベース機能を使用して、Internet of Vehicles (IoV)、Internet of Things (IoT)、およびインターネットのシナリオ向けに、エンドツーエンドのデータ処理を提供します。一般的なユースケースには、リアルタイムのデータ解析と取り込み、リアルタイムの抽出・変換・書き出し (ETL)、リアルタイムの異常検知、リアルタイムのレポート作成などがあります。このトピックでは、Lindorm Stream の利用シーンと機能について説明します。
コア機能
サーバーレス：Alibaba Cloud Elastic Container Instance (ECI) コンテナー上に構築されており、コスト効率が高く、すぐに使用できます。
リソースグループの分離：複数のリソースグループ間で物理的な分離を提供し、ストリームジョブのセキュリティと隔離を確保します。
自動スケーリング：時間ベースのルール (ピーク時とオフピーク時) およびクラスターの負荷に基づいてリソースを自動的にスケーリングし、リソース使用率を最適化します。
組み込みコネクタ：LindormTable、Lindorm Column、Lindorm Search などのエンジン用の組み込みコネクタが含まれています。これらのコネクタは、メタデータの共有をサポートし、データ整合性を確保し、開発効率を向上させます。
標準 SQL アクセス：標準 SQL とリアルタイム ETL SQL を使用して、リアルタイムデータリンクやデータ事前計算リンクを構築し、さまざまなリアルタイムデータ処理のニーズに対応できます。
ストリーム O&M プラットフォーム：ストリームジョブの運用保守 (O&M) のための統合プラットフォームを提供します。このプラットフォームは、ストリームジョブの開発、デプロイ、O&M、監視とアラートのエンドツーエンドのプロセスをカバーします。
データベース CDC：主流の Flink Change Data Capture (CDC) 機能を統合し、MySQL や Oracle などのデータベースからリアルタイムでデータ変更をキャプチャします。これにより、異種データ同期リンクを簡単に構築できます。
ストリーム処理とバッチ処理の統合：統一された Flink コンピュートエンジンを使用して、同じプラットフォーム上でストリーミングジョブとバッチジョブの両方を実行します。これにより、単一の技術スタックで多様なデータ処理ニーズに対応できます。
利用シーン
リアルタイム取り込み
例えば、IoV のリアルタイムデータレポート作成において、ストリームエンジンは車載データのデコード、解析、取り込みを行います。
リアルタイム ETL
リアルタイムマテリアライズドビューと同様に、Lindorm Stream はテーブルデータに対して、事前集計や事前 JOIN 操作などのリアルタイム事前計算を実行します。結果はリアルタイムで結果テーブルに保存され、リアルタイムクエリを可能にします。
リアルタイム分析
Lindorm CDC データに対して、レポート作成、異常検知、ジオフェンシング、複合イベント処理 (CEP) などのタスクのためのリアルタイム分析を実行します。
