このチュートリアルでは、Ververica Flink を使用した Dataphin でのリアルタイム R&D とビジュアル分析の完了について説明し、Dataphin のリアルタイム R&D プロセスの基本的な理解を提供します。
背景情報
ストレージデータベースに MySQL を使用する企業の注文システムには、注文を保存するための 'oms_order' テーブルが含まれています。 マーケティング キャンペーンをサポートするために、各製品タイプの販売数量をリアルタイムで集計し、キャンペーン戦略を迅速に調整する必要があります。
以下は、データフローの概略図です。
Ververica Flink タスクは、注文システムの MySQL からのデータをリアルタイムで処理し、製品タイプ別に販売数量を集計して、OLAP 分析用の別の MySQL データベースを更新します。
Quick BI などの BI ツールは、ビジュアル分析のために MySQL データにアクセスします。
プロセスガイド
Dataphin を使用したリアルタイム R&D の基本プロセスを以下に概説します。
主なプロセス | 説明 | 操作ガイド |
準備 | Dataphin でリアルタイム R&D を開始する前に、関連するクラウド リソースを準備する必要があります。 これには、Alibaba Cloud アカウントの設定、Dataphin および AccessKey の有効化と構成、Ververica Flink 計算リソースの有効化と構成、Quick BI の有効化 (オプション)、およびデータソースの準備が含まれます。 | |
プロジェクトと計算ソース | リアルタイム プロジェクトは、リアルタイム タスクを開発するための基本単位であり、リアルタイム R&D のための Ververica Flink 計算リソースに関連付けることができます。 | |
リアルタイム メタテーブル | メタテーブルは、クロスストレージタイプのデータ管理を容易にします。 開発に必要な入力、出力、およびディメンションテーブルは、メタテーブルを使用して作成および管理できます。 | |
リアルタイム タスク | Flink_SQL ストリーム タスクを作成して、メタテーブルによってマッピングされたデータソースからデータを読み書きします。 | |
タスクの運用と保守 | リアルタイム R&D が完了したら、タスクをオペレーションセンターに送信します。 ここでは、タスクの開始、停止、ログの表示、タスク メトリックの監視、アラートの構成、その他の運用タスクを実行できます。 | |
ビジュアル分析 | オプション。 リアルタイム インスタンスが開始されると、ソーステーブルから継続的にデータを読み取り、Ververica Flink を使用して処理および計算し、結果をリアルタイムで出力テーブルに書き込みます。 出力テーブルのデータのビジュアル分析には、Quick BI などの BI ツールを使用できます。 |