Dataphin で Flink を RDS MySQL に接続してリアルタイムパイプラインを構築 - Dataphin

リアルタイム開発を始める前に、必要なクラウドリソースを準備する必要があります。これらの準備には、Ververica Flinkコンピューティングソースの設定、Quick BIのアクティブ化と構成 (オプション)、およびデータソースの準備が含まれます。このガイドでは、このチュートリアルに必要なクラウドリソースの準備について説明します。

ステップ 1: リアルタイムコンピューティング Flink版と Quick BI をアクティブ化して構成する

メインフロー	説明	操作ガイド
リアルタイムコンピューティング Flink版をアクティブ化する	リアルタイムコンピューティング Flink版を購入します。	リアルタイムコンピューティング Flink版をアクティブ化する
Quick BI をアクティブ化する (オプション)	Quick BI を購入します。重要オプション。後続のビジュアル分析には、他の BI ツールを使用することもできます。	Quick BI の購入、アップグレード、更新、および支払い遅延
Flinkプロジェクトスペースを作成する	プロジェクト名 [flink_dataphin] を使用して Flink プロジェクトスペースを作成します。重要 Alibaba Cloud リアルタイムコンピューティング Flink版は、グローバルプロジェクトスペースを使用します。既に作成されているプロジェクトスペースは再作成をサポートしていません。 flink_dataphin_001 のような名前を使用することをお勧めします。	名前空間の管理

ステップ 2: データソースを準備する

RDS 経由で MySQL 8.0 インスタンスを作成し、RDS インスタンス ID を取得して、RDS コンソールでホワイトリストを構成します。詳細については、「RDS MySQL インスタンスの作成」をご参照ください。このチュートリアルでは、「flink_dataphin」を RDS データソース名の例として使用します。

MySQL インスタンスにサインインし、次のコマンドを実行してデータベースとデータテーブルを作成します。

create database flink_dataphin; //flink_dataphin データベースを作成する

use flink_dataphin; //flink_dataphin データベースを使用する

//注文テーブル
CREATE TABLE `oms_orders` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '注文 ID',
  `buyer_id` bigint(20) DEFAULT NULL COMMENT 'ユーザー ID',
  `sku_type` char(32) DEFAULT NULL COMMENT '製品タイプ',
  `sku_quantity` int DEFAULT NULL COMMENT '製品数量',
  `gmt_create` datetime DEFAULT NULL COMMENT '作成時間',
  PRIMARY KEY (`id`)
) COMMENT='注文テーブル';

//結果テーブル
CREATE TABLE `ads_gross` (
  `prod_code` char(32) COMMENT '製品コード',
  `sale_num` int DEFAULT NULL COMMENT '販売数量',
   primary key (prod_code)
) COMMENT='カテゴリ売上合計結果テーブル';