このガイドでは、Realtime Compute for Apache Flink と Hologres を使用してリアルタイムデータウェアハウスを構築する方法を説明します。このソリューションは、Flink の強力なストリーム処理と、バイナリロギング、ハイブリッド行列表ストレージ、強力なリソース分離などの Hologres 独自の機能を組み合わせることで、増大するデータ量に対応し、リアルタイムのビジネス要件を満たします。
背景
ビジネスのデジタル化が進むにつれて、より鮮度の高いデータに対する需要が急速に高まっています。大量データのバッチ処理を前提に設計された従来のオフラインデータウェアハウスでは、もはや十分ではありません。多くの最新のビジネスシナリオでは、リアルタイムデータ処理、ストレージ、分析が求められます。ODS、DWD、DWS などの階層化アーキテクチャを用いたオフラインデータウェアハウスの構築手法は確立されていますが、それらに対応するリアルタイム版の明確なフレームワークは不足していました。リアルタイムデータウェアハウスを使用することで、各データ層間でリアルタイムで効率的なデータフローを実現できます。
ユースケース
このガイドでは、E コマースプラットフォームを例に、Flink と Hologres を統合してリアルタイムデータウェアハウスを構築する方法を説明します。このアプローチにより、リアルタイムでデータを処理・クレンジングし、階層化された再利用可能なデータをダウンストリームアプリケーションに提供し、リアルタイムダッシュボード (トランザクション監視、行動分析、ユーザープロファイリング) やパーソナライズされた推薦などのさまざまなビジネスシナリオをサポートできます。
ソリューションアーキテクチャ
-
ODS (オペレーショナルデータストア) 層の構築:ビジネスデータベースからリアルタイムでデータを取り込みます。
Flink は、MySQL の 3 つのビジネステーブル (
orders(注文テーブル)、orders_pay(支払いテーブル)、product_catalog(製品カテゴリ辞書)) をリアルタイムで Hologres に同期します。これらのテーブルが ODS 層を構成します。 -
DWD (データウェアハウス詳細) 層の構築:リアルタイムのワイドテーブルを作成します。
Flink は ODS テーブルをリアルタイムで結合し、DWD 層用のワイドテーブルを作成します。
-
DWS (データウェアハウスサービス) 層の構築:リアルタイムメトリクスを計算します。
Flink はイベント駆動方式でワイドテーブルからバイナリロギングの変更を読み取り、メトリクスを集計して DWS 層のユーザーおよびショップ固有のテーブルに格納します。
-
Hologres でアプリケーションクエリを処理します。
-
DWS 層の集計メトリクステーブルに対し、数百万 RPS (1 秒あたりのリクエスト数) に達するクエリを処理します。
-
DWD ワイドテーブルで OLAP クエリを実行するか、そのデータに基づいてリアルタイムレポートを表示し、秒単位で応答します。
-
メリットとコア機能
このソリューションには、以下のメリットがあります:
-
効率的な更新と即時クエリ:Hologres は、各データ層に対して効率的な更新、修正、即時クエリをサポートします。これにより、中間データのクエリ、更新、修正が困難であるという、従来のリアルタイムデータウェアハウスにおける共通の課題を解決します。
-
データの階層化と再利用:Hologres の各データ層は、独立して外部アプリケーションにデータを提供できます。これにより、効率的なデータ再利用が可能になり、階層化された再利用可能なデータウェアハウスを構築できます。
-
アーキテクチャの簡素化と効率の向上:Flink SQL とデータインジェスト YAML ジョブを使用してリアルタイム ETL パイプラインを構築し、すべてのデータ層 (ODS、DWD、DWS) を Hologres に格納することで、アーキテクチャを簡素化し、データ処理効率を向上させます。
このソリューションは、次の表に示すように、Hologres の 3 つのコア機能を活用しています。
|
コア機能 |
説明 |
|
Hologres は、Flink がリアルタイムでデータの変更を読み取ることを可能にするバイナリロギングを提供します。これにより、Hologres は Flink ジョブのストリーミングソースとして機能します。 |
|
|
Hologres は、単一のテーブルに強力な整合性を持つ行指向と列指向の両方の形式でデータを格納できる、ハイブリッドストレージ形式をサポートしています。これにより、1 つの中間テーブルを、Flink のソース、ポイントクエリや時間的結合のためのディメンションテーブル、そして OLAP クエリやオンラインサービスのような他のアプリケーションのデータソースとして、多目的に利用できます。 |
|
|
強力なリソース分離 |
Hologres インスタンスの高負荷は、中間データ層でのポイントクエリのパフォーマンスに影響を与える可能性があります。Hologres は、プライマリインスタンスとセカンダリインスタンスの読み書き分離 (共有ストレージ) または 仮想ウェアハウスアーキテクチャ を通じて、強力なリソース分離をサポートします。これにより、バイナリログからの Flink によるデータ取り込みがオンラインサービスに影響を与えないようにします。 |
使用上の注意
-
このリアルタイムデータウェアハウスソリューションは、専用 Hologres インスタンスでのみサポートされています。
-
Realtime Compute for Apache Flink ワークスペース、ApsaraDB RDS for MySQL インスタンス、Hologres インスタンスは、同じ VPC 内にある必要があります。異なる VPC にある場合は、まずそれらを接続するか、パブリックエンドポイントを使用する必要があります。詳細については、「VPC 間で他のサービスにアクセスする方法」 および 「インターネットにアクセスする方法」 をご参照ください。
-
RAM ユーザーまたは RAM ロールを使用して Realtime Compute for Apache Flink、Hologres、ApsaraDB RDS for MySQL のリソースにアクセスする場合は、必要な権限が付与されていることを確認してください。
ステップ 1:環境の準備
ApsaraDB RDS for MySQL インスタンスの作成とデータの準備
-
ApsaraDB RDS for MySQL インスタンスを作成します。 詳細については、「ApsaraDB RDS for MySQL インスタンスの作成」をご参照ください。
ApsaraDB RDS for MySQL インスタンスは、Flink ワークスペースおよび Hologres インスタンスと同じ VPC 内にある必要があります。
-
データベースとアカウントを作成します。
ターゲットインスタンスに、
order_dwという名前のデータベースと、そのデータベースに対する読み取り/書き込み権限を持つ標準アカウントを作成します。 詳細については、「データベースの作成」および「アカウントの作成」をご参照ください。 -
MySQL CDC データソースを準備します。
-
インスタンス詳細ページで、[Log On to Database] をクリックします。
-
ログオンページで、作成したデータベースアカウントのユーザー名とパスワードを入力し、[Log On] をクリックします。
-
ログオン後、
order_dwデータベースをダブルクリックして切り替えます。 -
SQL コンソールで、次の DDL ステートメントを入力して業務テーブルを作成し、INSERT ステートメントでデータを投入します。
CREATE TABLE `orders` ( order_id bigint not null primary key, user_id varchar(50) not null, shop_id bigint not null, product_id bigint not null, buy_fee numeric(20,2) not null, create_time timestamp not null, update_time timestamp not null default now(), state int not null ); CREATE TABLE `orders_pay` ( pay_id bigint not null primary key, order_id bigint not null, pay_platform int not null, create_time timestamp not null ); CREATE TABLE `product_catalog` ( product_id bigint not null primary key, catalog_name varchar(50) not null ); -- データを準備します。 INSERT INTO product_catalog VALUES(1, 'phone_aaa'),(2, 'phone_bbb'),(3, 'phone_ccc'),(4, 'phone_ddd'),(5, 'phone_eee'); INSERT INTO orders VALUES (100001, 'user_001', 12345, 1, 5000.05, '2023-02-15 16:40:56', '2023-02-15 18:42:56', 1), (100002, 'user_002', 12346, 2, 4000.04, '2023-02-15 15:40:56', '2023-02-15 18:42:56', 1), (100003, 'user_003', 12347, 3, 3000.03, '2023-02-15 14:40:56', '2023-02-15 18:42:56', 1), (100004, 'user_001', 12347, 4, 2000.02, '2023-02-15 13:40:56', '2023-02-15 18:42:56', 1), (100005, 'user_002', 12348, 5, 1000.01, '2023-02-15 12:40:56', '2023-02-15 18:42:56', 1), (100006, 'user_001', 12348, 1, 1000.01, '2023-02-15 11:40:56', '2023-02-15 18:42:56', 1), (100007, 'user_003', 12347, 4, 2000.02, '2023-02-15 10:40:56', '2023-02-15 18:42:56', 1); INSERT INTO orders_pay VALUES (2001, 100001, 1, '2023-02-15 17:40:56'), (2002, 100002, 1, '2023-02-15 17:40:56'), (2003, 100003, 0, '2023-02-15 17:40:56'), (2004, 100004, 0, '2023-02-15 17:40:56'), (2005, 100005, 0, '2023-02-15 18:40:56'), (2006, 100006, 0, '2023-02-15 18:40:56'), (2007, 100007, 0, '2023-02-15 18:40:56');
-
-
[Execute] をクリックし、次に [Direct Execution] をクリックします。
Hologres インスタンスとコンピューティンググループの作成
-
専用の Hologres インスタンスを購入します。 詳細については、「Hologres インスタンスの購入」をご参照ください。
Hologres インスタンスは、ApsaraDB RDS for MySQL インスタンスと同じ VPC 内にある必要があります。 読み書き分離による強力なリソース隔離を実現するため、この例では [仮想ウェアハウス] インスタンスタイプを使用し、[予約済みコンピューティングリソース] を 64 に設定して、追加のコンピューティンググループを作成できるようにします。
-
インスタンスにログオンした後、データベースを作成し、権限を付与します。
order_dw という名前のデータベース (シンプル権限モデルを有効) を作成し、ユーザーに管理者権限を付与します。 データベースの管理と権限付与の詳細については、「データベースの管理」をご参照ください。
説明-
[User] ドロップダウンリストにアカウントが見つからない場合、そのアカウントはインスタンスに追加されていません。 [User Management] ページに移動し、ユーザーをスーパーユーザーとして追加します。
-
Hologres V2.0 以降では、バイナリロギング拡張機能はデフォルトで有効になっています。 手動で有効にする必要はありません。
-
-
新しいコンピューティンググループを作成します。
異なるコンピューティンググループを使用してリソースを隔離できます。 データの書き込みには初期コンピューティンググループ
init_warehouseを使用し、クエリの実行にはread_warehouse_1コンピューティンググループを使用します。すべての予約済みコンピューティングリソースは、デフォルトで初期コンピューティンググループ
init_warehouseに割り当てられます。 新しいコンピューティンググループを作成する前に、まずそのリソースを削減する必要があります。 詳細については、「新しいコンピューティンググループインスタンスの作成」をご参照ください。-
に移動し、インスタンス名を確認します。
-
init_warehouseコンピューティンググループの行で、[Actions] 列の [Modify Configuration] をクリックします。 割り当てられたリソースを削減し、[OK] をクリックします。 -
[Create Compute Group] をクリックし、
read_warehouse_1という名前の新しいコンピューティンググループを作成し、[OK] をクリックします。
-
Flink ワークスペースとカタログの作成
-
Flink ワークスペースを作成します。 詳細については、「Realtime Compute for Apache Flink のアクティブ化」をご参照ください。
Flink ワークスペースは、ApsaraDB RDS for MySQL および Hologres インスタンスと同じ VPC 内にある必要があります。
-
Realtime Compute for Apache Flink コンソールにログオンし、ワークスペースの [Actions] 列にある [Console] をクリックします。
-
セッションクラスターを作成して、カタログの作成とスクリプトの実行のための実行環境を提供します。 詳細については、「ステップ 1:セッションクラスターの作成」をご参照ください。
-
Hologres カタログを作成します。
ページで、[Scripts] タブ内の次のコードをコピーし、プレースホルダーの値を置き換え、コードを選択してから [Run] をクリックします。 これにより、作成したセッションクラスターが実行環境として使用されます。
CREATE CATALOG dw WITH ( 'type' = 'hologres', 'endpoint' = '<ENDPOINT>', 'username' = 'BASIC$flinktest', 'password' = '${secret_values.holosecrect}', 'dbname' = 'order_dw@init_warehouse', -- データベース名を指定し、init_warehouse コンピューティンググループに接続します。 'binlog' = 'true', -- カタログ作成時に、ソース、ディメンション、結果テーブルのデフォルトの WITH オプションを設定できます。 このカタログ配下に作成されたテーブルは、これらのデフォルトを継承します。 'sdkMode' = 'jdbc', -- jdbc モードを推奨します。 'cdcmode' = 'true', 'connectionpoolname' = 'the_conn_pool', 'ignoredelete' = 'true', -- ワイドテーブルマージでリトラクションを防ぐために必要です。 'partial-insert.enabled' = 'true', -- ワイドテーブルマージで列の部分更新を有効にするために必要です。 'mutateType' = 'insertOrUpdate', -- ワイドテーブルマージで列の部分更新を有効にするために必要です。 'table_property.binlog.level' = 'replica', -- カタログ作成時に、永続的な Hologres テーブルプロパティを渡すこともできます。 以降に作成されるテーブルでは、デフォルトでバイナリロギングが有効になります。 'table_property.binlog.ttl' = '259200' );次のパラメーターを、実際の Hologres サービス情報に合わせて変更します。
パラメーター
説明
備考
endpoint
Hologres インスタンスのエンドポイント。
Hologres インスタンスの詳細ページで、指定された VPC のドメイン名を取得します。 ドメイン名の詳細については、「エンドポイント」をご参照ください。
username
次のいずれかを選択します:
-
カスタムアカウントのユーザー名は
BASIC$<user_name>の形式である必要があります。 -
Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。
-
設定するユーザーは、対応する Hologres データベースにアクセスできる必要があります。 詳細については、「Hologres 権限モデル」および「ユーザーの管理」をご参照ください。
-
この例では、
BASIC$flinktestという名前のカスタムアカウントを使用し、パスワードをプレーンテキストで保存するセキュリティリスクを回避するために、holosecrect という名前のプロジェクト変数を使用してパスワードを設定します。 詳細については、「プロジェクト変数」をご参照ください。
password
-
カスタムアカウントのパスワード。
-
Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey Secret。
説明カタログを作成する際に、ソース、ディメンション、結果テーブルのデフォルトの WITH オプションを設定できます。 また、
table_propertyで始まるパラメーターなど、物理的な Hologres テーブルのデフォルトプロパティも設定できます。 詳細については、「Hologres カタログの管理」および「リアルタイムデータウェアハウス向け Hologres コネクタ (WITH パラメーター)」をご参照ください。 -
ステップ 2:リアルタイムデータウェアハウスの構築
ODS 層の構築:業務データのインジェスト
Flink CDC データインジェストジョブ を使用すると、データベースの完全同期機能を使用して ODS 層を 1 ステップで作成できます。ODS 層は通常、OLAP クエリやポイントクエリに直接使用されるのではなく、ストリーミングジョブのイベントソースとして機能します。そのためには、バイナリロギングを有効にするだけで十分です。バイナリロギングは Hologres のコア機能です。Hologres コネクタは、フル+増分モードもサポートしています。最初にフルスナップショットを読み取り、その後バイナリログを増分的に読み取ります。
-
ODS データインジェスト YAML ジョブを作成します。
-
ページで、ODS という名前のデータインジェスト YAML 下書きを作成し、次のコードを YAML エディタにコピーします。エンジンバージョンとして VVR 11.1 を選択することを推奨します。 VVR 8.x を使用する場合は、VVR 8.0.11 を選択してください。詳細については、「Flink CDC データインジェストジョブの開発」をご参照ください。
source: type: mysql name: MySQL Source # MySQL インスタンスの内部エンドポイント。 hostname: <hostname> port: 3306 username: <username> password: ${secret_values.mysql_pw} # order_dw データベース内のすべてのテーブルを同期します。必要に応じてインジェストするテーブルを指定できます。 tables: order_dw.\.* # MySQL CDC インスタンスの server-id 範囲。 server-id: 8001-8004 sink: type: hologres name: Hologres Sink endpoint: <ENDPOINT> dbname: order_dw username: BASIC$flinktest password: ${secret_values.holosecrect} # テーブル作成時にバイナリロギングを有効にし、下流の DWD ジョブがバイナリログを読み取れるようにします。 table_property.binlog.level: replica table_property.binlog.ttl: 259200 pipeline: name: MySQL to Hologres ODS次のソースパラメータを、実際の MySQL サービスの情報で更新してください。
パラメータ
説明
hostname
MySQL データベースの IP アドレスまたはホスト名。データベースの基本情報ページで、[Network Type] エリアの [View Connection Details] をクリックして内部エンドポイントを取得します。
port
MySQL データベースサービスのポート番号。デフォルト値は 3306 です。
username
MySQL データベースサービスのユーザー名。
password
MySQL データベースサービスのパスワード。
この例では、プレーンテキストで記述されるのを避けるため、
mysql_pwという名前の変数をパスワードに使用しています。詳細については、「変数の管理」をご参照ください。シンクの endpoint、username、password には、ステップ 1 で作成した Hologres カタログと同じ値を設定します。dbname には、宛先の Hologres データベース名を設定します。dbname でコンピューティンググループを指定しない場合、Hologres は書き込みリクエストをインスタンスのデフォルトコンピューティンググループにルーティングします。この例では init_warehouse です。 これは、Hologres カタログが書き込みに使用するコンピューティンググループでもあります。
説明-
デフォルトでは、この例は
order_dwデータベースの Public スキーマにデータを同期します。 ジョブは結果テーブルを自動的に作成するため、事前に作成する必要はありません。宛先の Hologres データベース内の指定されたスキーマにデータを同期するには、route セクションでソーステーブルとシンクテーブル間のマッピングを構成してください。詳細については、「指定されたスキーマへの同期」をご参照ください。 -
列の追加、削除、名前変更など、ソーステーブルのテーブルスキーマの変更は、デフォルトの LENIENT ポリシーに基づいて結果テーブルに同期されます。各タイプの変更がどのように処理されるかの詳細については、「テーブルスキーマの同期」をご参照ください。
-
-
右上隅の [Deploy] をクリックして、ジョブをデプロイします。
-
左側メニューで、 を選択します。デプロイしたばかりの ODS ジョブの行で、[Actions] 列の [Start] をクリックします。[Initial Mode] を選択してから、[Start] をクリックします。
-
-
コンピューティンググループにデータをロードします。
テーブルグループは Hologres でデータを格納する単位です。 read_warehouse_1 コンピューティンググループを使用して order_dw データベース内のテーブルグループ (order_dw_tg_default など) からデータをクエリすると (テーブルグループの作成については、「テーブルグループ管理」をご参照ください)、order_dw_tg_default テーブルグループが read_warehouse_1 コンピューティンググループにロードされます。これにより、
init_warehouseコンピューティンググループを使用してデータを書き込み、read_warehouse_1コンピューティンググループをサービスクエリに使用できます。HoloWeb 開発ページで、[SQL Editor] をクリックします。インスタンス名とデータベース名を確認してから、次のコマンドを実行します。詳細については、「新しいコンピューティンググループインスタンスの作成」をご参照ください。ロード後、
read_warehouse_1にorder_dw_tg_defaultテーブルグループのデータがロードされたことを確認できます。-- 現在のデータベース内のテーブルグループを一覧表示します。 SELECT tablegroup_name FROM hologres.hg_table_group_properties GROUP BY tablegroup_name; -- テーブルグループをコンピューティンググループにロードします。 CALL hg_table_group_load_to_warehouse ('order_dw.order_dw_tg_default', 'read_warehouse_1', 1); -- コンピューティンググループにロードされたテーブルグループを確認します。 select * from hologres.hg_warehouse_table_groups; -
右上隅で、コンピューティンググループを
read_warehouse_1に切り替えます。以降のクエリと分析では、このコンピューティンググループを使用します。HoloWeb ページの右上隅で、コンピューティンググループのドロップダウンリストから
read_warehouse_1を選択します。 -
[SQL Editor] ページで、次のコマンドを実行して、MySQL から 3 つの Hologres テーブルに同期されたデータを確認します。
-- orders テーブルからデータをクエリします。 SELECT * FROM orders; -- orders_pay テーブルからデータをクエリします。 SELECT * FROM orders_pay; -- product_catalog テーブルからデータをクエリします。 SELECT * FROM product_catalog;product_catalogテーブルのクエリ結果には、product_id (1 から 5) と catalog_name (phone_aaa、phone_bbb、phone_ccc、phone_ddd、phone_eee) の 2 つの列が含まれ、合計 5 件のレコードがあります。これは、データが Hologres に正常に同期されたことを示しています。
DWD 層の構築:リアルタイムワイドテーブルの作成
このステップでは、Hologres コネクタの列の部分更新機能を使用します。 INSERT DML で部分更新を表現できます。ジョブは、Hologres の行ストレージと行指向・列指向のハイブリッドストレージが実現する高性能なポイントクエリを使用して複数のディメンションテーブルをクエリします。 強力なリソース分離により、書き込み、読み取り、分析のワークロードが互いに干渉することはありません。
-
Flink カタログ機能を使用して、Hologres に DWD 層ワイドテーブル
dwd_ordersを作成します。ページで、次のコードを [Scripts] タブにコピーし、コードを選択してから [Run] をクリックします。
-- 異なるストリームが同じ結果テーブルに書き込むため、ワイドテーブルの列は NULL 許容である必要があります。どの列も NULL になる可能性があります。 CREATE TABLE dw.order_dw.dwd_orders ( order_id bigint not null, order_user_id string, order_shop_id bigint, order_product_id bigint, order_product_catalog_name string, order_fee numeric(20,2), order_create_time timestamp, order_update_time timestamp, order_state int, pay_id bigint, pay_platform int comment 'プラットフォーム 0: phone、1: pc', pay_create_time timestamp, PRIMARY KEY(order_id) NOT ENFORCED ); -- カタログを通じて Hologres 物理テーブルのプロパティを変更できます。 ALTER TABLE dw.order_dw.dwd_orders SET ( 'table_property.binlog.ttl' = '604800' -- バイナリログの TTL を 1 週間に変更します。 ); -
ODS 層テーブル
ordersおよびorders_payからバイナリログの変更をリアルタイムで読み取ります。ページで、DWD という名前の新しい SQL ストリームジョブの下書きを作成します。次のコードを SQL エディタにコピーし、ジョブを [Deploy] してから [Start] します。 この SQL ジョブは、テンポラル結合を使用して
ordersテーブルとproduct_catalogテーブルを結合し、結果をdwd_ordersテーブルに書き込み、データをリアルタイムでエンリッチします。BEGIN STATEMENT SET; INSERT INTO dw.order_dw.dwd_orders ( order_id, order_user_id, order_shop_id, order_product_id, order_fee, order_create_time, order_update_time, order_state, order_product_catalog_name ) SELECT o.*, dim.catalog_name FROM dw.order_dw.orders as o LEFT JOIN dw.order_dw.product_catalog FOR SYSTEM_TIME AS OF proctime() AS dim ON o.product_id = dim.product_id; INSERT INTO dw.order_dw.dwd_orders (pay_id, order_id, pay_platform, pay_create_time) SELECT * FROM dw.order_dw.orders_pay; END; -
dwd_ordersワイドテーブルのデータを確認します。HoloWeb 開発ページで Hologres インスタンスに接続し、対象のデータベースにログインしてから、SQL Editor で次のコマンドを実行します。
SELECT * FROM dwd_orders;実行が成功すると、クエリ結果として dwd_orders ワイドテーブルのデータが返されます。これには、order_id、order_user_id、order_shop_id、order_product_id、order_product_catalog_name、order_fee、order_create_time、order_update_time などのフィールドが含まれます。
DWS 層の構築:リアルタイムメトリクスの計算
-
Flink カタログ機能を使用して、Hologres に DWS 層集計テーブル
dws_usersおよびdws_shopsを作成します。ページで、次のコードを [Scripts] タブにコピーし、コードを選択してから [Run] をクリックします。
-- ユーザーディメンションの集計テーブル。 CREATE TABLE dw.order_dw.dws_users ( user_id string not null, ds string not null, paied_buy_fee_sum numeric(20,2) not null comment 'その日に完了した支払いの合計金額', primary key(user_id, ds) NOT ENFORCED ); -- ショップディメンションの集計テーブル。 CREATE TABLE dw.order_dw.dws_shops ( shop_id bigint not null, ds string not null, paied_buy_fee_sum numeric(20,2) not null comment 'その日に完了した支払いの合計金額', primary key(shop_id, ds) NOT ENFORCED ); -
DWD 層ワイドテーブル
dw.order_dw.dwd_ordersをリアルタイムで読み取り、Flink で集計を実行してから、最終結果を Hologres の DWS テーブルに書き込みます。ページで、DWS という名前の新しい SQL ストリームジョブの下書きを作成します。次のコードを SQL エディタにコピーし、ジョブを [Deploy] してから [Start] します。
BEGIN STATEMENT SET; INSERT INTO dw.order_dw.dws_users SELECT order_user_id, DATE_FORMAT (pay_create_time, 'yyyyMMdd') as ds, SUM (order_fee) FROM dw.order_dw.dwd_orders c WHERE pay_id IS NOT NULL AND order_fee IS NOT NULL -- 注文と支払いの両方のデータが揃ったレコードをフィルタリングします。 GROUP BY order_user_id, DATE_FORMAT (pay_create_time, 'yyyyMMdd'); INSERT INTO dw.order_dw.dws_shops SELECT order_shop_id, DATE_FORMAT (pay_create_time, 'yyyyMMdd') as ds, SUM (order_fee) FROM dw.order_dw.dwd_orders c WHERE pay_id IS NOT NULL AND order_fee IS NOT NULL -- 注文と支払いの両方のデータが揃ったレコードをフィルタリングします。 GROUP BY order_shop_id, DATE_FORMAT (pay_create_time, 'yyyyMMdd'); END; -
DWS 層の集計結果を確認します。 結果は、アップストリームデータの変更に応じてリアルタイムで更新されます。
-
変更前の Hologres コンソールでデータを確認します。
dws_users テーブル
SELECT * FROM dws_users;クエリを実行すると、結果として dws_users テーブルのデータが返されます。 これには、user_id、ds、paied_buy_fee_sum の 3 つの列が含まれます。 この例の結果では、user_id 列に
user_001、user_002、user_003の値が含まれ、ds 列に20230215の値が含まれ、paied_buy_fee_sum 列にそれぞれ8000.08、5000.05、5000.05の値が含まれます。dws_shops テーブル
SELECT * FROM dws_shops;クエリ結果は、
dws_shopsテーブルに shop_id (ショップ ID)、ds (日付パーティション)、paied_buy_fee_sum (支払い金額) の 3 つの列が含まれていることを示しています。 4 行のサンプルデータが返され、DWS 層テーブルが正常に構築されたことを確認できます。 -
RDS コンソールで、
order_dwデータベースのordersテーブルとorders_payテーブルにそれぞれ新しいレコードを 1 件挿入します。INSERT INTO orders VALUES (100008, 'user_003', 12345, 5, 6000.02, '2023-02-15 09:40:56', '2023-02-15 18:42:56', 1); INSERT INTO orders_pay VALUES (2008, 100008, 1, '2023-02-15 19:40:56'); -
Hologres コンソールで更新されたデータを確認します。
dwd_orders テーブル
SELECT * FROM dwd_orders;クエリを実行すると、
dwd_ordersテーブルから 8 件の注文レコードが返されます。これには、order_id、order_user_id、order_shop_id、order_product_id、order_product_catalog_name、order_fee、order_create_time、order_update_time などのフィールドが含まれます。8 番目のレコード (order_id=100008、user_003、phone_eee、6000.02) が新しく書き込まれたデータです。dws_users テーブル
SELECT * FROM dws_users;クエリは、user_id、ds、paied_buy_fee_sum の 3 つの列を持つ 3 行の結果を返します:
user_001 / 20230215 / 8000.08、user_002 / 20230215 / 5000.05、user_003 / 20230215 / 11000.07。合計支払い金額が最も高いのは user_003 (11000.07) です。dws_shops テーブル
SELECT * FROM dws_shops;クエリを実行すると、結果には shop_id、ds、paied_buy_fee_sum の 3 つの列が含まれ、20230215 のショップ 12345、12346、12347、12348 の金額 (11000.07、4000.04、7000.07、2000.02) を示す 4 行のデータが返されます。 shop_id と paied_buy_fee_sum が主要なメトリクス列です。
-
データのプロファイリング
バイナリロギングが有効になっているため、データの変更を直接確認できます。 中間結果に対してアドホックな業務データ探索を実行したり、最終的な計算の正確性を検証したりする必要がある場合、このソリューションの各層は永続化されているため、中間プロセスを簡単に調べることができます。
ストリーミングモードのプロファイリング
Print コネクタを使用して、他の結果テーブルに出力されるメッセージが期待どおりであるかを確認できます。
-
ストリーミングデータプロファイリングジョブを作成して開始します。
ページで、Data-exploration という名前の新しい SQL ストリームジョブの下書きを作成します。次のコードを SQL エディタにコピーし、ジョブを [Deploy] してから [Start] します。
-- ストリーミングモードのプロファイリング。Print の出力にリアルタイムのデータ変更が表示されます。 CREATE TEMPORARY TABLE print_sink( order_id bigint not null, order_user_id string, order_shop_id bigint, order_product_id bigint, order_product_catalog_name string, order_fee numeric(20,2), order_create_time timestamp, order_update_time timestamp, order_state int, pay_id bigint, pay_platform int, pay_create_time timestamp, PRIMARY KEY(order_id) NOT ENFORCED ) WITH ( 'connector' = 'print' ); INSERT INTO print_sink SELECT * FROM dw.order_dw.dwd_orders /*+ OPTIONS('startTime'='2023-02-15 12:00:00') */ -- ここで、startTime はバイナリログの生成時刻です。 WHERE order_user_id = 'user_001'; -
データプロファイリングの結果を確認します。
詳細ページで、対象のジョブ名をクリックします。[ログ] タブで、[ログ] タブをクリックし、次に [実行中のタスクマネージャー] の下にある [Path, ID] リンクをクリックします。Stdout ページで、
user_001に関連するログ情報を検索します。ログ出力には、
+I(挿入)、-U(更新前)、+U(更新後) のプレフィックスが付いた CDC データ変更レコードが表示され、order_id、order_user_id、order_shop_id、order_fee、order_create_timeなどのフィールドが含まれます。
バッチモードのプロファイリング
バッチモードのプロファイリングでは、データを結果テーブルに書き込みません。 代わりに、現在の時点でのデータの最終状態を取得し、デバッグ出力で結果を直接表示できます。
ページで、SQL ストリームジョブの下書きを作成し、次のコードを SQL エディタにコピーしてから、[Debug] をクリックします。詳細については、「ジョブのデバッグ」をご参照ください。
Flink ジョブ開発ページのデバッグ結果は次のとおりです。
SELECT *
FROM dw.order_dw.dwd_orders /*+ OPTIONS('binlog'='false') */
WHERE order_user_id = 'user_001' and order_create_time > '2023-02-15 12:00:00'; -- バッチモードはフィルタープッシュダウンをサポートし、バッチジョブの実行効率を向上させます。
デバッグが完了すると、クエリ結果としてフィルター条件を満たす 2 件の注文レコードが返されます。 これには、order_id、order_user_id、order_shop_id、order_product_id、order_product_catalog_name、order_fee、order_create_time、order_update_time などのフィールドが含まれます。これにより、バッチモードのプロファイリング結果が期待どおりであることが確認できます。
ステップ 3:リアルタイムデータウェアハウスの利用
ステップ 2 では、Flink のカタログを使用して、Flink と Hologres に基づく階層型のリアルタイムデータウェアハウスを構築する方法を説明しました。以降では、いくつかのシンプルなアプリケーションシナリオを説明します。
ポイントクエリ
DWS 層の集計メトリクステーブルは、プライマリキーによるクエリで数百万 RPS をサポートします。
HoloWeb の開発ページで、次の SQL を実行して、特定の日付における特定ユーザーの消費額をクエリします。
-- holo sql
SELECT * FROM dws_users WHERE user_id ='user_001' AND ds = '20230215';
クエリ結果には、user_id、ds、paied_buy_fee_sum (消費額) の 3 列が返されます。user_001 の 20230215 における消費額は 10000.10 です。
OLAP クエリ
DWD 層のワイドテーブルで OLAP クエリを実行します。
HoloWeb の開発ページで、次の SQL を実行して、2023 年 2 月における特定顧客の特定の決済プラットフォームでの注文詳細をクエリします。
-- holo sql
SELECT * FROM dwd_orders
WHERE order_create_time >= '2023-02-01 00:00:00' and order_create_time < '2023-03-01 00:00:00'
AND order_user_id = 'user_001'
AND pay_platform = 0
ORDER BY order_create_time LIMIT 100;
クエリ結果には、order_id、order_user_id、order_shop_id、order_product_id、order_fee、order_create_time、order_update_time などのフィールドを含む 2 件の注文レコードが返されます。注文 ID の例は 100006 と 100004 です。
リアルタイムレポート
DWD 層のワイドテーブルのデータに基づいてリアルタイムレポートを生成します。Hologres のハイブリッド行列表ストレージと列指向テーブルは、優れた OLAP クエリ機能により、秒単位での応答が可能です。
HoloWeb の開発ページで、次の SQL を実行して、2023 年 2 月における各商品カテゴリの総注文数と注文総額をクエリします。
-- holo sql
SELECT
TO_CHAR(order_create_time, 'YYYYMMDD') AS order_create_date,
order_product_catalog_name,
COUNT(*),
SUM(order_fee)
FROM
dwd_orders
WHERE
order_create_time >= '2023-02-01 00:00:00' and order_create_time < '2023-03-01 00:00:00'
GROUP BY
order_create_date, order_product_catalog_name
ORDER BY
order_create_date, order_product_catalog_name;
SQL ステートメントを実行すると、[Result] タブに order_create_date、order_product_catalog_name、count、sum の 4 列からなるテーブルが表示されます。たとえば、20230215 の結果では、phone_aaa カテゴリは 2 件の注文で合計 6000.06、phone_bbb カテゴリは 1 件の注文で 4000.04 となり、同様に 5 つすべてのカテゴリの結果が表示されます。
リファレンス
-
関連シナリオのチュートリアル:
-
Hologres のバイナリロギング機能の詳細については、「Hologres バイナリログのサブスクライブ」をご参照ください。
-
Flink は、単一のジョブで複数の INSERT INTO 文をサポートしています。構文の詳細については、「INSERT INTO 文」をご参照ください。
-
Realtime Compute for Apache Flink は、さまざまなコネクタをサポートしています。詳細については、「サポートされているコネクタ」をご参照ください。