このトピックでは、Realtime Compute for Apache Flink (VVR) の SQL ジョブで Fluss テーブルの読み取り、処理結果の書き込み、ディメンションテーブルの結合を行う方法について説明します。
背景情報
Fluss は、Apache Paimon などのデータレイクフォーマットとシームレスに統合するレイクストリーム統合アーキテクチャを使用し、低レイテンシーのデータ処理を提供し、リアルタイムデータウェアハウスの構築と維持のコストを大幅に削減します。Fluss は、データストリームとレイクハウスの連携のための統一されたメカニズムを提供することで、企業がデータサイロを解消し、詳細な分析を加速させ、データレイク内でデータを効率的に共有するのに役立ちます。
|
カテゴリ |
説明 |
|
サポートされるタイプ |
ソーステーブル、ディメンションテーブル、結果テーブル。 |
|
実行モード |
ストリーミングモードとバッチモード。 |
|
データフォーマット |
まだサポートされていません。 |
|
API タイプ |
SQL。 |
|
結果テーブルの更新と削除のサポート |
はい。 |
カスタムカタログの作成
Fluss は VVR よりも速く進化します。VVR バージョンではまだリリースされていない Fluss カタログの機能を試すために、最新のカスタムカタログパッケージがここで提供されています。詳細については、「カスタムカタログの作成」をご参照ください。
SQL
Fluss コネクタは、SQL ジョブでソーステーブル、ディメンションテーブル、または結果テーブルとして使用できます。詳細については、「エンジン統合 - Flink」をご参照ください。
前提条件
-
対象の Fluss テーブルに対する読み取りおよび書き込み権限が必要です。詳細については、「Fluss クラスターへのアクセスの許可」をご参照ください。
-
Flink ワークスペースと Fluss クラスターは、同じ VPC 内にある必要があります。
-
Flink コンソールで Fluss カタログを作成済みであること。詳細については、「Fluss カタログの作成」をご参照ください。
主な特徴
Fluss コネクタは、以下の主な特徴を提供します:
|
特徴 |
説明 |
|
全量、増分、および全量・増分一括消費をサポートします。 |
|
|
Fluss は Flink SQL のバッチモードでの高速なデータ探索をサポートしており、データ開発、デバッグ、データ検証、トラブルシューティングに役立ちます。 |
|
|
Fluss プライマリキーテーブルは、Change Data Capture (CDC) ログサブスクリプションをネイティブにサポートしており、下流の Flink ジョブが変更イベント (INSERT、UPDATE_BEFORE、UPDATE_AFTER、DELETE) の完全なストリームをリアルタイムで消費できます。 |
|
|
効率的なキーバリュー (KV) ポイントルックアップとセカンダリインデックスルックアップをサポートしているため、Fluss は低レイテンシーのディメンションテーブル結合シナリオに最適です。 |
|
|
行全体ではなく、変更された列のデータのみを更新します。 |
|
|
この新しい結合ソリューションは、データ更新操作を Fluss テーブルにプッシュすることで、デュアルストリーム結合のセマンティクスを維持します。このプロセスにより、Flink のリソース消費が大幅に削減され、ジョブの安定性と実行効率が向上します。 |
|
|
Fluss プライマリキーテーブルでは、異なるマージエンジンを設定して、同じプライマリキーを持つレコードのマージ方法を制御できます。 |
|
|
リアルタイムストリームストレージ (Fluss) と、メタデータが Data Lake Formation (DLF) によって管理される Paimon ベースのデータレイクとの深い統合を提供します。この「1つのデータ、2つのビュー」モデルにより、単一の論理テーブルで低レイテンシーのリアルタイムデータアクセスと高スループットの履歴データ分析の両方を提供できます。 |
|
|
パーティションテーブルの作成、それらへの読み書き、およびパーティションの作成とクリーンアップの自動処理をサポートします。 |
|
|
進行中の読み書きジョブを中断することなく、動的に列を追加できます。 |
制限事項
-
ログテーブルは INSERT 操作のみをサポートし、UPDATE や DELETE はサポートしません。
-
プライマリキーテーブルは INSERT、UPDATE、DELETE 操作をサポートします。
-
ルックアップ結合は、プライマリキーテーブルでもあるディメンションテーブルでのみサポートされます。結合条件には、すべてのプライマリキーフィールドを含める必要があります。
-
Delta Join の場合、両方のテーブルが Fluss プライマリキーテーブルである必要があり、結合キーにはバケットキーを含める必要があります。
注意事項
-
Fluss テーブルには、プライマリキーがなく Kafka トピックに似たログテーブルと、プライマリキーがありアップサートセマンティクスをサポートするプライマリキーテーブルの 2 種類があります。ユースケースに最も適したテーブルタイプを選択してください。
-
本番環境では、最適な並列読み書き性能とバランスの取れたデータ分散を確保するために、
bucket.numを適切に設定してください。 -
パーティションテーブルの場合、データ量とクエリパターンに基づいてパーティショニング戦略を設計してください。適切な時間粒度 (日次や月次など) を選択し、
table.auto-partition.num-retentionパラメーターを使用して保持する履歴パーティションの数を制御し、メタデータの肥大化を防ぎます。プライマリキーテーブルに自然なパーティショニング特性 (時間やビジネスディメンションなど) を持つデータが含まれている場合は、すべてのデータを単一の非パーティション化テーブルに保存するのではなく、パーティションテーブルを使用してください。パーティションテーブルは、データライフサイクル管理を簡素化し、ストリーミングおよびバッチクエリのパーティションプルーニングを可能にし、不要なデータスキャンを大幅に削減してクエリ性能を向上させます。 -
Delta Join を使用する前に、Flink ジョブで必要な実行時パラメーターを設定して、この最適化を有効にしてください。
特徴
全量・増分消費
概要
Fluss プライマリキーテーブルは全量・増分消費をサポートします。システムはまずテーブルの完全な履歴スナップショットを読み取ります。スナップショットの読み取りが完了すると、自動的かつシームレスに増分ストリーム消費に切り替わります。このプロセスにより、データの完全性と一貫性が保証されます。
消費モード
scan.startup.mode パラメーターを使用して、消費開始点を制御できます。
|
モード |
説明 |
|
|
デフォルト。最初に完全なスナップショットを読み取り、次いで増分データを消費します。このモードは、完全な履歴データを必要とするシナリオに適しています。 |
|
|
完全なスナップショットを読み取らずに、利用可能な最も古いログオフセットからデータを消費します。 |
|
|
最新のオフセットからデータを消費します。ジョブ開始後に生成された新しいデータのみが消費されます。 |
|
|
特定のタイムスタンプからデータを消費します。このモードでは、 |
SQL の例
-- 全量・増分消費 (デフォルトモード)
SELECT * FROM `fluss_catalog`.`fluss_db`.orders;
-- ヒントを使用して特定のタイムスタンプから消費する
SELECT * FROM `fluss_catalog`.`fluss_db`.orders
/*+ OPTIONS('scan.startup.mode' = 'timestamp', 'scan.startup.timestamp' = '2025-01-01 00:00:00') */;
-- 最新のオフセットから消費する
SELECT * FROM `fluss_catalog`.`fluss_db`.orders
/*+ OPTIONS('scan.startup.mode' = 'latest') */;
CDC ログサブスクリプションと仮想テーブル
ログサブスクリプション
Fluss プライマリキーテーブルは、CDC (Change Data Capture) ログサブスクリプションをネイティブにサポートします。これにより、下流の Flink ジョブは、別の binlog 設定を必要とせずに、完全な変更ログストリーム (INSERT、UPDATE_BEFORE、UPDATE_AFTER、DELETE イベント) をリアルタイムで消費できます。
これは、次のことを意味します:
-
プライマリキーテーブルへのすべての変更は、自動的に CDC ログを生成します。
-
下流のアプリケーションは、プライマリキーテーブルを直接サブスクライブして、リアルタイムデータ同期やストリーミング ETL のための完全な変更ログストリームを受信できます。
SQL の例
-- プライマリキーテーブルを直接読み取り、CDC 変更ログストリームを取得する
SELECT * FROM `fluss_catalog`.`fluss_db`.orders;
-- 出力には、完全な INSERT、UPDATE、DELETE イベントが含まれます。
仮想テーブル
CDC ストリームを直接サブスクライブすることに加えて、Fluss は仮想テーブルメカニズムを提供します。ベーステーブル名に特定のサフィックスを追加することで、追加のデータストレージを必要とせずにメタデータ付きの変更ログにアクセスできます。システムはこれらの仮想テーブルを自動的に生成するため、手動で作成する必要はありません。
変更ログテーブル ($changelog)
この機能はプライマリキーテーブルと追加専用テーブルに適用され、メタデータ付きの生の変更ログストリームを提供します。
テーブル構造 (システムは元のテーブルスキーマに以下のメタデータ列を自動的に追加します):
|
メタデータ列 |
型 |
説明 |
|
|
STRING |
変更のタイプ。プライマリキーテーブルの場合、可能な値は |
|
|
BIGINT |
ログ内の変更のオフセット。 |
|
|
TIMESTAMP_LTZ |
変更のコミットタイムスタンプ。 |
SQL の例:
-- orders テーブルの $changelog 仮想テーブルを読み取る
SELECT * FROM `fluss_catalog`.`fluss_db`.`orders$changelog`;
-- ヒントを使用して最新のオフセットから消費する
SELECT * FROM `fluss_catalog`.`fluss_db`.`orders$changelog`
/*+ OPTIONS('scan.startup.mode' = 'latest') */;
-- delete イベントをフィルターする
SELECT * FROM `fluss_catalog`.`fluss_db`.`orders$changelog`
WHERE _change_type = 'delete';
Binlog テーブル ($binlog)
この機能はプライマリキーテーブルでのみ利用可能で、変更前後のイメージを含む Binlog フォーマットのデータを提供し、各変更前後のデータの状態を正確に取得しやすくします。
テーブル構造 (メタデータ列に加えて、完全な変更前後の行データがネストされた ROW 型で表示されます):
|
列 |
型 |
説明 |
|
|
STRING |
変更のタイプ。可能な値は |
|
|
BIGINT |
ログオフセット。 |
|
|
TIMESTAMP_LTZ |
コミットタイムスタンプ。 |
|
|
ROW |
変更前の行データ。 |
|
|
ROW |
変更後の行データ。 |
変更イベントのマッピング:
|
変更タイプ |
|
|
|
|
NULL |
新しい値 |
|
|
古い値 |
新しい値 |
|
|
古い値 |
NULL |
SQL の例:
-- users テーブルの $binlog 仮想テーブルを読み取る
SELECT * FROM `fluss_catalog`.`fluss_db`.`users$binlog`;
-- update イベントからフィールドの変更前後の値を取得する
SELECT
`before`.user_name AS old_name,
`after`.user_name AS new_name,
_commit_timestamp AS change_time
FROM `fluss_catalog`.`fluss_db`.`users$binlog`
WHERE _change_type = 'update';
制限事項
-
$changelog および $binlog テーブルは現在、プロジェクションプッシュダウン、パーティションプルーニング、述語プッシュダウンをサポートしていません。
-
$binlog テーブルはプライマリキーテーブルでのみ利用可能です。追加専用テーブルではサポートされていません。
-
仮想テーブルでサポートされている起動モードは
earliest(デフォルト)、latest、timestampです。fullモードはサポートされていません。
部分更新
概要
Fluss は部分更新をサポートしており、複数のデータストリームが同じワイドプライマリキーテーブルのそれぞれの列に独立して書き込むことができます。Fluss エンジンは、プライマリキーに基づいてレコードレベルでフィールドを自動的にマージします。このアプローチは、Flink で複雑なマルチストリーム結合状態を維持する必要性をなくし、大きなステートサイズに関連する問題を回避します。
ユースケース
典型的なユースケースは、リアルタイムのユーザープロファイルワイドテーブルの構築です。レコメンデーションシステム、インプレッションログ、クリックログ、ショッピングカートデータなどの異なるデータソースが、ユーザープロファイルテーブルのそれぞれのフィールドを更新できます。このプロセスにより、ユーザーの完全な 360 度ビューが作成されます。
制限事項
-
ターゲットテーブルはプライマリキーテーブルである必要があります。
-
各データストリームの書き込み操作には、すべてのプライマリキーフィールドを含める必要があります。
-
計算トポロジーにマルチストリーム結合ノードを含めることはできません。Fluss はマージ操作をストレージレイヤーで直接処理します。
SQL の例
-- 1. ワイドテーブルを作成する
CREATE TABLE IF NOT EXISTS `fluss_catalog`.fluss_db.user_rec_wide (
user_id STRING,
item_id STRING,
rec_score DOUBLE,
imp_cnt INT,
click_cnt INT,
PRIMARY KEY (user_id, item_id) NOT ENFORCED
) WITH ('bucket.num' = '3');
-- 2. 複数のストリームを使用してそれぞれのフィールドに書き込む
-- ストリーム 1: レコメンデーションスコアを書き込む
INSERT INTO `fluss_catalog`.fluss_db.user_rec_wide (user_id, item_id, rec_score)
SELECT user_id, item_id, rec_score
FROM `fluss_catalog`.fluss_db.recommendations;
-- ストリーム 2: インプレッション数を書き込む
INSERT INTO `fluss_catalog`.fluss_db.user_rec_wide (user_id, item_id, imp_cnt)
SELECT user_id, item_id, imp_cnt
FROM `fluss_catalog`.fluss_db.impressions;
-- ストリーム 3: クリック数を書き込む
INSERT INTO `fluss_catalog`.fluss_db.user_rec_wide (user_id, item_id, click_cnt)
SELECT user_id, item_id, click_cnt
FROM `fluss_catalog`.fluss_db.clicks;
上記の 3 つの INSERT 文は、別々の Flink ジョブとして実行できます。Fluss ストレージレイヤーは、同じプライマリキーのフィールドを自動的にマージして完全な行にします。
Delta Join
概要
Delta Join は、Fluss が提供する次世代のストリーム-ストリーム結合パラダイムです。データ更新操作を Fluss ストレージレイヤーにオフロードし、プライマリキーテーブルとセカンダリインデックスを効率的なルックアップに活用します。この設計により、Flink で結合状態を維持する必要がなくなります。
主な利点:
-
結合状態なし:冗長な状態ストレージを排除し、大きなステートサイズによるガベージコレクション (GC) の問題を回避します。
-
低リソース消費:テストでは、Flink のメモリと CPU の消費を 86% 以上削減します。
-
高い安定性と効率:状態の肥大化によるパフォーマンスのボトルネックを回避します。
従来の結合との比較
|
特徴 |
従来の Flink 結合 (Kafka 使用) |
Fluss Delta Join |
|
状態ストレージ |
Flink ですべての上流データをキャッシュする必要があります。 |
結合状態なし。Fluss インデックスに依存します。 |
|
リソース消費 |
大きな状態による頻繁な GC のため、高いです。 |
低い |
|
安定性 |
状態の肥大化による問題が発生しやすいです。 |
より安定しています |
|
メカニズム |
両方のストリームからの更新が結合を駆動します。 |
Fluss は更新をそのストレージレイヤーにオフロードします。 |
|
ユースケース |
汎用のストリーム-ストリーム結合。 |
Fluss プライマリキーテーブル間の効率的な結合。 |
制限事項
-
左テーブルと右テーブルの両方が Fluss プライマリキーテーブルである必要があります (パーティションテーブルはサポートされています)。
-
バケットキーはプライマリキーのプレフィックスである必要があります。
-
結合キーにはバケットキーを含める必要があります。パーティションテーブルの場合、パーティションキーも含まれている必要があります。
SQL の例
1. テーブルの作成
CREATE TABLE orders (
user_id BIGINT,
order_date DATE,
order_id BIGINT,
amount DECIMAL(10, 2),
PRIMARY KEY (user_id, order_id, order_date) NOT ENFORCED
) WITH ('bucket.key' = 'user_id, order_id');
CREATE TABLE order_enhance (
user_id BIGINT,
order_id BIGINT,
risk_level TINYINT,
is_fraud BOOLEAN,
update_time TIMESTAMP(3),
PRIMARY KEY (user_id, order_id) NOT ENFORCED
) WITH ('bucket.key' = 'user_id, order_id');
2. Delta Join の実行
SELECT * FROM orders o
INNER JOIN order_enhance e
ON o.user_id = e.user_id AND o.order_id = e.order_id;
3. ヒントを使用したルックアップ性能の最適化
SELECT * FROM orders o /*+ OPTIONS('client.lookup.queue-size'='2560') */
INNER JOIN order_enhance e /*+ OPTIONS('client.lookup.queue-size'='2560') */
ON o.user_id = e.user_id AND o.order_id = e.order_id;
ジョブパラメーターの設定
Delta Join を使用するには、Flink ジョブの実行時パラメーターに以下の設定を追加します:
table.exec.delta-join.cache-enabled: 'true'
table.exec.async-lookup.buffer-capacity: '3000'
table.optimizer.delta-join.strategy: FORCE
table.exec.delta-join.left.cache-size: '100'
table.exec.delta-join.right.cache-size: '1000'
|
パラメーター |
説明 |
|
|
|
|
|
非同期リクエストのバッファー容量。この値は数千に設定することを推奨します。 |
|
|
ローカルキャッシュを有効にして、Fluss へのリクエストを削減します。 |
|
|
左テーブル用にキャッシュするキーの数。メモリとホットデータパターンに基づいてこの値を調整します。 |
|
|
右テーブル用にキャッシュするキーの数。メモリとホットデータパターンに基づいてこの値を調整します。 |
Delta Join を有効にすると、Flink ジョブの概要に Delta Join ノードが表示され、最適化がアクティブであることを示します。
ルックアップ結合 (ディメンションテーブル結合)
概要
Fluss プライマリキーテーブルを Flink SQL のディメンションテーブルとして使用できます。ルックアップ結合により、ストリーミングデータをリアルタイムでディメンションデータで補強できます。Fluss は効率的な KV ポイントルックアップとセカンダリインデックス検索をサポートしており、低レイテンシーのディメンションテーブル結合シナリオに適しています。
制限事項
-
ディメンションテーブルとして使用できるのはプライマリキーテーブルのみです。
-
結合条件には、ディメンションテーブルのすべてのプライマリキーフィールドを含める必要があります。
同期モードと非同期モード
|
モード |
設定 |
説明 |
|
非同期 (デフォルト) |
|
高スループットを提供します。ほとんどのユースケースで推奨されます。 |
|
同期 |
|
レコードを順次クエリします。デバッグや低同時実行数シナリオに適しています。 |
SQL の例
-- ヒントを使用してルックアップキャッシュを設定し、ディメンションテーブル結合を実行する
SELECT
o.order_id,
o.amount,
u.user_name,
p.product_name
FROM `fluss_catalog`.`fluss_db`.orders AS o
LEFT JOIN `fluss_catalog`.`fluss_db`.user_dim
/*+ OPTIONS('lookup.cache' = 'PARTIAL', 'lookup.partial-cache.expire-after-write' = '60s', 'lookup.partial-cache.max-rows' = '10000') */
FOR SYSTEM_TIME AS OF o.proctime AS u
ON o.user_id = u.user_id
LEFT JOIN `fluss_catalog`.`fluss_db`.product_dim
FOR SYSTEM_TIME AS OF o.proctime AS p
ON o.product_id = p.product_id;
-- 同期ルックアップモードを使用する (デバッグに適している)
SELECT o.order_id, o.amount, d.user_name
FROM `fluss_catalog`.`fluss_db`.orders AS o
LEFT JOIN `fluss_catalog`.`fluss_db`.user_dim
/*+ OPTIONS('lookup.async' = 'false') */
FOR SYSTEM_TIME AS OF o.proctime AS d
ON o.user_id = d.user_id;
マージエンジン
概要
Fluss プライマリキーテーブルでは、マージエンジンを設定して、システムが同じプライマリキーを持つレコードをどのようにマージするかを制御できます。table.merge-engine パラメーターを使用して、以下の戦略のいずれかを選択します:
|
マージエンジン |
説明 |
|
|
最後に書き込まれたレコードを保持します。後のデータが前のデータを上書きします。このエンジンは、ほとんどのアップサートシナリオに適しています。 |
|
|
最初に書き込まれたレコードを保持し、同じプライマリキーを持つ後続のデータを無視します。このエンジンは、ログの重複排除などの重複排除シナリオに適しています。 |
|
|
指定されたバージョン列から最も高いバージョン番号を持つレコードを保持します。 |
SQL の例
-- 重複排除のために first_row を使用する
CREATE TABLE IF NOT EXISTS `fluss_catalog`.fluss_db.event_dedup (
event_id STRING,
event_type STRING,
event_time TIMESTAMP(3),
payload STRING,
PRIMARY KEY (event_id) NOT ENFORCED
) WITH (
'table.merge-engine' = 'first_row'
);
-- versioned を使用してバージョン列に基づいて更新する
CREATE TABLE IF NOT EXISTS `fluss_catalog`.fluss_db.user_profile (
user_id BIGINT,
user_name STRING,
age INT,
update_version BIGINT,
PRIMARY KEY (user_id) NOT ENFORCED
) WITH (
'table.merge-engine' = 'versioned',
'table.merge-engine.versioned.ver-column' = 'update_version'
);
パーティションテーブル
概要
Fluss はパーティションテーブルをサポートします。PARTITIONED BY を使用して、パーティションキーに基づいてデータを異なる物理パーティションに分割できます。これは、時間やビジネスディメンションに基づいてデータライフサイクルを管理し、クエリ性能を向上させるのに理想的です。パーティションテーブルは単一フィールドパーティショニングと複数フィールドパーティショニングをサポートし、手動管理、自動管理、動的作成という 3 つの直交するパーティション管理戦略を提供します。
基本ルール
-
パーティションキーのデータ型は STRING である必要があります。
-
プライマリキーテーブルの場合、パーティションキーはプライマリキーのサブセットである必要があります。
-
自動パーティショニングルールはテーブル作成時にのみ設定でき、後で変更することはできません。
パーティション管理戦略
|
戦略 |
説明 |
|
手動管理 |
|
|
自動管理 |
システムは時間ベースのルールに基づいて新しいパーティションを自動的に作成し、期限切れの履歴パーティションをクリーンアップします。この戦略は、継続的な時間ベースのデータインジェストに適しています。 |
|
動的作成 |
データが書き込まれる際、ターゲットパーティションが存在しない場合、クライアントは自動的に作成します。この戦略は、パーティション値が予測不可能なシナリオに適しています。 |
これら 3 つの戦略は直交しており、組み合わせて使用できます。たとえば、時間ベースの作成とクリーンアップのための自動管理と、事前作成されなかったパーティションを処理するためのフォールバックとしての動的作成の両方を有効にすることができます。
SQL の例
1. 自動パーティション管理を持つ単一フィールドパーティションテーブルの作成
CREATE TABLE `fluss_catalog`.fluss_db.site_access (
site_id BIGINT,
user_name STRING,
pv BIGINT,
event_day STRING,
PRIMARY KEY (site_id, event_day) NOT ENFORCED
) PARTITIONED BY (event_day) WITH (
'table.auto-partition.enabled' = 'true',
'table.auto-partition.time-unit' = 'DAY',
'table.auto-partition.num-precreate' = '5',
'table.auto-partition.num-retention' = '30',
'table.auto-partition.time-zone' = 'Asia/Shanghai'
);
2. 複数フィールドパーティションテーブルの作成
CREATE TABLE `fluss_catalog`.fluss_db.region_access (
access_id BIGINT,
user_name STRING,
event_date STRING,
region STRING,
PRIMARY KEY (access_id, event_date, region) NOT ENFORCED
) PARTITIONED BY (event_date, region) WITH (
'table.auto-partition.enabled' = 'true',
'table.auto-partition.key' = 'event_date',
'table.auto-partition.time-unit' = 'DAY',
'table.auto-partition.num-retention' = '7'
);
注意:複数フィールドパーティショニングの場合、table.auto-partition.keyを使用して自動パーティショニングの時間ベースのキーを指定する必要があります。複数フィールドパーティショニングは、自動的な期限切れとクリーンアップのみをサポートし、自動的な事前作成はサポートしません。num-precreateパラメーターは強制的に 0 になります。
3. パーティションの手動管理
-- すべてのパーティションを表示する
SHOW PARTITIONS `fluss_catalog`.fluss_db.site_access;
-- パーティションを手動で追加する
ALTER TABLE `fluss_catalog`.fluss_db.site_access
ADD PARTITION (event_day = '20250315');
-- パーティションを手動で削除する
ALTER TABLE `fluss_catalog`.fluss_db.site_access
DROP PARTITION (event_day = '20250101');
4. パーティションの動的作成
データを書き込む際、ターゲットパーティションが存在しない場合、クライアントは自動的に作成します。この機能はデフォルトで有効になっています。
-- データを書き込む。パーティション '20250701' が存在しない場合、自動的に作成される。
INSERT INTO `fluss_catalog`.fluss_db.site_access
VALUES (1, 'hello', 100, '20250701');
client.writer.dynamic-create-partition.enabled クライアントパラメーター (デフォルト:true) が動的作成を制御します。これは、クラスターレベルの制限である max.partition.num (デフォルト:1000) と max.bucket.num (デフォルト:128000) の対象となります。
パーティションプルーニング
ストリーミングまたはバッチモードでパーティションテーブルをクエリする際、Fluss はパーティションプルーニングをサポートします。WHERE 句でパーティションキーをフィルタリングすることにより、クエリは一致するパーティションのみを読み取り、不要な I/O オーバーヘッドを削減します。
-- 特定の日付のパーティションのデータのみを読み取る
SELECT * FROM `fluss_catalog`.fluss_db.site_access
WHERE event_day = '20250315';
-- リージョンで複数フィールドパーティションテーブルをフィルターする
SELECT * FROM `fluss_catalog`.fluss_db.region_access
WHERE region = 'US';
自動パーティショニングパラメーター
|
パラメーター |
型 |
デフォルト |
説明 |
|
|
Boolean |
false |
自動パーティション管理を有効にするかどうかを指定します。 |
|
|
String |
なし |
複数フィールドパーティショニングの場合、自動パーティショニングの時間ベースのキーを指定します。このパラメーターは単一フィールドパーティショニングには不要です。 |
|
|
Enum |
DAY |
自動パーティショニングの時間粒度。有効な値は |
|
|
Integer |
2 |
事前に作成する将来のパーティションの数。複数フィールドパーティショニングではサポートされておらず、値は強制的に 0 になります。 |
|
|
Integer |
7 |
保持する履歴パーティションの数。この制限を超えた期限切れのパーティションは自動的に削除されます。 |
|
|
String |
システムタイムゾーン |
自動パーティショニングに使用されるタイムゾーン。 |
ベストプラクティス
-
適切なパーティション粒度の選択:データ量とクエリパターンに基づいて時間粒度を選択します。データ量が多く、クエリの時間範囲が狭い場合は、
DAYまたはHOURでのパーティショニングを推奨します。データ量が少ない場合は、MONTHまたはQUARTERでパーティショニングできます。 -
合理的な保持ポリシーの設定:
num-retentionを使用して履歴パーティションの数を制御します。これにより、メタデータの肥大化を回避し、過剰なパーティション数によるクラスター管理の負担を軽減します。 -
自動管理と動的作成の組み合わせ:定期的な時間ベースのパーティション作成とクリーンアップには自動管理を使用し、異常なデータや遅延データを処理するためのフォールバックとして動的作成を使用します。
-
クラスターの制限に注意:
max.partition.numパラメーター (デフォルト:1000) は、テーブルごとのパーティション数を制限します。クラスター内のバケットの総数はmax.bucket.num(デフォルト:128,000) によって制限されます。テーブル内のバケットの総数 (パーティション数 ×bucket.num) は、この制限を超えてはなりません。
ストリーミングクエリプッシュダウン
Fluss は、ログ転送にApache Arrow カラムナストレージフォーマットを使用します。これにより、フィルターおよびプロジェクション操作をストレージレイヤーにプッシュダウンすることがサポートされ、データ転送量を削減し、クエリ性能を最大 10 倍向上させることができます。
この機能は、以下のシナリオで特に効果的です:
-
ワイドテーブルから列のサブセットのみを読み取る (プロジェクションプッシュダウン)。
-
特定の条件に基づいて大量のデータをフィルタリングする (述語プッシュダウン)。
ログストレージフォーマットは table.log.format パラメーターによって制御され、デフォルトは ARROW です。
統合ストリームレイクアーキテクチャ
概要
Fluss は、Fluss から Apache Paimon などのデータレイクにリアルタイムデータを自動的に同期できる統合ストリームレイクアーキテクチャをサポートします。これにより、ホットデータとコールドデータの自動的な階層化ストレージが実現され、リアルタイムクエリの低レイテンシーと履歴データの低ストレージコストのバランスが取れます。
主な特徴:
-
Fluss から Paimon レイクストレージへのストリーミングデータの自動書き込み。
-
ホットデータとコールドデータの自動階層化。ホットデータは Fluss ストリームストレージに保持され、コールドデータは Paimon に移動されます。
-
ストリームストレージとレイクストレージの両方のデータに同時にアクセスするための統一された Flink SQL クエリインターフェイスの提供。
お使いのクラスターで 0.9-ali-7.0 以降が実行されており、かつレイクストリームが統合されたテーブルで UNION 読み取りを実行する場合、0.9-ali-7.0 以降へのクライアントのスペックアップも行う必要があります (Realtime Compute for Apache Flink エンジンバージョン VVR 11.10 以降に相当)。
設定パラメーター
|
パラメーター |
タイプ |
デフォルト |
説明 |
|
|
ブール値 |
false |
データレイクストレージ階層化を有効にします。 |
|
|
Enum |
クラスターのデフォルト |
データレイクフォーマット。現在、 |
|
|
整数 |
2 |
階層化ストレージを有効にした後、ローカルに保持するログセグメント数。 |
データ探索
概要
Fluss は、Flink SQL の バッチモード において、テーブルに対する迅速な データ探索 をサポートします。これには、LIMIT クエリ、プライマリキーポイントルックアップ、COUNT(*) 集約 が含まれます。継続的に実行されるストリーミングジョブを開始することなく、テーブル内のデータを迅速に表示できるため、開発、デバッグ、データ検証、トラブルシューティングに役立ちます。
LIMIT クエリ
プライマリキーテーブルと追加専用テーブルに対して LIMIT クエリを実行することで、データの小規模なサンプルを迅速に取得できます。
-- プライマリキーテーブルから最初の 10 レコードを表示
SELECT * FROM `fluss_catalog`.`fluss_db`.orders LIMIT 10;
-- 追加専用テーブルから最初の 5 レコードを表示
SELECT * FROM `fluss_catalog`.`fluss_db`.events LIMIT 5;
-- プロジェクションと組み合わせて特定の列のみを表示
SELECT order_id, amount, order_time
FROM `fluss_catalog`.`fluss_db`.orders LIMIT 20;
プライマリキーポイントルックアップ
プライマリキーテーブルでは、WHERE 句でプライマリキーを指定することにより、正確なポイントルックアップ を実行できます。これにより、Fluss KV ストレージエンジンを活用して、ミリ秒レベルの応答時間を実現します。
-- プライマリキーで単一レコードのポイントルックアップを実行
SELECT * FROM `fluss_catalog`.`fluss_db`.orders
WHERE order_id = 1001;
-- 複合プライマリキーでポイントルックアップを実行
SELECT * FROM `fluss_catalog`.`fluss_db`.user_orders
WHERE user_id = 12345 AND order_id = 6789;
COUNT(*) 集約
プライマリキーテーブルに対して COUNT(*) クエリを実行することで、レコードの総数を迅速に取得できます。
-- プライマリキーテーブルの総行数をカウント
SELECT COUNT(*) FROM `fluss_catalog`.`fluss_db`.orders;
WITH パラメーター
ストレージパラメーター
以下のパラメーターは、テーブルのメタデータに永続化されます。
|
パラメーター |
型 |
デフォルト値 |
必須 |
説明 |
|
|
Integer |
なし |
いいえ |
Fluss テーブルのバケット数です。このパラメーターは、データの読み取りと書き込みの並列性に影響します。デフォルト値は、クラスターの |
|
|
String |
なし |
いいえ |
ハッシュベースのデータ分散に使用される列。これらの列は、プライマリキーのサブセットである必要があります。複数の列を区切るには、カンマを使用します。 |
|
|
Duration |
7d |
いいえ |
ログデータの保持期間。 |
|
|
Integer |
クラスターのデフォルト |
いいえ |
ログテーブルのレプリケーション係数。この値は、タブレットサーバーの数を超えることはできません。 |
|
|
Enum |
ARROW |
いいえ |
ログのストレージフォーマット。オプションには、クエリプッシュダウンをサポートするカラムナフォーマットである |
|
|
Enum |
ZSTD |
いいえ |
ARROW フォーマットの圧縮タイプ。有効なオプションは、 |
|
|
Integer |
3 |
いいえ |
ZSTD 圧縮レベル (1〜22)。 |
|
|
Enum |
COMPACTED |
いいえ |
KV ストレージフォーマット。有効なオプションは、 |
|
|
Enum |
last_row |
いいえ |
プライマリキーテーブルのマージ戦略。有効なオプションは、 |
|
|
String |
なし |
条件付きで必須 |
|
|
|
Boolean |
false |
いいえ |
データレイクストレージ階層化を有効または無効にします。 |
|
|
Enum |
クラスターのデフォルト |
いいえ |
データレイクフォーマット。現在、 |
|
|
Integer |
2 |
いいえ |
階層化ストレージが有効になった後、ローカルに保持するログセグメントの数。 |
自動パーティション分割パラメーター
|
パラメーター |
型 |
デフォルト値 |
必須 |
説明 |
|
|
Boolean |
false |
いいえ |
自動パーティション作成を有効または無効にします。 |
|
|
Enum |
DAY |
いいえ |
自動パーティション分割の時間粒度。有効なオプションは、 |
|
|
Integer |
2 |
いいえ |
チェック中に事前作成する将来のパーティションの数。 |
|
|
Integer |
7 |
いいえ |
保持する履歴パーティションの数。古いパーティションは自動的に削除されます。 |
|
|
String |
システムのタイムゾーン |
いいえ |
自動パーティション分割に使用されるタイムゾーン。 |
読み取りパラメーター
以下のパラメーターは、WITH 句または SQL ヒントを介して構成できます。
|
パラメーター |
型 |
デフォルト値 |
必須 |
説明 |
|
|
Enum |
full |
いいえ |
消費開始モード。有効なオプションは、 |
|
|
Long/String |
なし |
条件付きで必須 |
開始タイムスタンプ。ミリ秒値または |
|
|
Duration |
1 minute |
いいえ |
新しいパーティションを自動的に検出する間隔。負の値を設定すると、自動検出が無効になります。 |
|
|
Boolean |
true |
いいえ |
データ整合性を確保するために、メッセージに対して CRC32 チェックを実行するかどうかを指定します。 |
|
|
Integer |
500 |
いいえ |
1 回の |
|
|
MemorySize |
16mb |
いいえ |
リクエストごとにサーバーからフェッチする最大バイト数。 |
|
|
MemorySize |
1mb |
いいえ |
1 回のリクエストでバケットごとにフェッチする最大バイト数。 |
|
|
MemorySize |
1b |
いいえ |
フェッチリクエストに対してサーバーが返す必要がある最小データサイズ。 |
|
|
Duration |
500ms |
いいえ |
最小バイト数に満たない場合にサーバーが待機する最大時間。 |
|
|
String |
システムの一時ディレクトリ |
いいえ |
スナップショットやログセグメントなど、一時ファイルを保存するためのローカルディレクトリ。 |
|
|
Integer |
4 |
いいえ |
プリフェッチするリモートログセグメントの数。 |
|
|
Integer |
3 |
いいえ |
リモートファイルのダウンロードに使用されるスレッド数。 |
書き込みパラメーター
以下のパラメーターは、WITH 句または SQL ヒントを介して構成できます。
|
パラメーター |
型 |
デフォルト値 |
必須 |
説明 |
|
|
Boolean |
false |
いいえ |
ソースからの |
|
|
Boolean |
true |
いいえ |
書き込み前にバケット ID でデータをシャッフルするかどうかを指定します。これにより、書き込みパフォーマンスが向上する場合があります。 |
|
|
MemorySize |
64mb |
いいえ |
行データ用の内部バッファーの合計メモリサイズ。 |
|
|
MemorySize |
2mb |
いいえ |
同じバケット内のレコードのターゲットバッチサイズ。 |
|
|
Duration |
Long.MAX |
いいえ |
利用可能なセグメントを待機している間にライターがブロックされる最大時間。 |
|
|
Duration |
100ms |
いいえ |
レコードをバッチで送信する前にバッファリングする最大時間。 |
|
|
Enum |
STICKY |
いいえ |
プライマリキーのないテーブルのバケット割り当て戦略。有効なオプションは、 |
|
|
String |
all |
いいえ |
書き込みの確認応答レベル。 |
|
|
MemorySize |
10mb |
いいえ |
1 回のリクエストの最大サイズ (バイト単位)。 |
|
|
Integer |
MAX_VALUE |
いいえ |
リトライ可能なエラーで失敗した送信をリトライする回数。 |
|
|
Boolean |
true |
いいえ |
べき等な書き込みを有効にします。これにより、1回限りのセマンティクスとメッセージ順序保証が提供されます。 |
|
|
Integer |
5 |
いいえ |
バケットごとの未処理のリクエストの最大数。このパラメーターは、べき等な書き込みが有効な場合にのみ適用されます。 |
ディメンションテーブルパラメーター
|
パラメーター |
型 |
デフォルト値 |
必須 |
説明 |
|
|
Boolean |
true |
いいえ |
非同期ルックアップを有効にします。これにより、ディメンションテーブル結合のスループットが向上する場合があります。 |
|
|
Enum |
NONE |
いいえ |
キャッシュポリシー。有効なオプションは、 |
|
|
Integer |
3 |
いいえ |
ルックアップが失敗した場合の最大リトライ回数。 |
|
|
Duration |
なし |
いいえ |
最終アクセス後のキャッシュの有効期限。 |
|
|
Duration |
なし |
いいえ |
最終書き込み後のキャッシュの有効期限。 |
|
|
Boolean |
true |
いいえ |
ディメンションテーブルに存在しないキーをキャッシュするかどうか (つまり、null 値をキャッシュするかどうか) を指定します。 |
|
|
Long |
なし |
いいえ |
キャッシュ内の最大行数。 |
|
|
Integer |
25600 |
いいえ |
保留中のルックアップ操作のキューのサイズ。 |
|
|
Integer |
128 |
いいえ |
複数のルックアップ操作を組み合わせるための最大バッチサイズ。 |
|
|
Integer |
128 |
いいえ |
インフライトルックアップリクエストの最大数。 |
|
|
Duration |
100ms |
いいえ |
ルックアップバッチが送信される前にいっぱいになるのを待つ最大時間。 |