すべてのプロダクト
Search
ドキュメントセンター

Realtime Compute for Apache Flink:Fluss SQL コネクタ

最終更新日:Oct 28, 2026

このトピックでは、Realtime Compute for Apache Flink (VVR) の SQL ジョブで Fluss テーブルの読み取り、処理結果の書き込み、ディメンションテーブルの結合を行う方法について説明します。

背景情報

Fluss は、Apache Paimon などのデータレイクフォーマットとシームレスに統合するレイクストリーム統合アーキテクチャを使用し、低レイテンシーのデータ処理を提供し、リアルタイムデータウェアハウスの構築と維持のコストを大幅に削減します。Fluss は、データストリームとレイクハウスの連携のための統一されたメカニズムを提供することで、企業がデータサイロを解消し、詳細な分析を加速させ、データレイク内でデータを効率的に共有するのに役立ちます。

カテゴリ

説明

サポートされるタイプ

ソーステーブル、ディメンションテーブル、結果テーブル。

実行モード

ストリーミングモードとバッチモード。

データフォーマット

まだサポートされていません。

API タイプ

SQL。

結果テーブルの更新と削除のサポート

はい。

カスタムカタログの作成

Fluss は VVR よりも速く進化します。VVR バージョンではまだリリースされていない Fluss カタログの機能を試すために、最新のカスタムカタログパッケージがここで提供されています。詳細については、「カスタムカタログの作成」をご参照ください。

SQL

Fluss コネクタは、SQL ジョブでソーステーブル、ディメンションテーブル、または結果テーブルとして使用できます。詳細については、「エンジン統合 - Flink」をご参照ください。

前提条件

  • 対象の Fluss テーブルに対する読み取りおよび書き込み権限が必要です。詳細については、「Fluss クラスターへのアクセスの許可」をご参照ください。

  • Flink ワークスペースと Fluss クラスターは、同じ VPC 内にある必要があります。

  • Flink コンソールで Fluss カタログを作成済みであること。詳細については、「Fluss カタログの作成」をご参照ください。

主な特徴

Fluss コネクタは、以下の主な特徴を提供します:

特徴

説明

全量・増分一括消費

全量、増分、および全量・増分一括消費をサポートします。

データ探索

Fluss は Flink SQL のバッチモードでの高速なデータ探索をサポートしており、データ開発、デバッグ、データ検証、トラブルシューティングに役立ちます。

CDC ログサブスクリプションと仮想テーブル

Fluss プライマリキーテーブルは、Change Data Capture (CDC) ログサブスクリプションをネイティブにサポートしており、下流の Flink ジョブが変更イベント (INSERT、UPDATE_BEFORE、UPDATE_AFTER、DELETE) の完全なストリームをリアルタイムで消費できます。

ルックアップ結合 (ディメンションテーブル結合)

効率的なキーバリュー (KV) ポイントルックアップとセカンダリインデックスルックアップをサポートしているため、Fluss は低レイテンシーのディメンションテーブル結合シナリオに最適です。

部分更新

行全体ではなく、変更された列のデータのみを更新します。

Delta Join

この新しい結合ソリューションは、データ更新操作を Fluss テーブルにプッシュすることで、デュアルストリーム結合のセマンティクスを維持します。このプロセスにより、Flink のリソース消費が大幅に削減され、ジョブの安定性と実行効率が向上します。

マージエンジン

Fluss プライマリキーテーブルでは、異なるマージエンジンを設定して、同じプライマリキーを持つレコードのマージ方法を制御できます。

レイクストリーム統合

リアルタイムストリームストレージ (Fluss) と、メタデータが Data Lake Formation (DLF) によって管理される Paimon ベースのデータレイクとの深い統合を提供します。この「1つのデータ、2つのビュー」モデルにより、単一の論理テーブルで低レイテンシーのリアルタイムデータアクセスと高スループットの履歴データ分析の両方を提供できます。

パーティションテーブル

パーティションテーブルの作成、それらへの読み書き、およびパーティションの作成とクリーンアップの自動処理をサポートします。

列の追加

進行中の読み書きジョブを中断することなく、動的に列を追加できます。

制限事項

  • ログテーブルは INSERT 操作のみをサポートし、UPDATE や DELETE はサポートしません。

  • プライマリキーテーブルは INSERT、UPDATE、DELETE 操作をサポートします。

  • ルックアップ結合は、プライマリキーテーブルでもあるディメンションテーブルでのみサポートされます。結合条件には、すべてのプライマリキーフィールドを含める必要があります。

  • Delta Join の場合、両方のテーブルが Fluss プライマリキーテーブルである必要があり、結合キーにはバケットキーを含める必要があります。

注意事項

  • Fluss テーブルには、プライマリキーがなく Kafka トピックに似たログテーブルと、プライマリキーがありアップサートセマンティクスをサポートするプライマリキーテーブルの 2 種類があります。ユースケースに最も適したテーブルタイプを選択してください。

  • 本番環境では、最適な並列読み書き性能とバランスの取れたデータ分散を確保するために、bucket.num を適切に設定してください。

  • パーティションテーブルの場合、データ量とクエリパターンに基づいてパーティショニング戦略を設計してください。適切な時間粒度 (日次や月次など) を選択し、table.auto-partition.num-retention パラメーターを使用して保持する履歴パーティションの数を制御し、メタデータの肥大化を防ぎます。プライマリキーテーブルに自然なパーティショニング特性 (時間やビジネスディメンションなど) を持つデータが含まれている場合は、すべてのデータを単一の非パーティション化テーブルに保存するのではなく、パーティションテーブルを使用してください。パーティションテーブルは、データライフサイクル管理を簡素化し、ストリーミングおよびバッチクエリのパーティションプルーニングを可能にし、不要なデータスキャンを大幅に削減してクエリ性能を向上させます。

  • Delta Join を使用する前に、Flink ジョブで必要な実行時パラメーターを設定して、この最適化を有効にしてください。

特徴

全量・増分消費

概要

Fluss プライマリキーテーブルは全量・増分消費をサポートします。システムはまずテーブルの完全な履歴スナップショットを読み取ります。スナップショットの読み取りが完了すると、自動的かつシームレスに増分ストリーム消費に切り替わります。このプロセスにより、データの完全性と一貫性が保証されます。

消費モード

scan.startup.mode パラメーターを使用して、消費開始点を制御できます。

モード

説明

full

デフォルト。最初に完全なスナップショットを読み取り、次いで増分データを消費します。このモードは、完全な履歴データを必要とするシナリオに適しています。

earliest

完全なスナップショットを読み取らずに、利用可能な最も古いログオフセットからデータを消費します。

latest

最新のオフセットからデータを消費します。ジョブ開始後に生成された新しいデータのみが消費されます。

timestamp

特定のタイムスタンプからデータを消費します。このモードでは、scan.startup.timestamp パラメーターも設定する必要があります。

SQL の例
-- 全量・増分消費 (デフォルトモード)
SELECT * FROM `fluss_catalog`.`fluss_db`.orders;

-- ヒントを使用して特定のタイムスタンプから消費する
SELECT * FROM `fluss_catalog`.`fluss_db`.orders
  /*+ OPTIONS('scan.startup.mode' = 'timestamp', 'scan.startup.timestamp' = '2025-01-01 00:00:00') */;

-- 最新のオフセットから消費する
SELECT * FROM `fluss_catalog`.`fluss_db`.orders
  /*+ OPTIONS('scan.startup.mode' = 'latest') */;

CDC ログサブスクリプションと仮想テーブル

ログサブスクリプション

Fluss プライマリキーテーブルは、CDC (Change Data Capture) ログサブスクリプションをネイティブにサポートします。これにより、下流の Flink ジョブは、別の binlog 設定を必要とせずに、完全な変更ログストリーム (INSERT、UPDATE_BEFORE、UPDATE_AFTER、DELETE イベント) をリアルタイムで消費できます。

これは、次のことを意味します:

  • プライマリキーテーブルへのすべての変更は、自動的に CDC ログを生成します。

  • 下流のアプリケーションは、プライマリキーテーブルを直接サブスクライブして、リアルタイムデータ同期やストリーミング ETL のための完全な変更ログストリームを受信できます。

SQL の例
-- プライマリキーテーブルを直接読み取り、CDC 変更ログストリームを取得する
SELECT * FROM `fluss_catalog`.`fluss_db`.orders;
-- 出力には、完全な INSERT、UPDATE、DELETE イベントが含まれます。
仮想テーブル

CDC ストリームを直接サブスクライブすることに加えて、Fluss は仮想テーブルメカニズムを提供します。ベーステーブル名に特定のサフィックスを追加することで、追加のデータストレージを必要とせずにメタデータ付きの変更ログにアクセスできます。システムはこれらの仮想テーブルを自動的に生成するため、手動で作成する必要はありません。

変更ログテーブル ($changelog)

この機能はプライマリキーテーブルと追加専用テーブルに適用され、メタデータ付きの生の変更ログストリームを提供します。

テーブル構造 (システムは元のテーブルスキーマに以下のメタデータ列を自動的に追加します):

メタデータ列

型

説明

_change_type

STRING

変更のタイプ。プライマリキーテーブルの場合、可能な値は insert、update_before、update_after、delete です。追加専用テーブルの場合、唯一可能な値は insert です。

_log_offset

BIGINT

ログ内の変更のオフセット。

_commit_timestamp

TIMESTAMP_LTZ

変更のコミットタイムスタンプ。

SQL の例:

-- orders テーブルの $changelog 仮想テーブルを読み取る
SELECT * FROM `fluss_catalog`.`fluss_db`.`orders$changelog`;

-- ヒントを使用して最新のオフセットから消費する
SELECT * FROM `fluss_catalog`.`fluss_db`.`orders$changelog`
  /*+ OPTIONS('scan.startup.mode' = 'latest') */;

-- delete イベントをフィルターする
SELECT * FROM `fluss_catalog`.`fluss_db`.`orders$changelog`
WHERE _change_type = 'delete';
Binlog テーブル ($binlog)

この機能はプライマリキーテーブルでのみ利用可能で、変更前後のイメージを含む Binlog フォーマットのデータを提供し、各変更前後のデータの状態を正確に取得しやすくします。

テーブル構造 (メタデータ列に加えて、完全な変更前後の行データがネストされた ROW 型で表示されます):

列

型

説明

_change_type

STRING

変更のタイプ。可能な値は insert、update、delete です。

_log_offset

BIGINT

ログオフセット。

_commit_timestamp

TIMESTAMP_LTZ

コミットタイムスタンプ。

before

ROW

変更前の行データ。insert 操作の場合、値は NULL です。

after

ROW

変更後の行データ。delete 操作の場合、値は NULL です。

変更イベントのマッピング:

変更タイプ

before

after

insert

NULL

新しい値

update

古い値

新しい値

delete

古い値

NULL

SQL の例:

-- users テーブルの $binlog 仮想テーブルを読み取る
SELECT * FROM `fluss_catalog`.`fluss_db`.`users$binlog`;

-- update イベントからフィールドの変更前後の値を取得する
SELECT
  `before`.user_name AS old_name,
  `after`.user_name  AS new_name,
  _commit_timestamp  AS change_time
FROM `fluss_catalog`.`fluss_db`.`users$binlog`
WHERE _change_type = 'update';
制限事項
  • $changelog および $binlog テーブルは現在、プロジェクションプッシュダウン、パーティションプルーニング、述語プッシュダウンをサポートしていません。

  • $binlog テーブルはプライマリキーテーブルでのみ利用可能です。追加専用テーブルではサポートされていません。

  • 仮想テーブルでサポートされている起動モードは earliest (デフォルト)、latest、timestamp です。full モードはサポートされていません。


部分更新

概要

Fluss は部分更新をサポートしており、複数のデータストリームが同じワイドプライマリキーテーブルのそれぞれの列に独立して書き込むことができます。Fluss エンジンは、プライマリキーに基づいてレコードレベルでフィールドを自動的にマージします。このアプローチは、Flink で複雑なマルチストリーム結合状態を維持する必要性をなくし、大きなステートサイズに関連する問題を回避します。

ユースケース

典型的なユースケースは、リアルタイムのユーザープロファイルワイドテーブルの構築です。レコメンデーションシステム、インプレッションログ、クリックログ、ショッピングカートデータなどの異なるデータソースが、ユーザープロファイルテーブルのそれぞれのフィールドを更新できます。このプロセスにより、ユーザーの完全な 360 度ビューが作成されます。

制限事項
  • ターゲットテーブルはプライマリキーテーブルである必要があります。

  • 各データストリームの書き込み操作には、すべてのプライマリキーフィールドを含める必要があります。

  • 計算トポロジーにマルチストリーム結合ノードを含めることはできません。Fluss はマージ操作をストレージレイヤーで直接処理します。

SQL の例
-- 1. ワイドテーブルを作成する
CREATE TABLE IF NOT EXISTS `fluss_catalog`.fluss_db.user_rec_wide (
    user_id   STRING,
    item_id   STRING,
    rec_score DOUBLE,
    imp_cnt   INT,
    click_cnt INT,
    PRIMARY KEY (user_id, item_id) NOT ENFORCED
) WITH ('bucket.num' = '3');

-- 2. 複数のストリームを使用してそれぞれのフィールドに書き込む
-- ストリーム 1: レコメンデーションスコアを書き込む
INSERT INTO `fluss_catalog`.fluss_db.user_rec_wide (user_id, item_id, rec_score)
SELECT user_id, item_id, rec_score 
FROM `fluss_catalog`.fluss_db.recommendations;

-- ストリーム 2: インプレッション数を書き込む
INSERT INTO `fluss_catalog`.fluss_db.user_rec_wide (user_id, item_id, imp_cnt)
SELECT user_id, item_id, imp_cnt 
FROM `fluss_catalog`.fluss_db.impressions;

-- ストリーム 3: クリック数を書き込む
INSERT INTO `fluss_catalog`.fluss_db.user_rec_wide (user_id, item_id, click_cnt)
SELECT user_id, item_id, click_cnt 
FROM `fluss_catalog`.fluss_db.clicks;

上記の 3 つの INSERT 文は、別々の Flink ジョブとして実行できます。Fluss ストレージレイヤーは、同じプライマリキーのフィールドを自動的にマージして完全な行にします。


Delta Join

概要

Delta Join は、Fluss が提供する次世代のストリーム-ストリーム結合パラダイムです。データ更新操作を Fluss ストレージレイヤーにオフロードし、プライマリキーテーブルとセカンダリインデックスを効率的なルックアップに活用します。この設計により、Flink で結合状態を維持する必要がなくなります。

主な利点:

  • 結合状態なし:冗長な状態ストレージを排除し、大きなステートサイズによるガベージコレクション (GC) の問題を回避します。

  • 低リソース消費:テストでは、Flink のメモリと CPU の消費を 86% 以上削減します。

  • 高い安定性と効率:状態の肥大化によるパフォーマンスのボトルネックを回避します。

従来の結合との比較

特徴

従来の Flink 結合 (Kafka 使用)

Fluss Delta Join

状態ストレージ

Flink ですべての上流データをキャッシュする必要があります。

結合状態なし。Fluss インデックスに依存します。

リソース消費

大きな状態による頻繁な GC のため、高いです。

低い

安定性

状態の肥大化による問題が発生しやすいです。

より安定しています

メカニズム

両方のストリームからの更新が結合を駆動します。

Fluss は更新をそのストレージレイヤーにオフロードします。

ユースケース

汎用のストリーム-ストリーム結合。

Fluss プライマリキーテーブル間の効率的な結合。

制限事項
  • 左テーブルと右テーブルの両方が Fluss プライマリキーテーブルである必要があります (パーティションテーブルはサポートされています)。

  • バケットキーはプライマリキーのプレフィックスである必要があります。

  • 結合キーにはバケットキーを含める必要があります。パーティションテーブルの場合、パーティションキーも含まれている必要があります。

SQL の例

1. テーブルの作成

CREATE TABLE orders (
  user_id BIGINT,
  order_date DATE,
  order_id BIGINT,
  amount DECIMAL(10, 2),
  PRIMARY KEY (user_id, order_id, order_date) NOT ENFORCED
) WITH ('bucket.key' = 'user_id, order_id');

CREATE TABLE order_enhance (
  user_id BIGINT,
  order_id BIGINT,
  risk_level TINYINT,
  is_fraud BOOLEAN,
  update_time TIMESTAMP(3),
  PRIMARY KEY (user_id, order_id) NOT ENFORCED
) WITH ('bucket.key' = 'user_id, order_id');

2. Delta Join の実行

SELECT * FROM orders o
INNER JOIN order_enhance e
ON o.user_id = e.user_id AND o.order_id = e.order_id;

3. ヒントを使用したルックアップ性能の最適化

SELECT * FROM orders o /*+ OPTIONS('client.lookup.queue-size'='2560') */
INNER JOIN order_enhance e /*+ OPTIONS('client.lookup.queue-size'='2560') */
ON o.user_id = e.user_id AND o.order_id = e.order_id;
ジョブパラメーターの設定

Delta Join を使用するには、Flink ジョブの実行時パラメーターに以下の設定を追加します:

table.exec.delta-join.cache-enabled: 'true'
table.exec.async-lookup.buffer-capacity: '3000'
table.optimizer.delta-join.strategy: FORCE
table.exec.delta-join.left.cache-size: '100'
table.exec.delta-join.right.cache-size: '1000'

パラメーター

説明

table.optimizer.delta-join.strategy

FORCE に設定して Delta Join を強制します。条件が満たされない場合、ジョブは失敗します。

table.exec.async-lookup.buffer-capacity

非同期リクエストのバッファー容量。この値は数千に設定することを推奨します。

table.exec.delta-join.cache-enabled

ローカルキャッシュを有効にして、Fluss へのリクエストを削減します。

table.exec.delta-join.left.cache-size

左テーブル用にキャッシュするキーの数。メモリとホットデータパターンに基づいてこの値を調整します。

table.exec.delta-join.right.cache-size

右テーブル用にキャッシュするキーの数。メモリとホットデータパターンに基づいてこの値を調整します。

Delta Join を有効にすると、Flink ジョブの概要に Delta Join ノードが表示され、最適化がアクティブであることを示します。


ルックアップ結合 (ディメンションテーブル結合)

概要

Fluss プライマリキーテーブルを Flink SQL のディメンションテーブルとして使用できます。ルックアップ結合により、ストリーミングデータをリアルタイムでディメンションデータで補強できます。Fluss は効率的な KV ポイントルックアップとセカンダリインデックス検索をサポートしており、低レイテンシーのディメンションテーブル結合シナリオに適しています。

制限事項
  • ディメンションテーブルとして使用できるのはプライマリキーテーブルのみです。

  • 結合条件には、ディメンションテーブルのすべてのプライマリキーフィールドを含める必要があります。

同期モードと非同期モード

モード

設定

説明

非同期 (デフォルト)

'lookup.async' = 'true'

高スループットを提供します。ほとんどのユースケースで推奨されます。

同期

'lookup.async' = 'false'

レコードを順次クエリします。デバッグや低同時実行数シナリオに適しています。

SQL の例
-- ヒントを使用してルックアップキャッシュを設定し、ディメンションテーブル結合を実行する
SELECT
  o.order_id,
  o.amount,
  u.user_name,
  p.product_name
FROM `fluss_catalog`.`fluss_db`.orders AS o
LEFT JOIN `fluss_catalog`.`fluss_db`.user_dim
  /*+ OPTIONS('lookup.cache' = 'PARTIAL', 'lookup.partial-cache.expire-after-write' = '60s', 'lookup.partial-cache.max-rows' = '10000') */
  FOR SYSTEM_TIME AS OF o.proctime AS u
  ON o.user_id = u.user_id
LEFT JOIN `fluss_catalog`.`fluss_db`.product_dim
  FOR SYSTEM_TIME AS OF o.proctime AS p
  ON o.product_id = p.product_id;

-- 同期ルックアップモードを使用する (デバッグに適している)
SELECT o.order_id, o.amount, d.user_name
FROM `fluss_catalog`.`fluss_db`.orders AS o
LEFT JOIN `fluss_catalog`.`fluss_db`.user_dim
  /*+ OPTIONS('lookup.async' = 'false') */
  FOR SYSTEM_TIME AS OF o.proctime AS d
  ON o.user_id = d.user_id;

マージエンジン

概要

Fluss プライマリキーテーブルでは、マージエンジンを設定して、システムが同じプライマリキーを持つレコードをどのようにマージするかを制御できます。table.merge-engine パラメーターを使用して、以下の戦略のいずれかを選択します:

マージエンジン

説明

last_row (デフォルト)

最後に書き込まれたレコードを保持します。後のデータが前のデータを上書きします。このエンジンは、ほとんどのアップサートシナリオに適しています。

first_row

最初に書き込まれたレコードを保持し、同じプライマリキーを持つ後続のデータを無視します。このエンジンは、ログの重複排除などの重複排除シナリオに適しています。

versioned

指定されたバージョン列から最も高いバージョン番号を持つレコードを保持します。table.merge-engine.versioned.ver-column パラメーターでバージョン列を指定する必要があります。このエンジンは、バージョンに基づいてデータ更新順序を制御する必要があるシナリオに適しています。

SQL の例
-- 重複排除のために first_row を使用する
CREATE TABLE IF NOT EXISTS `fluss_catalog`.fluss_db.event_dedup (
    event_id STRING,
    event_type STRING,
    event_time TIMESTAMP(3),
    payload STRING,
    PRIMARY KEY (event_id) NOT ENFORCED
) WITH (
  'table.merge-engine' = 'first_row'
);

-- versioned を使用してバージョン列に基づいて更新する
CREATE TABLE IF NOT EXISTS `fluss_catalog`.fluss_db.user_profile (
    user_id BIGINT,
    user_name STRING,
    age INT,
    update_version BIGINT,
    PRIMARY KEY (user_id) NOT ENFORCED
) WITH (
  'table.merge-engine' = 'versioned',
  'table.merge-engine.versioned.ver-column' = 'update_version'
);

パーティションテーブル

概要

Fluss はパーティションテーブルをサポートします。PARTITIONED BY を使用して、パーティションキーに基づいてデータを異なる物理パーティションに分割できます。これは、時間やビジネスディメンションに基づいてデータライフサイクルを管理し、クエリ性能を向上させるのに理想的です。パーティションテーブルは単一フィールドパーティショニングと複数フィールドパーティショニングをサポートし、手動管理、自動管理、動的作成という 3 つの直交するパーティション管理戦略を提供します。

基本ルール
  • パーティションキーのデータ型は STRING である必要があります。

  • プライマリキーテーブルの場合、パーティションキーはプライマリキーのサブセットである必要があります。

  • 自動パーティショニングルールはテーブル作成時にのみ設定でき、後で変更することはできません。

パーティション管理戦略

戦略

説明

手動管理

ALTER TABLE を使用してパーティションを手動で作成または削除します。この戦略は、パーティション数が限定的で制御可能なシナリオに適しています。

自動管理

システムは時間ベースのルールに基づいて新しいパーティションを自動的に作成し、期限切れの履歴パーティションをクリーンアップします。この戦略は、継続的な時間ベースのデータインジェストに適しています。

動的作成

データが書き込まれる際、ターゲットパーティションが存在しない場合、クライアントは自動的に作成します。この戦略は、パーティション値が予測不可能なシナリオに適しています。

これら 3 つの戦略は直交しており、組み合わせて使用できます。たとえば、時間ベースの作成とクリーンアップのための自動管理と、事前作成されなかったパーティションを処理するためのフォールバックとしての動的作成の両方を有効にすることができます。

SQL の例

1. 自動パーティション管理を持つ単一フィールドパーティションテーブルの作成

CREATE TABLE `fluss_catalog`.fluss_db.site_access (
  site_id BIGINT,
  user_name STRING,
  pv BIGINT,
  event_day STRING,
  PRIMARY KEY (site_id, event_day) NOT ENFORCED
) PARTITIONED BY (event_day) WITH (
  'table.auto-partition.enabled' = 'true',
  'table.auto-partition.time-unit' = 'DAY',
  'table.auto-partition.num-precreate' = '5',
  'table.auto-partition.num-retention' = '30',
  'table.auto-partition.time-zone' = 'Asia/Shanghai'
);

2. 複数フィールドパーティションテーブルの作成

CREATE TABLE `fluss_catalog`.fluss_db.region_access (
  access_id BIGINT,
  user_name STRING,
  event_date STRING,
  region STRING,
  PRIMARY KEY (access_id, event_date, region) NOT ENFORCED
) PARTITIONED BY (event_date, region) WITH (
  'table.auto-partition.enabled' = 'true',
  'table.auto-partition.key' = 'event_date',
  'table.auto-partition.time-unit' = 'DAY',
  'table.auto-partition.num-retention' = '7'
);
注意:複数フィールドパーティショニングの場合、table.auto-partition.key を使用して自動パーティショニングの時間ベースのキーを指定する必要があります。複数フィールドパーティショニングは、自動的な期限切れとクリーンアップのみをサポートし、自動的な事前作成はサポートしません。num-precreate パラメーターは強制的に 0 になります。

3. パーティションの手動管理

-- すべてのパーティションを表示する
SHOW PARTITIONS `fluss_catalog`.fluss_db.site_access;

-- パーティションを手動で追加する
ALTER TABLE `fluss_catalog`.fluss_db.site_access
  ADD PARTITION (event_day = '20250315');

-- パーティションを手動で削除する
ALTER TABLE `fluss_catalog`.fluss_db.site_access
  DROP PARTITION (event_day = '20250101');

4. パーティションの動的作成

データを書き込む際、ターゲットパーティションが存在しない場合、クライアントは自動的に作成します。この機能はデフォルトで有効になっています。

-- データを書き込む。パーティション '20250701' が存在しない場合、自動的に作成される。
INSERT INTO `fluss_catalog`.fluss_db.site_access
VALUES (1, 'hello', 100, '20250701');

client.writer.dynamic-create-partition.enabled クライアントパラメーター (デフォルト:true) が動的作成を制御します。これは、クラスターレベルの制限である max.partition.num (デフォルト:1000) と max.bucket.num (デフォルト:128000) の対象となります。

パーティションプルーニング

ストリーミングまたはバッチモードでパーティションテーブルをクエリする際、Fluss はパーティションプルーニングをサポートします。WHERE 句でパーティションキーをフィルタリングすることにより、クエリは一致するパーティションのみを読み取り、不要な I/O オーバーヘッドを削減します。

-- 特定の日付のパーティションのデータのみを読み取る
SELECT * FROM `fluss_catalog`.fluss_db.site_access
WHERE event_day = '20250315';

-- リージョンで複数フィールドパーティションテーブルをフィルターする
SELECT * FROM `fluss_catalog`.fluss_db.region_access
WHERE region = 'US';
自動パーティショニングパラメーター

パラメーター

型

デフォルト

説明

table.auto-partition.enabled

Boolean

false

自動パーティション管理を有効にするかどうかを指定します。

table.auto-partition.key

String

なし

複数フィールドパーティショニングの場合、自動パーティショニングの時間ベースのキーを指定します。このパラメーターは単一フィールドパーティショニングには不要です。

table.auto-partition.time-unit

Enum

DAY

自動パーティショニングの時間粒度。有効な値は HOUR、DAY、MONTH、QUARTER、YEAR です。

table.auto-partition.num-precreate

Integer

2

事前に作成する将来のパーティションの数。複数フィールドパーティショニングではサポートされておらず、値は強制的に 0 になります。

table.auto-partition.num-retention

Integer

7

保持する履歴パーティションの数。この制限を超えた期限切れのパーティションは自動的に削除されます。

table.auto-partition.time-zone

String

システムタイムゾーン

自動パーティショニングに使用されるタイムゾーン。

ベストプラクティス
  • 適切なパーティション粒度の選択:データ量とクエリパターンに基づいて時間粒度を選択します。データ量が多く、クエリの時間範囲が狭い場合は、DAY または HOUR でのパーティショニングを推奨します。データ量が少ない場合は、MONTH または QUARTER でパーティショニングできます。

  • 合理的な保持ポリシーの設定:num-retention を使用して履歴パーティションの数を制御します。これにより、メタデータの肥大化を回避し、過剰なパーティション数によるクラスター管理の負担を軽減します。

  • 自動管理と動的作成の組み合わせ:定期的な時間ベースのパーティション作成とクリーンアップには自動管理を使用し、異常なデータや遅延データを処理するためのフォールバックとして動的作成を使用します。

  • クラスターの制限に注意:max.partition.num パラメーター (デフォルト:1000) は、テーブルごとのパーティション数を制限します。クラスター内のバケットの総数は max.bucket.num (デフォルト:128,000) によって制限されます。テーブル内のバケットの総数 (パーティション数 × bucket.num) は、この制限を超えてはなりません。


ストリーミングクエリプッシュダウン

Fluss は、ログ転送にApache Arrow カラムナストレージフォーマットを使用します。これにより、フィルターおよびプロジェクション操作をストレージレイヤーにプッシュダウンすることがサポートされ、データ転送量を削減し、クエリ性能を最大 10 倍向上させることができます。

この機能は、以下のシナリオで特に効果的です:

  • ワイドテーブルから列のサブセットのみを読み取る (プロジェクションプッシュダウン)。

  • 特定の条件に基づいて大量のデータをフィルタリングする (述語プッシュダウン)。

ログストレージフォーマットは table.log.format パラメーターによって制御され、デフォルトは ARROW です。


統合ストリームレイクアーキテクチャ

概要

Fluss は、Fluss から Apache Paimon などのデータレイクにリアルタイムデータを自動的に同期できる統合ストリームレイクアーキテクチャをサポートします。これにより、ホットデータとコールドデータの自動的な階層化ストレージが実現され、リアルタイムクエリの低レイテンシーと履歴データの低ストレージコストのバランスが取れます。

主な特徴:

  • Fluss から Paimon レイクストレージへのストリーミングデータの自動書き込み。

  • ホットデータとコールドデータの自動階層化。ホットデータは Fluss ストリームストレージに保持され、コールドデータは Paimon に移動されます。

  • ストリームストレージとレイクストレージの両方のデータに同時にアクセスするための統一された Flink SQL クエリインターフェイスの提供。

重要

お使いのクラスターで 0.9-ali-7.0 以降が実行されており、かつレイクストリームが統合されたテーブルで UNION 読み取りを実行する場合、0.9-ali-7.0 以降へのクライアントのスペックアップも行う必要があります (Realtime Compute for Apache Flink エンジンバージョン VVR 11.10 以降に相当)。

設定パラメーター

パラメーター

タイプ

デフォルト

説明

table.datalake.enabled

ブール値

false

データレイクストレージ階層化を有効にします。

table.datalake.format

Enum

クラスターのデフォルト

データレイクフォーマット。現在、paimon のみがサポートされています。

table.log.tiered.local-segments

整数

2

階層化ストレージを有効にした後、ローカルに保持するログセグメント数。


データ探索

概要

Fluss は、Flink SQL の バッチモード において、テーブルに対する迅速な データ探索 をサポートします。これには、LIMIT クエリ、プライマリキーポイントルックアップ、COUNT(*) 集約 が含まれます。継続的に実行されるストリーミングジョブを開始することなく、テーブル内のデータを迅速に表示できるため、開発、デバッグ、データ検証、トラブルシューティングに役立ちます。

LIMIT クエリ

プライマリキーテーブルと追加専用テーブルに対して LIMIT クエリを実行することで、データの小規模なサンプルを迅速に取得できます。

-- プライマリキーテーブルから最初の 10 レコードを表示
SELECT * FROM `fluss_catalog`.`fluss_db`.orders LIMIT 10;

-- 追加専用テーブルから最初の 5 レコードを表示
SELECT * FROM `fluss_catalog`.`fluss_db`.events LIMIT 5;

-- プロジェクションと組み合わせて特定の列のみを表示
SELECT order_id, amount, order_time 
FROM `fluss_catalog`.`fluss_db`.orders LIMIT 20;
プライマリキーポイントルックアップ

プライマリキーテーブルでは、WHERE 句でプライマリキーを指定することにより、正確なポイントルックアップ を実行できます。これにより、Fluss KV ストレージエンジンを活用して、ミリ秒レベルの応答時間を実現します。

-- プライマリキーで単一レコードのポイントルックアップを実行
SELECT * FROM `fluss_catalog`.`fluss_db`.orders
WHERE order_id = 1001;

-- 複合プライマリキーでポイントルックアップを実行
SELECT * FROM `fluss_catalog`.`fluss_db`.user_orders
WHERE user_id = 12345 AND order_id = 6789;
COUNT(*) 集約

プライマリキーテーブルに対して COUNT(*) クエリを実行することで、レコードの総数を迅速に取得できます。

-- プライマリキーテーブルの総行数をカウント
SELECT COUNT(*) FROM `fluss_catalog`.`fluss_db`.orders;

WITH パラメーター

ストレージパラメーター

以下のパラメーターは、テーブルのメタデータに永続化されます。

パラメーター

型

デフォルト値

必須

説明

bucket.num

Integer

なし

いいえ

Fluss テーブルのバケット数です。このパラメーターは、データの読み取りと書き込みの並列性に影響します。デフォルト値は、クラスターの default.bucket.number 構成から継承されます。

bucket.key

String

なし

いいえ

ハッシュベースのデータ分散に使用される列。これらの列は、プライマリキーのサブセットである必要があります。複数の列を区切るには、カンマを使用します。

table.log.ttl

Duration

7d

いいえ

ログデータの保持期間。

table.replication.factor

Integer

クラスターのデフォルト

いいえ

ログテーブルのレプリケーション係数。この値は、タブレットサーバーの数を超えることはできません。

table.log.format

Enum

ARROW

いいえ

ログのストレージフォーマット。オプションには、クエリプッシュダウンをサポートするカラムナフォーマットである ARROW と INDEXED があります。

table.log.arrow.compression.type

Enum

ZSTD

いいえ

ARROW フォーマットの圧縮タイプ。有効なオプションは、NONE、LZ4_FRAME、ZSTD です。

table.log.arrow.compression.zstd.level

Integer

3

いいえ

ZSTD 圧縮レベル (1〜22)。

table.kv.format

Enum

COMPACTED

いいえ

KV ストレージフォーマット。有効なオプションは、COMPACTED または INDEXED です。

table.merge-engine

Enum

last_row

いいえ

プライマリキーテーブルのマージ戦略。有効なオプションは、first_row、versioned、last_row です。

table.merge-engine.versioned.ver-column

String

なし

条件付きで必須

table.merge-engine が versioned に設定されている場合に必須です。バージョン列の名前を指定します。

table.datalake.enabled

Boolean

false

いいえ

データレイクストレージ階層化を有効または無効にします。

table.datalake.format

Enum

クラスターのデフォルト

いいえ

データレイクフォーマット。現在、paimon のみがサポートされています。

table.log.tiered.local-segments

Integer

2

いいえ

階層化ストレージが有効になった後、ローカルに保持するログセグメントの数。

自動パーティション分割パラメーター

パラメーター

型

デフォルト値

必須

説明

table.auto-partition.enabled

Boolean

false

いいえ

自動パーティション作成を有効または無効にします。

table.auto-partition.time-unit

Enum

DAY

いいえ

自動パーティション分割の時間粒度。有効なオプションは、YEAR、QUARTER、MONTH、DAY、HOUR です。

table.auto-partition.num-precreate

Integer

2

いいえ

チェック中に事前作成する将来のパーティションの数。

table.auto-partition.num-retention

Integer

7

いいえ

保持する履歴パーティションの数。古いパーティションは自動的に削除されます。

table.auto-partition.time-zone

String

システムのタイムゾーン

いいえ

自動パーティション分割に使用されるタイムゾーン。

読み取りパラメーター

以下のパラメーターは、WITH 句または SQL ヒントを介して構成できます。

パラメーター

型

デフォルト値

必須

説明

scan.startup.mode

Enum

full

いいえ

消費開始モード。有効なオプションは、full、earliest、latest、timestamp です。

scan.startup.timestamp

Long/String

なし

条件付きで必須

開始タイムスタンプ。ミリ秒値または yyyy-MM-dd HH:mm:ss フォーマットの文字列を指定できます。このパラメーターは、scan.startup.mode が timestamp に設定されている場合にのみ適用されます。

scan.partition.discovery.interval

Duration

1 minute

いいえ

新しいパーティションを自動的に検出する間隔。負の値を設定すると、自動検出が無効になります。

client.scanner.log.check-crc

Boolean

true

いいえ

データ整合性を確保するために、メッセージに対して CRC32 チェックを実行するかどうかを指定します。

client.scanner.log.max-poll-records

Integer

500

いいえ

1 回の poll() 呼び出しで返すことができるレコードの最大数。

client.scanner.log.fetch.max-bytes

MemorySize

16mb

いいえ

リクエストごとにサーバーからフェッチする最大バイト数。

client.scanner.log.fetch.max-bytes-for-bucket

MemorySize

1mb

いいえ

1 回のリクエストでバケットごとにフェッチする最大バイト数。

client.scanner.log.fetch.min-bytes

MemorySize

1b

いいえ

フェッチリクエストに対してサーバーが返す必要がある最小データサイズ。

client.scanner.log.fetch.wait-max-time

Duration

500ms

いいえ

最小バイト数に満たない場合にサーバーが待機する最大時間。

client.scanner.io.tmpdir

String

システムの一時ディレクトリ

いいえ

スナップショットやログセグメントなど、一時ファイルを保存するためのローカルディレクトリ。

client.scanner.remote-log.prefetch-num

Integer

4

いいえ

プリフェッチするリモートログセグメントの数。

client.remote-file.download-thread-num

Integer

3

いいえ

リモートファイルのダウンロードに使用されるスレッド数。

書き込みパラメーター

以下のパラメーターは、WITH 句または SQL ヒントを介して構成できます。

パラメーター

型

デフォルト値

必須

説明

sink.ignore-delete

Boolean

false

いいえ

ソースからの DELETE および UPDATE_BEFORE メッセージを無視するかどうかを指定します。

sink.bucket-shuffle

Boolean

true

いいえ

書き込み前にバケット ID でデータをシャッフルするかどうかを指定します。これにより、書き込みパフォーマンスが向上する場合があります。

client.writer.buffer.memory-size

MemorySize

64mb

いいえ

行データ用の内部バッファーの合計メモリサイズ。

client.writer.batch-size

MemorySize

2mb

いいえ

同じバケット内のレコードのターゲットバッチサイズ。

client.writer.buffer.wait-timeout

Duration

Long.MAX

いいえ

利用可能なセグメントを待機している間にライターがブロックされる最大時間。

client.writer.batch-timeout

Duration

100ms

いいえ

レコードをバッチで送信する前にバッファリングする最大時間。

client.writer.bucket.no-key-assigner

Enum

STICKY

いいえ

プライマリキーのないテーブルのバケット割り当て戦略。有効なオプションは、STICKY または ROUND_ROBIN です。

client.writer.acks

String

all

いいえ

書き込みの確認応答レベル。all (または -1): すべてのレプリカが確認応答するのを待ちます。1: リーダーのみが確認応答するのを待ちます。0: どの確認応答も待ちません。最大のデータ耐久性を得るには、all 設定を推奨します。

client.writer.request-max-size

MemorySize

10mb

いいえ

1 回のリクエストの最大サイズ (バイト単位)。

client.writer.retries

Integer

MAX_VALUE

いいえ

リトライ可能なエラーで失敗した送信をリトライする回数。

client.writer.enable-idempotence

Boolean

true

いいえ

べき等な書き込みを有効にします。これにより、1回限りのセマンティクスとメッセージ順序保証が提供されます。

client.writer.max-inflight-requests-per-bucket

Integer

5

いいえ

バケットごとの未処理のリクエストの最大数。このパラメーターは、べき等な書き込みが有効な場合にのみ適用されます。

ディメンションテーブルパラメーター

パラメーター

型

デフォルト値

必須

説明

lookup.async

Boolean

true

いいえ

非同期ルックアップを有効にします。これにより、ディメンションテーブル結合のスループットが向上する場合があります。

lookup.cache

Enum

NONE

いいえ

キャッシュポリシー。有効なオプションは、NONE (キャッシュなし) または PARTIAL (部分的なキャッシュ) です。

lookup.max-retries

Integer

3

いいえ

ルックアップが失敗した場合の最大リトライ回数。

lookup.partial-cache.expire-after-access

Duration

なし

いいえ

最終アクセス後のキャッシュの有効期限。

lookup.partial-cache.expire-after-write

Duration

なし

いいえ

最終書き込み後のキャッシュの有効期限。

lookup.partial-cache.cache-missing-key

Boolean

true

いいえ

ディメンションテーブルに存在しないキーをキャッシュするかどうか (つまり、null 値をキャッシュするかどうか) を指定します。

lookup.partial-cache.max-rows

Long

なし

いいえ

キャッシュ内の最大行数。

client.lookup.queue-size

Integer

25600

いいえ

保留中のルックアップ操作のキューのサイズ。

client.lookup.max-batch-size

Integer

128

いいえ

複数のルックアップ操作を組み合わせるための最大バッチサイズ。

client.lookup.max-inflight-requests

Integer

128

いいえ

インフライトルックアップリクエストの最大数。

client.lookup.batch-timeout

Duration

100ms

いいえ

ルックアップバッチが送信される前にいっぱいになるのを待つ最大時間。