Data Lake Formation:Paimon テーブルの自動ストレージ最適化

要件に応じてポリシーモードを編集します。

動的リソースモード（推奨）

システムはリアルタイムのワークロードに基づいて計算リソースを自動的にスケーリングし、手動での容量計画を不要にします。トラフィックの変動が大きい場合に適しています。
以下の 3 種類の構成プリファレンスを利用できます。

• バランス型：コンパクション速度とリソース消費のバランスをとります（デフォルト）。

• 低遅延：より多くのリソースを割り当ててコンパクションを高速化し、データの可視性遅延を短縮します。

• 低リソース使用：リソース使用量を制限して計算コストを削減しますが、コンパクション時間が長くなります。

  動的リソース割り当てとスケーリング

  動的リソースモードでは、システムはリアルタイムのワークロードおよびデータ特性に基づいて計算リソースを割り当てます。以下の要素がリソース割り当ておよび自動スケーリングを駆動します。

  書き込みスループット
  書き込みトラフィックが主なドライバーです。書き込みトラフィックが高くなるほど、安定したデータインジェストのためにより多くの計算リソースがトリガーされます。
  
  
  
  

  アクティブ同時実行数
  アクティブなパーティションおよびバケットの数がリソース要件を決定します。アクティブなパーティションおよびバケットが多いほど、並列処理用のリソースが多く割り当てられます。
  
  
  
  

  高度な機能のデータ規模
  削除ベクターやルックアップチェンジログプロデューサーなどの高度な機能を備えたテーブルは、計算量が増加します。アクティブなパーティション内の合計ファイルサイズが大きいほど、より多くのリソースが必要になります。
  
  
  
  

  データ行の特性
  極端に小さい行（多くの null 値を含む）または極端に大きい行（長い文字列フィールドを含む）は処理オーバーヘッドを増加させます。このような場合、システムはパフォーマンスを維持するためにリソース割り当てを増やします。
  
  
  
  

  小規模テーブル向けのリソース最適化

  小規模テーブルの場合、システムは共有メカニズムを使用してリソースオーバーヘッドを削減します。

  テーブルが延期バケット化（bucket = -2）を使用しており、かつ「低遅延優先」モードが有効になっていない場合、システムは複数の小規模テーブルからの最適化タスクを単一のジョブに統合し、全体的なリソース消費を削減します。

  リソースモニタリングとトラブルシューティング

  リソース消費を分析するには、Catalogs > Resource Overview > Resource Requestsに移動し、CU 時間ベースの上位テーブルリストを確認します。

  説明

  単一テーブルのリソース使用量が異常に高くなる原因として、過剰に詳細なパーティション戦略が挙げられます。これは同時にアクティブなパーティション数を増加させ、過剰なリソース割り当てを強制します。パーティション戦略を見直し、最適化してください。

固定リソースモード

コンパクション用の計算リソースを手動で指定します。トラフィックが安定している場合や、コストを厳密に管理したい場合に適しています。

• 構成要件：最小 2 CU。

• パラメーター設定：コンパクションのトリガー間隔およびバケット数をカスタマイズできます。

実行ステータスの確認

現在のテーブルの最適化実行ステータスを確認し、レイクハウス最適化のモニタリングを通じて CloudMonitor アラートサブスクリプションを構成できます。

リスケールレコードの確認

テーブルまたは特定のパーティションのバケットリスケーリングイベントを記録し、物理ストレージ構造の変更を反映します。リスケーリングは、データ量の変化に起因するパフォーマンスの問題に対処します。これらのレコードを使用して、テーブルがリスケール中かどうかを確認できます（リスケール中はコンパクションが実行されません）。

実行履歴の確認

現在のテーブルのコンパクション実行履歴を確認します。これらのレコードは以下の目的で使用します。

1. タスク実行の確認：バックグラウンドのコンパクションタスクが正しく実行され、小規模ファイルの蓄積を防いでいることを検証します。

2. コンパクション効率の評価：コンパクション前後のファイル数およびサイズを比較し、戦略の有効性を評価します。

パーティションのクリーンアップルール

1. [Expired Partition Cleanup] の横にある スイッチをクリックして、有効にしてください。

2. 以下のクリーンアップルールを構成し、Saveをクリックします。

   これらの設定は、テーブルオプションのキーと値のペアを通じても構成可能です。

   パラメーター	説明
   Expiration Policy (partition.expiration-strategy)	以下の有効期限戦略から 1 つを選択できます。 最終アクセス時刻に基づく (access-time)：パーティションの最終アクセス時刻に基づいて有効期限を設定します。 パーティション値に基づく (values-time)：パーティションのタイムスタンプ形式およびパターンを構成できます。 タイムスタンプ形式 (partition.timestamp-formatter)： yyyy-MM-dd、yyyyMdd、dd/MM/yyyy、dd.MM.yyyy などの形式を構成できます。 タイムスタンプパターン (partition.timestamp-pattern)： デフォルトでは最初のパーティションフィールドが使用されます。$dt や $year-$month-$day などのパターンを構成できます。 最終更新時刻に基づく (update-time)：パーティションの最終更新時刻に基づいて有効期限を設定します。
   Partition Retention Period (partition.expiration-time)	単位：日。例：30d。最大値は 999,999 日です。保存期間は選択した有効期限戦略に基づいて開始されます。

3. （任意）保存後、Modify横のCleanup Rule Settingsをクリックし、設定を変更します。

パーティションのクリーンアップ結果

View Partitionsをクリックし、パーティション名、行数、参照ファイル、ファイルサイズ、作成者、ストレージクラス、最終変更者、タイムスタンプ、および操作を含むパーティションリストを確認します。

ストレージ階層化