Data Lake Formation:レイクテーブル最適化の監視

アラートルールの作成と管理

1. Cloud Monitor コンソールにログインします。

2. 左側のナビゲーションウィンドウで、[アラート] > [アラートルール] を選択します。

3. [アラートルールの作成] をクリックし、パラメーターを設定します。

   パラメーター	説明
   製品	Data Lake Formation (DLF)
   リソース範囲	[インスタンス] を選択します。アラートルールはカタログに適用されます。
   関連リソース	[インスタンスの追加] をクリックします。左上隅でターゲットリージョンを選択します。次に、監視するカタログを選択し、[確認] をクリックします。
   ルール説明	[ルールの追加] > [基本メトリック] または [複合メトリック] をクリックして、[ルール説明の設定] パネルを開きます。

Cloud Monitor のメトリックの説明

• Compaction Latency_Latest Compact Commit to Latest Non-compact Commit

  • 定義： 最新のコンパクトコミットと最新の非コンパクトコミットの間の時間差です。

  • 意味： 現在システムにある、マージされていないデータの期間を示します。

  • シナリオ：

    • データキャッチアップの進捗を評価します。

    • 値が大きいほど、最新のコンパクションタスクが書き込みの進捗から遅れていることを示します。

  • 注意： このメトリックは、コンパクションタスクが最新の書き込み進捗からどれだけ遅れているか (キャッチアップのギャップ) を測定します。特定のデータの待機時間を測定するものではありません。

• Compaction Latency_Earliest Non-compact Commit

  • 定義： マージされていない最も古いスナップショットのコミット時間と現在のシステム時間から計算されたレイテンシです。

  • 意味： スケジューリングレイヤーにおけるコンパクションタスクの遅延を反映します。コミットされた最も古いデータバッチがコンパクションを待機している時間を表します。

  • シナリオ：

    • スケジューリングシステムの応答速度を監視します。

    • コンパクションリソースの不足に関するトラブルシューティングを行います。

  • 注意： 高頻度コミットのシナリオでは、データ書き込みプロセスにかかる時間を無視するため、このメトリックの値は想定よりも小さくなることがあります。

• Compaction Latency_Earliest Non-compact File

  • 定義： コンパクションされていない最も古いデータファイルの作成時間と現在のシステム時間から計算されたレイテンシです。

  • 意味： データが物理的に書き込まれてからコンパクションを待機するまでのエンドツーエンドの適時性を反映します。

  • シナリオ：

    • データの鮮度を厳密に監視する必要があるシナリオ。

    • チェックポイント間隔が長い、長時間ウィンドウのストリーム書き込みや大量バッチインポートのシナリオ。

  • 注意： このメトリックには、「上流のデータ書き込みとそのチェックポイント」にかかる時間が含まれます。その値は通常、「Earliest Non-compact Commit」のレイテンシよりも大きく、最も古いデータの物理的な経過時間をより正確に反映します。

  詳細については、「GetTableCompactionInfo」をご参照ください。

アラートソリューションのサンプルと推奨事項