Data Lake Formation:レイクテーブルの最適化のモニタリング

アラートルールの作成と管理

1. Cloud Monitor コンソールにログインします。

2. 左側のナビゲーションウィンドウで、[アラート] > [アラートルール] を選択します。

3. [アラートルールの作成] をクリックし、パラメーターを設定します。

   パラメーター	説明
   製品	Data Lake Formation (DLF)
   リソース範囲	[インスタンス] を選択します。アラートルールはカタログに適用されます。
   関連リソース	[インスタンスの追加] をクリックします。左上隅で対象のリージョンを選択し、モニタリングしたいカタログを選択して [OK] をクリックします。
   ルールの説明	[ルールの追加] > [単一メトリック] または [複合メトリック] をクリックして、[ルールの説明を設定] パネルを開きます。

Cloud Monitor のメトリック

• compaction_latency_between_latest_compacted_and_uncompacted_commit

  • 定義：最新のコンパクション済みコミットと最新の未コンパクションコミットの間の時間差を測定します。

  • セマンティクス：システム内の未コンパクションデータの期間を示します。

  • ユースケース：

    • データのキャッチアップ進捗を評価します。

    • 値が高い場合は、最新のコンパクションタスクが書き込みの進捗からさらに遅れていることを示します。

  • 注意：このメトリックは、特定のデータの待機時間ではなく、最新の書き込み進捗に対するコンパクションタスクの遅延 (キャッチアップのギャップ) を測定します。

• compaction_latency_earliest_uncompacted_commit

  • 定義：最も古い未コンパクションスナップショットのコミット時間から現在のシステム時間までのレイテンシーを測定します。

  • セマンティクス：スケジューリングレベルでのコンパクションタスクの遅延を示します。これは、コミットされた最も古いデータバッチがコンパクションを待機している期間を表します。

  • ユースケース：

    • スケジューリングシステムの応答性をモニタリングします。

    • コンパクションリソースの不足をトラブルシューティングします。

  • 注意：高頻度のコミットシナリオでは、このメトリックはデータ書き込みに費やされた時間を除外するため、予想よりも小さくなることがあります。

• compaction_latency_earliest_uncompacted_file

  • 定義：最も古い未コンパクションデータファイルの作成時間から現在のシステム時間までのレイテンシーを測定します。

  • セマンティクス：データが物理的に保存された瞬間からコンパクションのためにキューに入れられるまでの、エンドツーエンドのデータ鮮度を反映します。

  • ユースケース：

    • 厳密なデータ鮮度のモニタリングが必要なシナリオ。

    • チェックポイントの間隔が長い、ロングウィンドウのストリーム書き込みや大容量バッチのインポートシナリオ。

  • 注意：このメトリックには、アップストリームのデータ書き込みとチェックポイント時間が含まれます。その値は通常、compaction_latency_earliest_uncompacted_commit レイテンシーよりも高く、最も古い物理データの経過時間をより正確に測定します。

  GetTableCompactionInfo API オペレーションを呼び出すことで、特定のタイムスタンプを表示できます。

推奨アラート設定と例