Data Lake Formation:レイクテーブル最適化のアラートルール設定

アラートルールの作成と管理

1. CloudMonitor コンソールにログインします。

2. 左側のナビゲーションウィンドウで、アラームサービス > アラームルール を選択します。

3. アラームルールを作成 をクリックし、パラメーターを設定します。

   パラメーター	説明
   プロダクトタイプ	Data Lake Formation (DLF)
   リソース	インスタンスリスト を選択します。アラートルールはカタログに適用されます。
   対象リソースの設定	インスタンスの追加 をクリックします。左上隅で対象のリージョンを選択します。次に、監視するカタログを選択し、OK をクリックします。
   ポリシーの説明	ルールの追加 > シンプルインジケーター または 組み合わせインジケータ をクリックし、ルールの説明の変更 パネルを開きます。

CloudMonitor のメトリクス

• compaction_latency_between_latest_compacted_and_uncompacted_commit

  • 定義：最新のコンパクション済みコミット と 最新の未コンパクションコミット の間の時間差を測定します。

  • 意味：システム内の未コンパクションデータの 時間範囲 を示します。

  • ユースケース：

    • データのキャッチアップ進捗を評価します。

    • 値が高い場合、最新のコンパクションタスクが書き込み進捗からさらに遅れていることを示します。

  • 注意：このメトリクスは、最新の書き込み進捗に対する コンパクションタスクの遅延 (キャッチアップギャップ) を測定するものであり、特定のデータの待機時間を測定するものではありません。

• compaction_latency_earliest_uncompacted_commit

  • 定義：最も古い未コンパクションスナップショットのコミット時刻 から 現在のシステム時刻 までのレイテンシーを測定します。

  • 意味：スケジューリングレベル でのコンパクションタスクの遅延を示します。これは、最も古いバッチで コミットされた データがコンパクションを待機している 期間 を表します。

  • ユースケース：

    • スケジューリングシステムの応答性を監視します。

    • コンパクションリソースの不足をトラブルシューティングします。

  • 注意：高頻度コミット シナリオでは、このメトリクスはデータの書き込みに費やされた時間を除外するため、予想よりも小さくなる可能性があります。

• compaction_latency_earliest_uncompacted_file

  • 定義：最も古い未コンパクションデータファイルの作成時刻 から 現在のシステム時刻 までのレイテンシーを測定します。

  • 意味：データが 物理的に保存 された瞬間からコンパクションのキューに入るまでの エンドツーエンドのデータの鮮度 を反映します。

  • ユースケース：

    • 厳密なデータの鮮度監視が必要なシナリオ。

    • 長いチェックポイント間隔を持つ長時間ウィンドウのストリーム書き込みまたは大規模バッチインポートシナリオ。

  • 注意：このメトリクスには、アップストリームのデータ書き込みとチェックポイント時間が含まれます。その値は通常、compaction_latency_earliest_uncompacted_commit のレイテンシーよりも高くなり、最も古い物理データの経過時間をより正確に測定します。

  GetTableCompactionInfo API を呼び出すことで、具体的なタイムスタンプを確認できます。

推奨アラート設定と例