データ変換ジョブを作成すると、Simple Log Service はそのジョブのダッシュボードを自動的に作成します。このダッシュボードで、ジョブの運用メトリックを表示できます。このトピックでは、利用可能な運用メトリックと、データ変換ダッシュボードを表示する方法について説明します。
ダッシュボード表示
データ変換ジョブを作成すると、[データ変換の概要] ページでそのダッシュボードを表示できます。
Simple Log Service コンソール にログインします。
プロジェクトセクションで、目的のプロジェクトをクリックします。
左側のナビゲーションウィンドウで、 を選択します。
-
対象のデータ変換ジョブをクリックします。[実行ステータス] エリアで、ダッシュボード情報を確認します。
概要メトリック
次の表に、概要メトリックを示します。
-
読み取られたログの合計：ソース Logstore のすべてのシャードから読み取られたログの総数。
-
配信されたログの合計：ソース Logstore のすべてのシャードから読み取られ、送信先 Logstore に正常に書き込まれたログの総数。
-
失敗したログの合計：ソース Logstore のすべてのシャードから読み取られ、変換プロセス中に失敗したログの総数。
-
ログ配信率：送信先 Logstore に正常に配信されたログと、ソース Logstore から読み取られたログの総数との比率。
変換レート
変換レートは、データ変換ジョブによって1分間ウィンドウ内で処理されたログの数を示します。
-
受け入れ済み：ソース Logstore のすべてのシャードから読み取られたログの数。
-
破棄済み：ソース Logstore のすべてのシャードから読み取られ、ルールスクリプトによって予期どおりに破棄されたログの数。
-
配信済み：ソース Logstore のすべてのシャードから読み取られ、送信先 Logstore に正常に書き込まれたログの数。
-
失敗：ソース Logstore のすべてのシャードから読み取られ、変換プロセス中に失敗したログの数。
シャード消費レイテンシーとシャード消費レート
これらのメトリックは、変換ジョブがソース Logstore からデータを読み取る際に、1分間ウィンドウ内で計算されます。これらはシャードごとのメトリックを表します。
-
消費レイテンシー：シャード内のログが完全に消費された時間と、そのシャードで最新のログが生成された時間との差。どちらの時間も、シャードデータのサーバー受信時間に基づいています。
-
消費レート：1分間ウィンドウ内でシャードによって1秒あたりに読み取られたログの平均数。
リアルタイムログを処理する場合、消費レイテンシーは通常約1秒です。履歴ログデータを処理する場合、ジョブの開始時には消費レイテンシーが高くなることがあります。データ変換が進むにつれて、消費が追いつき、レイテンシーは減少します。
アクティブシャード
最近の期間における、各シャードによって1秒あたりに処理されたログ行数 (受け入れ済み、破棄済み、配信済み、または失敗) を表示します。
異常の詳細
reason フィールドに基づいて、エラーの原因となった可能性のあるルールスクリプトを特定できます。
また、現在のプロジェクトの [internal-etl-log] Logstore でキーワード ERROR または WARNING を検索することで、完全なエラーログを取得できます。