概要
DataWorks Data Integration のリアルタイム同期タスクは CloudMonitor と統合されています。CloudMonitor では、リソース使用率、ビジネスレイテンシー、レコード数、同期レート、DML 操作統計など、リアルタイム同期タスクの主要なランタイムメトリックを表示できます。これらのメトリックは、タスクの健全性を把握し、パフォーマンスのボトルネックや異常を迅速に検出して特定するのに役立ちます。
この統合では DataWorks → CloudMonitor アプローチを使用します。追加費用なしでメトリックダッシュボードを表示し、アラームルールを設定するには、CloudMonitor サービスを有効にするだけです。別途 Prometheus インスタンスを購入する必要はありません。
前提条件
DataWorks Data Integration のリアルタイム同期タスクのメトリックを使用するには、次の要件が満たされていることを確認してください。
Alibaba Cloud の CloudMonitor サービスが有効になっていること。CloudMonitor コンソールに移動して有効化します。
DataWorks ワークスペースが作成されていること。リアルタイム同期タスクを含む DataWorks ワークスペースが正常に実行されている必要があります。
リアルタイム同期タスクが正常に実行されていること。
メトリックの表示
監視ページへのアクセス
Alibaba Cloud の CloudMonitor コンソールにログインします。
左側のナビゲーションウィンドウで、クラウド製品のモニタリング を選択します。クラウドサービスのリストから、DataWorks - Data Integration 同期タスク を見つけてクリックします。
ターゲットワークスペースのフィルタリング
Data Integration タスクの監視ページで、上部のフィルターから DataWorks ワークスペースのリージョンを選択します。次に、ワークスペースのリストで、ワークスペース名をクリックして監視詳細を表示します。
サポートされるメトリック
リアルタイム同期タスクでは、DataWorks Data Integration は CloudMonitor で次の 4 つのカテゴリのメトリックを提供します。
基本メトリック
説明：これらのメトリックは、レイテンシーやデータ転送量など、リアルタイム同期タスクのコアランタイムステータスを監視します。
ディメンション：セカンダリフィルターで、[ソリューションタスク ID + サブタスク ID] を選択します。ソースがデータベースとテーブルシャーディングを使用するソリューションの場合、メトリックを正確に表示するにはサブタスク ID も指定する必要があります。
メトリック名 | 説明 | 単位 |
ビジネスレイテンシー DIJobDelayTime | ソースからデスティネーションまでのエンドツーエンドの同期レイテンシー。 | ms |
ソースの読み取りレコード数 DIJobTotalRecordsRead | ソースから読み取られたレコードの総数。 | レコード |
デスティネーションの書き込みレコード数 DIJobTotalRecordsWrite | デスティネーションに書き込まれたレコードの総数。 | レコード |
ソースの読み取りレート DIJobSpeedRecordsRead | ソースからレコードが読み取られるレート。 | レコード/秒 |
デスティネーションの書き込みレート DIJobSpeedRecordsWrite | デスティネーションにレコードが書き込まれるレート。 | レコード/秒 |
リソース使用率メトリック
説明：これらのメトリックは、リアルタイム同期タスクを実行するノードのリソース消費量を監視します。これは、スケールアウトするか、リソース設定を調整するかを決定するのに役立ちます。
ディメンション：
セカンダリフィルターで、[ソリューションタスク ID + サブタスク ID] を選択します。ソースがデータベースとテーブルシャーディングを使用するソリューションの場合、メトリックを正確に表示するにはサブタスク ID も指定する必要があります。
ワーカー関連のメトリックについては、[ワーカー ID] でデータ系列を分割して、ワーカーノード間のリソース消費量を比較できます。
メトリック名 | 説明 | 単位 |
マスターノードの CPU 使用率 DIJobMasterCpuUtilization | タスクのマスターノードの CPU 使用率。 | % |
マスターノードのメモリ使用率 DIJobMasterMemUtilization | タスクのマスターノードのヒープメモリ使用率。 | % |
マスターノードのリソース使用率 DIJobMasterResourceUtilization | マスターノードの CPU とメモリ使用率のうち、高い方の値。 | % |
ワーカーノードの CPU 使用率 DIJobWorkerCpuUtilization | 各ワーカーノードの CPU 使用率。 | % |
ワーカーノードのメモリ使用率 DIJobWorkerMemUtilization | 各ワーカーノードのメモリ使用率。 | % |
ワーカーノードのリソース使用率 DIJobWorkerResourceUtilization | ワーカーノードの CPU とメモリ使用率のうち、高い方の値。 | % |
タスクレベルの DML メトリック
説明：これらのメトリックを使用して、リアルタイム同期タスク内のさまざまなタイプの DML 操作 (Insert、Update、Delete) の実行を監視します。これらのメトリックは、タスクまたはサブタスクレベルでの DML 操作の総数をカウントします。
ディメンション：セカンダリフィルターで、[ソリューションタスク ID + サブタスク ID] を選択します。ソースがデータベースとテーブルシャーディングを使用するソリューションの場合、メトリックを正確に表示するにはサブタスク ID も指定する必要があります。
メトリック名 | 説明 | 単位 |
タスクレベルのソース挿入 DIJobTotalDmlInsertRead | タスクによってソースから読み取られた Insert 操作の数。 | レコード |
タスクレベルのソース更新 DIJobTotalDmlUpdateRead | タスクによってソースから読み取られた Update 操作の数。 | レコード |
タスクレベルのソース削除 DIJobTotalDmlDeleteRead | タスクによってソースから読み取られた Delete 操作の数。 | レコード |
タスクレベルのデスティネーション挿入 DIJobTotalDmlInsertWrite | タスクによってデスティネーションに書き込まれた Insert 操作の数。 | レコード |
タスクレベルのデスティネーション更新 DIJobTotalDmlUpdateWrite | タスクによってデスティネーションに書き込まれた Update 操作の数。 | レコード |
タスクレベルのデスティネーション削除 DIJobTotalDmlDeleteWrite | タスクによってデスティネーションに書き込まれた Delete 操作の数。 | レコード |
テーブルレベルの DML メトリック
説明：これらのメトリックを使用して、さまざまなタイプの DML 操作 (Insert、Update、Delete) の実行を監視します。これらのメトリックは、特定のタスクまたはサブタスクのテーブルレベルでの DML 操作の総数をカウントします。
ディメンション：
セカンダリフィルターで、[ソリューションタスク ID + サブタスク ID + データベース名 + スキーマ名 + テーブル名] を選択します。ソースがデータベースとテーブルシャーディングを使用するソリューションの場合、サブタスク ID も指定する必要があります。
データを表示するには、正確なテーブル名を指定する必要があります。ソースメトリックについては、ソースのデータベース名、スキーマ名、テーブル名を選択します。デスティネーションメトリックについては、デスティネーションのデータベース名、スキーマ名、テーブル名を選択します。
ソースメトリック
メトリック名 | 説明 | 単位 |
テーブルレベルのソース挿入 DIJobTableDmlInsertRead | 特定のソーステーブルから読み取られた Insert 操作の数。 | レコード |
テーブルレベルのソース更新 DIJobTableDmlUpdateRead | 特定のソーステーブルから読み取られた Update 操作の数。 | レコード |
テーブルレベルのソース削除 DIJobTableDmlDeleteRead | 特定のソーステーブルから読み取られた Delete 操作の数。 | レコード |
デスティネーションメトリック
メトリック名 | 説明 | 単位 |
テーブルレベルのデスティネーション挿入 DIJobTableDmlInsertWrite | 特定のデスティネーションテーブルに書き込まれた Insert 操作の数。 | レコード |
テーブルレベルのデスティネーション更新 DIJobTableDmlUpdateWrite | 特定のデスティネーションテーブルに書き込まれた Update 操作の数。 | レコード |
テーブルレベルのデスティネーション削除 DIJobTableDmlDeleteWrite | 特定のデスティネーションテーブルに書き込まれた Delete 操作の数。 | レコード |
アラームルールの設定
アラームルールの設定に関する詳細については、「アラームルールの作成」をご参照ください。
よくある質問
Q：CloudMonitor で DataWorks Data Integration のメトリックが表示されないのはなぜですか。
A：次の項目を確認してください。
CloudMonitor サービスが有効になっていることを確認します。
DataWorks ワークスペースでリアルタイム同期タスクが実行されていることを確認します。メトリックレポートは最新のエンジンバージョンに依存します。最新バージョンを適用するには、タスクの再起動が必要になる場合があります。
プライマリフィルターで正しいリージョンと DataWorks ワークスペースが選択されていることを確認します。
Q：データベースとテーブルシャーディングタスクのサブタスクのメトリックを表示するにはどうすればよいですか。
A：セカンダリフィルターで、ソリューションタスク ID の選択に加えて、対応するサブタスク ID (たとえば、MySQL のデータベースとテーブルシャーディングシナリオにおける各シャーディングテーブルのサブタスクなど) も選択する必要があります。サブタスク ID はメトリックディメンションとして利用でき、ドロップダウンリストから選択できます。
Q：テーブルレベルの DML メトリックにデータが表示されないことがあるのはなぜですか。
A：テーブルレベルの DML メトリックでは、特定のデータベース名、スキーマ名、テーブル名を選択する必要があります。選択した時間範囲内にテーブルで対応する DML 操作 (Delete 操作など) が発生しなかった場合、メトリックにはデータが表示されないか、ゼロになります。