DataStudio でリアルタイム同期ノードを作成し、本番環境にデプロイした後、オペレーションセンターでノードを実行およびモニターします。このトピックでは、リアルタイム同期ノードの一般的な運用保守 (O&M) 操作について説明します。これには、ノードの開始と停止、アラートの設定、実行メトリックの表示、ノード構成の変更方法などが含まれます。
前提条件
開始する前に、以下が完了していることを確認してください。
-
リアルタイム同期ノードが作成およびデプロイ済みであること。詳細については、「DataStudio でリアルタイム同期タスクを作成する」および「データベースからすべての増分データを同期するようにリアルタイム同期ノードを設定する」をご参照ください。
ノードの実行と管理
オペレーションセンターの Real Time DI ページで、リアルタイム同期ノードの開始、停止、またはデプロイ解除を行います。
Real Time DI ページに移動するには：DataWorks コンソールにログインし、[オペレーションセンター] に移動し、左側のナビゲーションウィンドウで [リアルタイムノード O&M] > [リアルタイム同期ノード] を選択します。
詳細な手順については、「リアルタイム同期タスクの管理」をご参照ください。
開始オプション
[操作] 列の [開始] をクリックする際に、以下のオプションを設定します。
|
オプション |
説明 |
|
オフセット |
指定された位置からデータ同期を再開します。再開可能なデータ同期と、指定されたオフセットからのアップロードをサポートします。 |
|
フェールオーバー |
指定された期間内に許可されるフェールオーバーの最大数を設定します。しきい値を超えると、ノードは自動的に停止し、繰り返しの再起動によるリソースの枯渇を防ぎます。しきい値が設定されていない場合、5 分以内にフェールオーバーが 100 回を超えるとノードは自動的に停止します。 |
アラートの設定
データ出力の遅延を引き起こす前にエラーを検出するために、アラート機能を設定します。
アラート設定を開くには：オペレーションセンターで [リアルタイムノード O&M] > [リアルタイム同期ノード] を選択し、対象のノードを見つけて [操作] 列の [アラーム設定] をクリックします。
詳細な手順については、「リアルタイム同期タスクの管理」をご参照ください。
アラート条件
以下のいずれかの条件に基づいてアラートを設定します。
|
条件 |
説明 |
|
ノードステータス |
ノードのステータスが予期せず変更された場合にアラートをトリガーします。 |
|
ビジネス遅延 |
データ同期レイテンシーがしきい値を超えた場合にアラートをトリガーします。 |
|
フェールオーバー |
ノードがフェールオーバーした場合にアラートをトリガーします。 |
|
DDL 同期 |
ソースで DDL 操作の変更が検出された場合にアラートをトリガーします。 |
DDL 同期のサポートは送信先タイプによって異なります。送信先が DDL 変更の同期をサポートしていない場合に DDL ベースのアラートルールを設定すると、ノード実行時に関連エラーが報告される可能性があります。サポートされている DDL 操作については、「サポートされている DML および DDL の操作」をご参照ください。
通知方法
アラートは、[メール]、[テキストメッセージ]、または [DingTalk] で送信できます。
アラート頻度制御
アラートストームを避けるために、頻度制御ルールを設定して、DataWorks が指定された期間内に 1 つのアラート通知のみを送信するようにします。
LogView を使用したノードメトリックの表示
LogView は招待プレビュー段階です。この機能を使用するには、テクニカル担当者にお問い合わせください。
Data Integration の LogView は、同期ノードからイベントベースのデータを収集、分析し、結果を視覚的に表示します。LogView を使用して、データ転送レートとログを詳細な粒度で表示できます。
LogView を開くには：オペレーションセンターで、左側のナビゲーションウィンドウから [RealTime Task] > [Real Time DI] を選択し、対象のノードを見つけてノード名をクリックします。
ノード詳細ページでは、以下のタブが利用可能です。
|
タブ |
説明 |
|
ログ |
ログの詳細を表示し、時間でログを検索します。 |
|
[進捗] |
メトリック別に同期の進捗を表示します：ビジネスレイテンシー、同期済みレコード数、同期済みバイト数、レコードのデータ転送レート、バイトのデータ転送レート、ウィンドウ待機時間。 |
|
[データベース DDL イベント] |
ソースで検出された DDL 操作レコードを表示します。 |
|
データベース DML 統計情報 |
ソーステーブルと送信先テーブルの統計分析結果を表示します。 |
|
[フェールオーバー] |
フェールオーバーのステータスとフェールオーバー回数の曲線チャートを表示します。[ログ詳細] 列の [表示] をクリックして、特定のフェールオーバーのログを表示します。 |
[進捗] タブでの関連操作
[進行状況] タブで:
-
タイムピッカーを使用して、特定の時間範囲の同期詳細を表示します。データは過去 15 日間利用可能です。
-
ノードリストの右側にあるアイコンをクリックして、表示する列を選択します。
-
ノードリストセクションで、ワーカーのリストとタスクのリストを切り替えます。
-
ワーカーのリスト：ノードを実行しているスレッドをリスト表示します。標準モードでは 1 つのワーカーが実行されます。分散実行モードでは、設定された並列度に応じて複数のワーカーが実行されます。
-
タスクのリスト：各ワーカー内のリーダータスクとライタータスクをリスト表示します。ワーカーあたりのタスク数は、設定された並列度によって異なります。
-
-
ノードリストのメトリック値をクリックして、その経時変化を曲線チャートで表示します。
ノード構成の変更
リアルタイム同期ノードの構成を変更するには、以下の手順を実行します。
-
オペレーションセンターの Real Time DI ページでノードを停止します。
-
DataStudio を開き、変更を加えます。
-
ノードをコミットして再デプロイします。
-
Real Time DI ページでノードを開始します。
DDL 処理ルールの変更
リアルタイム同期ノードを開始する前に、DDL メッセージ処理ルールを変更できます。手順は以下の通りです。
-
オペレーションセンターの Real Time DI ページでノードを停止します。
-
[DataStudio] を開き、DDL 処理ルールを更新します。詳細については、「データベースからのすべての増分データを同期するようにリアルタイム同期ノードを設定する」をご参照ください。
-
ノードをコミットして再デプロイします。
-
Real Time DI ページでノードを開始します。