すべてのプロダクト
Search
ドキュメントセンター

DataWorks:リアルタイム同期ノードの運用と保守

最終更新日:Jan 11, 2025

DataStudio でリアルタイム同期ノードを作成し、本番環境にコミットおよびデプロイした後、運用センターでノードを実行できます。さらに、監視とアラートを設定してノードの状態を監視し、運用センターでノードの実行に関連するメトリックを表示できます。このトピックでは、リアルタイム同期ノードで実行できる一般的な運用と保守の操作について説明します。

前提条件

リアルタイム同期ノードが作成およびデプロイされています。詳細については、「DataStudio でリアルタイム同期タスクを作成する」および「データベースからのすべての増分データを同期するようにリアルタイム同期ノードを設定する」をご参照ください。

リアルタイム同期ノードの実行と管理

リアルタイム同期ノードを作成およびデプロイした後、運用センターのリアルタイム DI ページでノードを [開始][停止]、または [デプロイ解除] できます。リアルタイム DI ページに移動するには、次の手順を実行します。DataWorks コンソールにログオンし、[運用センター] ページに移動します。運用センターページで、左側のナビゲーションペインの [リアルタイムノード O&M] > [リアルタイム同期ノード] を選択します。リアルタイム同期ノードの実行と管理方法の詳細については、「リアルタイム同期タスクの管理」をご参照ください。

説明

リアルタイム同期ノードの操作列で [開始] をクリックしてノードを開始した後、データ同期のオフセットと、指定された期間内に許可されるフェイルオーバーの最大数を指定できます。

  • オフセット: 指定されたオフセットからの再開可能なアップロードまたはデータ同期がサポートされています。

  • フェイルオーバー: フェイルオーバーが原因でノードが頻繁に起動したときにシステムリソースが占有されるのを防ぐために、指定された期間内にフェイルオーバーの数が指定されたしきい値を超えたときにノードが自動的に停止するように設定できます。フェイルオーバーの最大数を指定しない場合、システムは 5 分以内にフェイルオーバーの数が 100 を超えるとノードを自動的に停止します。

リアルタイム同期ノードの監視

リアルタイム同期ノードで発生するエラーによるデータ出力の遅延を防ぐために、ノードの監視とアラート設定を構成して、運用センターでノードを監視できます。ノードの監視とアラート設定を構成するには、次の手順を実行します。DataWorks コンソールにログオンし、運用センターページに移動します。[運用センター] ページで、左側のナビゲーションペインの [リアルタイムノード O&M] > [リアルタイム同期ノード] を選択します。リアルタイム DI ページで、ノードを見つけて、[操作] 列の [アラーム設定] をクリックします。詳細については、「リアルタイム同期タスクの管理」をご参照ください。

  • アラート条件: [ノードステータス][ビジネス遅延][フェイルオーバー][DDL 操作の同期のサポート] などの条件に基づいて監視とアラートを設定できます。

    説明

    ソースで実行される DDL 操作によって生成されるデータ変更の同期のサポートは、デスティネーションの種類によって異なります。特定の種類のデスティネーションでは、このようなデータ変更の同期がサポートされていない場合があります。このようなデスティネーションをリアルタイム同期ノードに使用し、このアラート条件に基づいてノードのアラートルールを設定すると、ノードの実行中に関連エラーが報告される場合があります。サポートされている DDL 操作の詳細については、「サポートされている DML および DDL 操作」をご参照ください。

  • 通知方法: [メール][テキストメッセージ]、、[dingtalk] などの方法がサポートされています。

  • アラート頻度制御: 短期間に多数のアラートが報告されるのを防ぐために、DataWorks ではリアルタイム同期ノードのアラート頻度を制御できます。アラートルールの設定を構成して、DataWorks が指定された期間内に 1 つのアラート通知のみを送信できるようにすることができます。

LogView を使用してノードに関する実行中の情報を表示する

説明

この機能は招待制プレビュー段階です。この機能を使用する場合は、技術担当者にお問い合わせください。

データ統合の LogView 機能は、イベントに基づいてデータ統合のデータ同期ノードに関するデータを収集し、データを分析および処理し、分析および処理結果を視覚化された方法で表示するために使用されます。LogView は、データ同期ノードのデータ転送速度やログなどの情報をより細かい粒度で表示および分析できます。

運用センターページの左側のナビゲーションペインで、[リアルタイムタスク] > [リアルタイム DI] を選択します。リアルタイム DI ページで、目的のリアルタイム同期ノードを見つけて、ノードの名前をクリックします。ノードに関する実行中の情報を表示できるページが表示されます。次の表に、ページの情報について説明します。

[タブ]

説明

[ログ]

このタブでは、リアルタイム同期ノードのログの詳細を表示し、時間別にログを検索できます。

[進捗状況]

このタブでは、リアルタイム同期ノードの進捗状況の詳細を表示できます。進捗状況は、[ビジネスレイテンシ][同期されるデータレコードの数][同期されるバイト数][同期されたデータレコードのデータ転送速度][同期されたバイトのデータ転送速度][ウィンドウ待機時間] などのメトリックによって示されます。

また、このタブでは次の操作を実行することもできます。

  • タイムピッカーを使用して、指定された期間内のリアルタイム同期ノードの同期情報を検索できます。

    説明

    15 日以内のノードに関する同期詳細を表示できます。

  • [ノードリスト] の右側にある Custom columns アイコンをクリックして、表示する列を選択できます。

  • [ノードリスト] セクションで、[ワーカーのリスト][タスクのリスト] を切り替えることができます。

    • ワーカーのリストには、リアルタイム同期ノードを実行するために開始されたスレッドが一覧表示されます。リアルタイム同期ノードが分散実行モードで実行されていない場合は、1 つのワーカーのみが開始されます。リアルタイム同期ノードが分散実行モードで実行されている場合は、複数のワーカーが開始されます。ワーカーの数は、リアルタイム同期ノードの並列処理に依存します。

    • タスクのリストには、ワーカー内のタスクが一覧表示されます。タスクは、リーダータスクとライタータスクの 2 つのタイプに分類されます。ノードに設定した並列処理に基づいて、各ワーカーを実行するには、1 つ以上のリーダータスクと 1 つ以上のライタータスクが必要になる場合があります。

    ノードリストのノードのメトリックの値をクリックすると、曲線チャートでメトリックの値の変化を表示できます。

[データベース DDL イベント]

このタブでは、ソースで識別された DDL 操作レコードを表示できます。

[データベース DML 統計]

このタブでは、ソーステーブルとデスティネーションテーブルに関する統計分析結果を表示できます。

[フェイルオーバー]

このタブでは、フェイルオーバーのステータスと、リアルタイム同期ノードのフェイルオーバー数の曲線チャートを表示できます。また、フェイルオーバーの [ログの詳細] 列の [表示] をクリックして、フェイルオーバーのログを表示することもできます。

リアルタイム同期ノードの変更

[datastudio] ページに移動して、リアルタイム同期ノードの設定を変更できます。変更を有効にするには、変更前にノードを停止し、変更後にノードをコミットして再デプロイし、[運用センター] のリアルタイム DI ページでノードを開始する必要があります。

リアルタイム同期ノードの DDL メッセージの処理ルールの変更

リアルタイム同期ノードを開始する前に、DataStudio ページに移動して、ソースの DDL メッセージを処理するためにノードに設定されているルールを変更できます。詳細については、「データベースからのすべての増分データを同期するようにリアルタイム同期ノードを設定する」をご参照ください。

説明

[datastudio] ページでのリアルタイム同期ノードへの変更を有効にするには、変更前にノードを停止し、変更後にノードをコミットして再デプロイし、[運用センター] のリアルタイム DI ページでノードを開始する必要があります。

FAQ

リアルタイム同期タスクのレイテンシが高いのはなぜですか?