DataWorks:リアルタイム同期機能の概要

機能

説明

さまざまなデータソース間のデータ同期

リアルタイム同期機能を使用すると、複数のタイプのデータソースを組み合わせてスター型のデータ同期リンクを形成できます。 異なるタイプのデータソース間でデータを同期できます。 詳細については、「リアルタイム同期をサポートするデータソースの種類」をご参照ください。

複雑なネットワーク環境にデプロイされているデータソースとのデータ同期

リアルタイム同期機能は、Alibaba Cloud データソース、データセンター、Elastic Compute Service (ECS) インスタンスでホストされているデータソース、および Alibaba Cloud に属していないデータソースとのデータ同期をサポートしています。 データソースがデプロイされているネットワーク環境に基づいて、リソースグループとデータソース間のネットワーク接続を確立するために適切なネットワーク接続ソリューションを選択できます。 データ同期ノードを構成する前に、Data Integration 用のリソースグループとデータソース間にネットワーク接続が確立されていることを確認する必要があります。 リソースグループとデータソース間のネットワーク接続を確立する方法の詳細については、「ネットワーク接続ソリューション」をご参照ください。

データ同期シナリオ

リアルタイム同期機能を使用すると、単一テーブルから別の単一テーブルへの増分データをリアルタイムで同期したり、シャーディングされたデータベースのテーブルから単一テーブルへの増分データをリアルタイムで同期したり、データベース内の複数のテーブルから複数のテーブルへの増分データをリアルタイムで同期したりできます。

• 単一テーブルからの増分データのリアルタイム同期: 単一テーブルからの増分データのリアルタイム ETL (抽出、変換、書き出し) をサポートします。

• 1 つ以上のデータベースのテーブルからの増分データのリアルタイム同期:

  • ソース データベース内のすべてのテーブルから宛先への変更ログの同期をサポートします。 ほとんどの場合、この同期モードはリアルタイムログを収集するために使用されます。

  • 同じソースの複数のデータベースの複数のテーブルからのデータの同時同期をサポートします。 データ同期ノードでは、最大 3,000 のソース テーブルを指定できます。

リアルタイム同期ノードの構成

リアルタイム同期機能は、リアルタイム同期ノードを構成できるように、次の機能を提供します。 ノードを構成するためにコードを記述する必要はありません。 単一テーブルからの増分データのリアルタイム ETL、またはデータベース内の複数のテーブルからの増分データのリアルタイム同期を実行するには、ノードに対して簡単な構成を行うだけで済みます。 詳細については、「単一テーブルから増分データを同期するためのリアルタイム同期ノードの構成」および「データベースからすべての増分データを同期するためのリアルタイム同期ノードの作成」をご参照ください。

• 単一テーブルからの増分データのリアルタイム同期:

  • グラフィカル開発がサポートされています。 リアルタイム同期ノードを開発するためにコードを記述する必要はありません。 代わりに、ドラッグアンドドロップ操作を実行するだけで済みます。

  • 単一テーブルからの増分データのリアルタイム ETL がサポートされています。 [データフィルタリング] ノード、[文字列置換] ノード、または [データマスキング] ノードを使用してソースのデータを処理し、処理されたデータを宛先に同期できます。

    • データフィルタリング: データフィルタリング ノードを使用して、フィールドサイズなどの特定のルールに基づいてソースのデータをフィルタリングできます。 ルールに一致するデータのみが保持されます。

    • 文字列置換: 文字列置換ノードを使用して、STRING タイプのフィールド値を置き換えることができます。

    • データマスキング: データマスキング ノードを使用して、リアルタイムで同期する単一テーブルのデータをマスキングし、処理されたデータを宛先に同期できます。

• データベース内の複数のテーブルからの増分データのリアルタイム同期:

  • 宛先スキーマまたはテーブルのカスタム名を指定する

    リアルタイム同期ノードを実行して、データベース内の複数のテーブルから宛先に増分データを同期する場合、増分データは、ソース スキーマまたはテーブルと同じ名前の宛先スキーマまたはテーブルに自動的に書き込まれます。 宛先にソース スキーマまたはテーブルと同じ名前のスキーマまたはテーブルが含まれていない場合、システムは宛先にそのようなスキーマまたはテーブルを作成し、スキーマまたはテーブルのカスタム名を指定できます。

  • 宛先にフィールドを追加し、フィールドに値を割り当てる

    リアルタイム同期ノードを実行して、データベース内の複数のテーブルから宛先に増分データを同期する場合、システムは、同じ名前を持つソース フィールドと宛先フィールド間のマッピングを確立します。 ソースのフィールドの値は、ソースのフィールドと同じ名前を持つ宛先のフィールドに書き込まれます。 宛先にマップされたフィールドがないフィールドの場合、フィールド値を同期できません。 宛先テーブルにフィールドを追加し、定数または変数を値としてフィールドに割り当てることができます。

    説明

    MySQL、Oracle、LogHub、または PolarDB データソースから DataHub または Kafka データソースにデータをリアルタイムで同期する場合、Data Integration は宛先に 5 つのフィールドを追加します。 これらのフィールドは、メタデータ管理、ソート、重複排除などの操作に使用されます。 詳細については、「リアルタイム同期に使用されるフィールド」をご参照ください。

  • DDL または DML メッセージを処理するためのルールを構成する

    DDL 操作はソースで実行される場合があります。 データをリアルタイムで同期する前に、ビジネス要件に基づいてさまざまな DDL メッセージを処理するためのルールを構成できます。

    説明

    ソースに対する DDL および DML 操作のさまざまな宛先のサポートの詳細については、「サポートされている DML および DDL 操作」をご参照ください。

リアルタイム同期ノードの O&M

• リアルタイム同期ノードのアラートおよびモニタリング設定を構成する

  • 再開可能なアップロードがサポートされています。

  • ビジネス遅延、フェールオーバー、DDL 文のサポート、ハートビート チェックなどの条件に基づいて、リアルタイム同期ノードのアラートおよびモニタリング設定を構成できます。 詳細については、「リアルタイム同期ノードの O&M」をご参照ください。

  • 指定されたアラート受信者に電子メール、ショートメッセージ、または DingTalk メッセージでアラート通知を送信するように DataWorks を構成できます。 これにより、アラート受信者は例外をできるだけ早く特定してトラブルシューティングできます。

  • アラート頻度を制御できます。 短期間に多数のアラートが生成されるのを防ぐために、DataWorks ではリアルタイム同期ノードのアラート頻度を制御できます。 関連設定を構成して、指定された期間内にアラートルールに基づいて 1 つのアラート通知のみを送信するように DataWorks を有効にすることができます。

  • リアルタイム同期ノードを初めて起動すると、システムはノード関連のアラートを自動的に起動します。

  • リアルタイム同期ノードが停止すると、ハートビート アラートが有効になっている場合、システムはハートビート アラートを自動的に無効にします。

  • リアルタイム同期ノードを再起動すると、以前に自動的に無効になっていた場合、システムはハートビート アラートを自動的に再度有効にします。 ただし、ハートビート アラートが手動で無効にされた場合、そのステータスは変更されません。

• ダーティデータ レコードの許容最大数と、ダーティデータ レコードがリアルタイム同期ノードに及ぼす影響を指定する

  • ダーティデータの生成を許可せず、データ同期の際にダーティデータ レコードが生成された場合、リアルタイム同期ノードは失敗します。

  • ダーティデータの生成を許可し、許可されるダーティデータ レコードの最大数を指定した場合、生成されたダーティデータ レコードの数によって、ノードが失敗するかどうかが決まります。 生成されたダーティデータ レコードの数が指定された制限を超えない場合、ダーティデータは無視され、ノードは引き続き実行されます。 生成されたダーティデータ レコードの数が指定された制限を超えると、ノードは失敗します。

  説明

  ダーティデータ レコードの詳細については、「用語」をご参照ください。