DataWorks:DataStudio でリアルタイム同期タスクを構成する

単一テーブルのリアルタイム同期タスクを構成する

1. ソースデータソースを構成します。

   単一テーブルのデータ同期では、次のソースデータソースタイプとその構成がサポートされています:

   • ソースとして MySQL を構成する

   • ソースとして DataHub を構成する

   • ソースとして LogHub (SLS) を構成する

   • ソースとして Kafka を構成する

   • ソースとして PolarDB を構成する

   1. リアルタイム同期タスク構成ページの左側にある [入力] セクションで、ターゲットのソースデータソースコンポーネントを右側のパネルにドラッグします。

      

   2. ソースコンポーネントをクリックし、右側の [ノード構成] パネルでそのパラメーターを構成します。

2. オプション: データ変換メソッドを構成します。

   リアルタイム同期中にソースデータを必要な出力フォーマットに変換する場合は、データ変換メソッドを構成できます。

   単一テーブルのデータ同期では、次の変換メソッドがサポートされています:

   • データフィルタリング変換を構成する: フィールドのサイズなどのルールに基づいてデータをフィルタリングできます。ルールを満たすデータのみが保持されます。

   • 文字列の置換を構成する: 文字列フィールドを置き換えることができます。

   • データマスキングを構成する: リアルタイムで同期される単一テーブルのデータをマスキングし、指定されたデータベースの場所に保存できます。

   1. 構成ページの左側にある [変換] セクションで、必要なデータ変換コンポーネントを右側のパネルにドラッグします。ソースコンポーネントにカーソルを合わせると、その接続ポイントが表示されます。ソースコンポーネントの下のポイントを変換コンポーネントの上のポイントに接続します。接続後、[ノード構成] パネルで変換コンポーネントを構成できます。

      

   2. 変換コンポーネントをクリックし、右側の [ノード構成] パネルでそのパラメーターを構成します。

3. ターゲットデータソースを構成します。

   単一テーブルのデータ同期では、次のターゲットデータソースタイプとその構成がサポートされています:

   • ターゲットとして MaxCompute を構成する

   • ターゲットとして Hologres を構成する

   • ターゲットとして DataHub を構成する

   • ターゲットとして Kafka を構成する

   • ターゲットとして Elasticsearch を構成する

   1. 構成ページの左側にある [出力] セクションで、ターゲットのデータソースコンポーネントを右側のパネルにドラッグし、アップストリームコンポーネントに接続します。ターゲットデータソース、テーブル、およびフィールドマッピングを構成します。ターゲットテーブルが存在しない場合は、[ワンクリックでテーブルを作成] をクリックしてすばやく作成できます。

      

   2. ターゲットコンポーネントをクリックし、右側の [ノード構成] パネルでそのパラメーターを構成します。

4. キャンバスの上にあるツールバーで、[保存] をクリックしてタスク構成を完了します。

データベース全体のリアルタイム同期タスクを構成する

1. ソースと同期ルールを設定します。

   1. [データソース] セクションで、同期するデータソースの [タイプ] と [データソース] 名を選択します。

   2. 同期するテーブルを選択します。

      [同期するソーステーブルを選択] セクションには、選択したデータソース内のすべてのテーブルが表示されます。[ソースデータベースとテーブル] セクションで、同期するデータベースからすべてのテーブルまたは一部のテーブルを選択します。次に、 アイコンをクリックして、[選択したデータベースとテーブル] リストに移動します。

      重要

      選択したテーブルにプライマリキーがない場合、リアルタイムで同期することはできません。

   3. テーブル名のマッピングルールを設定します。

      このステップでは、同期するソースデータソースからデータベースとテーブルを選択できます。デフォルトでは、同期ソリューションはソースデータベースとテーブルを、ターゲット内の同じ名前のスキーマまたはテーブルに書き込みます。スキーマまたはテーブルがターゲットに存在しない場合は、自動的に作成されます。[テーブル (データベース) 名のマッピングルールを設定] を使用して、ターゲットスキーマまたはテーブルの名前を定義することもできます。これにより、複数のテーブルのデータを単一のテーブルに書き込んだり、ターゲットに書き込むときにソースデータベースまたはテーブル名の固定プレフィックスを別のプレフィックスに更新したりできます。

      • ソースとターゲットのテーブル名変換ルール: 正規表現を使用して、ソーステーブル名を最終的なターゲットテーブル名に変換できます。

        • 例 1: `doc_` プレフィックスを持つソーステーブルから `pre_` プレフィックスを持つターゲットテーブルにデータを書き込みます。

        • 例 2: 複数のテーブルから単一のターゲットテーブルにデータを書き込みます。

          「table_01」、「table_02」、「table_03」という名前のソーステーブルを「my_table」という名前の単一のターゲットテーブルに同期するには、テーブル名の正規表現変換ルールを次のように構成します: [ソース] を `table.*` に設定し、[ターゲット] を `my_table` に設定します。

      • ターゲットテーブル名ルール: 組み込み変数の組み合わせを使用して、ターゲットテーブル名を生成できます。変換されたターゲットテーブル名にプレフィックスとサフィックスを追加することもできます。利用可能な組み込み変数は次のとおりです:

        • ${db_table_name_src_transed}: 「ソースとターゲットのテーブル名変換ルール」での変換後のテーブル名。

        • ${db_name_src_transed}: 「ソースデータベースとターゲットスキーマ名変換ルール」での変換後のターゲットスキーマ名。

        • ${ds_name_src}: ソースデータソース名。

        例: 前のステップでソースとターゲットのテーブル名変換ルールによって変換されたテーブル名をさらに処理します。前のステップの結果である「my_table」を表すために `${db_table_name_src_transed}` を使用します。次に、この組み込み変数に `pre_${db_table_name_src_transed}_post` などのプレフィックスとサフィックスを追加します。最終的なターゲットテーブル名は「pre_my_table_post」になります。

      • ソースデータベースとターゲットスキーマ名の変換ルール: 正規表現を使用して、ソーススキーマ名を最終的なターゲットスキーマ名に変換できます。

        例: ソースデータベース名の `doc_` プレフィックスを `pre_` プレフィックスに置き換えます。

2. ターゲットデータソースを選択し、ターゲットテーブルまたは Topic を構成します。

   1. [ターゲットテーブルまたは Topic を設定] ページで、[ターゲットデータソース] の基本情報を構成します。これには、書き込みモードやパーティション設定などのパラメーターが含まれます。具体的な構成は、各データソースのリアルタイム同期インターフェイスによって異なります。

   2. [ソースとターゲットのテーブルマッピングを更新] をクリックして、同期するソーステーブルとターゲットテーブル間のマッピングを作成します。

      [追加フィールドを編集] をクリックして、ターゲットスキーマとテーブル名をカスタマイズし、ターゲットテーブルに定数と変数を追加できます。具体的な構成は、各データソースのリアルタイム同期インターフェイスによって異なります。

      説明

      多数のテーブルを同期する場合、プロセスが遅くなることがあります。お待ちください。

3. オプション: テーブルレベルの同期ルールを設定します。

   一部の同期ソリューションは、カスタムのテーブルレベル DML 処理ポリシーをサポートしています。これは、ソーステーブルで発生する挿入、更新、または削除操作に対応する処理ポリシーを定義できることを意味します。

   説明

   サポートされている DML 操作はデータソースによって異なる場合があります。同期ソリューションが DML 処理ポリシーをサポートするかどうかは、プロダクトインターフェイスによって異なります。データソースでサポートされている DML 操作の詳細については、「サポートされている DML および DDL 操作」をご参照ください。

4. DDL メッセージ処理ルールを設定します。

   ソースデータソースには多くの DDL 操作が含まれる場合があります。リアルタイム同期中に、ビジネスニーズに基づいてターゲットに送信されるさまざまな DDL メッセージの処理ポリシーを設定できます。サポートされている DDL 操作はデータソースによって異なる場合があります。詳細については、「サポートされている DML および DDL 操作」をご参照ください。[データ統合] > [構成オプション] > [リアルタイム同期 DDL メッセージ処理ポリシー] ページで、各ターゲットデータベースタイプの DDL 処理ポリシーを設定できます。次の表に、DDL メッセージ処理ポリシーを示します。

   DDL メッセージタイプ	処理ポリシー
   テーブルの作成	DataWorks が対応するタイプの DDL メッセージを受信した場合の処理ポリシーは次のとおりです: [通常処理]: メッセージをターゲットデータソースに転送して処理します。ターゲットデータソースによって DDL メッセージの処理ポリシーが異なる場合があるため、DataWorks はメッセージを転送するだけです。 [無視]: メッセージを破棄し、ターゲットデータソースに送信しません。 [アラート]: メッセージを破棄し、実行エラーのためにメッセージが破棄されたことを示すアラートをリアルタイム同期ログに記録します。 [エラー]: リアルタイム同期タスクはすぐにエラー状態になり、実行を停止します。
   テーブルの削除
   列の追加
   列の削除
   テーブル名の変更
   列名の変更
   列タイプの変更
   テーブルの切り捨て

5. ランタイムリソースを設定します。

   • タスクの同時実行制御機能は、データベースへの読み取りおよび書き込みのための同時接続の最大数を制限します。

   • 同期タスクがダーティデータを許容するかどうかを制御できます。

     • ダーティデータが許可されていない場合、実行中にダーティデータが生成されるとタスクは失敗して終了します。

     • ダーティデータが許可されている場合、タスクはダーティデータを無視し (ターゲットには書き込まれません)、正常に実行を続行します。

6. [構成を完了] をクリックします。

DataStudio で構成された単一テーブルのリアルタイム統合タスクを、[プライマリサイトに移行] をクリックして [データ統合] ページに移行できます。

1. 移行する単一テーブルのリアルタイム統合タスクをダブルクリックします。タスク構成ページで、[プライマリサイトに移行] をクリックしてタスクを移行します。

   

2. 左上隅の アイコンをクリックし、[すべてのプロダクト] > [データ統合] を選択します。[同期タスク] ページで、タスクリストに正常に移行された単一テーブルのリアルタイム統合タスクを表示できます。