:リアルタイム同期ノード

入力データソースを構成します。

1. ノード構成ページの左側にある [入力] セクションで、データソースコンポーネントをキャンバスにドラッグします。

   

2. 入力コンポーネントをクリックして、右側の [ノード構成] ダイアログボックスでそのパラメーターを構成します。

   単一テーブル同期では、次の入力データソースタイプがサポートされています。各データソースタイプの構成の詳細については、リンク先のトピックをご参照ください。

   • MySQL 入力の構成

   • DataHub 入力の構成

   • LogHub (SLS) 入力の構成

   • Kafka 入力の構成

   • PolarDB 入力の構成

(オプション) データ変換を構成します。

1. 左側の [変換] セクションで、変換コンポーネントをキャンバスにドラッグし、アップストリームコンポーネントに接続します。

   

2. 変換コンポーネントをクリックし、右側の [ノード構成] ダイアログボックスでそのパラメーターを構成します。

   単一テーブル同期では、次の変換メソッドがサポートされています。各メソッドの構成の詳細については、リンク先のトピックをご参照ください。

   • データフィルタリング: フィールドサイズなどのルールに基づいてデータをフィルター処理します。指定されたルールを満たすデータのみが保持されます。

   • 文字列の置換: 文字列フィールドの値を置き換えます。

   • データマスキング: リアルタイム同期中に単一テーブルのデータをマスキングし、マスキングされたデータを指定されたデータベースの場所に保存します。

   説明

   複数の変換コンポーネントを使用して、データをフィルター処理および加工できます。

出力データソースを構成します。

1. 左側の [出力] セクションで、ターゲット出力データソースコンポーネントをキャンバスにドラッグします。コンポーネントをそのアップストリームコンポーネントに接続します。ターゲットデータソース、テーブル、およびフィールドマッピングを構成します。ターゲットテーブルが存在しない場合は、[ワンクリックでテーブルを作成] をクリックして作成します。

   

2. 出力コンポーネントをクリックして、右側の [ノード構成] ダイアログボックスでそのパラメーターを構成します。

   単一テーブル同期では、次の出力データソースタイプがサポートされています。各データソースタイプの構成の詳細については、リンク先のトピックをご参照ください。

   • MaxCompute 出力の構成

   • Hologres 出力の構成

   • AnalyticDB for MySQL 3.0 出力の構成

   • DataHub 出力の構成

   • Kafka 出力の構成

   • Elasticsearch 出力の構成

キャンバスの上にあるツールバーで、[保存] をクリックしてタスク構成を保存します。

同期ソースとルールを構成します。

1. [データソース] セクションで、[タイプ] と [データソース] を選択します。

2. [同期するソーステーブルの選択] セクションで、[ソーステーブル] エリアから 1 つ以上のテーブルを選択し、 アイコンをクリックして [選択したテーブル] エリアに移動します。

3. テーブル名のマッピングルールを設定します。

   説明

   このステップでは、同期するソースからデータベースとテーブルを選択できます。デフォルトでは、ソースデータベースまたはテーブルのデータは、同じ名前のターゲットスキーマまたはテーブルに書き込まれます。ターゲットスキーマまたはテーブルが存在しない場合、システムは自動的に作成します。また、[テーブル/データベース名マッピングルールの設定] を使用して、ターゲットスキーマまたはテーブルの名前をカスタマイズすることもできます。

   • [ソースとターゲットのテーブル名変換ルール]: 正規表現を使用して、ソーステーブル名をターゲットテーブル名に変換できます。

     • 例 1: この例では、プレフィックスが doc_ のソーステーブルから、プレフィックスが pre_ のターゲットテーブルにデータを同期します。

     • 例 2: 複数のテーブルから単一のターゲットテーブルにデータを書き込みます。

       ソーステーブル table_01、table_02、および table_03 から単一のテーブル my_table にデータを同期するには、[ソース] を table_* に、[ターゲット] を my_table に設定して正規表現変換ルールを構成します。

   • [ターゲットテーブル名ルール]: 組み込み変数を使用してターゲットテーブル名を生成できます。生成された名前にプレフィックスとサフィックスを追加することもできます。使用可能な組み込み変数は次のとおりです:

     • ${db_table_name_src_transed}: ソースとターゲットのテーブル名変換ルールに基づいて変換された後のテーブルの名前。

     • ${db_name_src_transed}: ソースデータベースとターゲットスキーマ名の変換ルールによって生成されたターゲットスキーマ名。

     • ${ds_name_src}: ソースデータソースの名前。

     たとえば、前のステップでテーブル名変換ルールを使用してソーステーブルの名前を my_table に変更した場合、新しいテーブル名に対してさらに文字列連結を実行できます。プレフィックスとサフィックスを追加するには、前のステップの結果を表す ${db_table_name_src_transed} 変数を使用します。たとえば、式 pre_${db_table_name_src_transed}_post は、ソーステーブルを pre_my_table_post という名前のターゲットテーブルにマッピングします。

4. [次へ] をクリックして、[ターゲットテーブルの設定] ページに進みます。

ターゲットテーブルを設定します。

1. [ターゲットテーブルの設定] または [Topic] ページで、書き込みモードやパーティション設定など、ターゲットデータソース の基本情報を構成できます。使用可能な設定は、各データソースのリアルタイム同期インターフェイスによって異なります。

2. [ソースとターゲットのテーブルマッピングを更新] をクリックして、ソーステーブルとターゲットテーブル間のマッピングを作成します。

   • [追加フィールドの編集] または [ターゲットテーブルの追加フィールドを一括編集] を使用して、定数、変数、およびその他の操作をターゲットテーブルに追加できます。構成は、各データソースのリアルタイム同期インターフェイスによって異なります。

   • ターゲットテーブルにプライマリキーがない場合、移行はサポートされません。代替として、[同期プライマリキー] を設定できます。

   説明

   多数のテーブルを同期している場合、プロセスが遅くなることがあります。プロセスが完了するまでお待ちください。

3. [次へ] をクリックして、[テーブルレベルの同期ルールの設定] ページに進みます。

   説明

   システムが一部のテーブルを自動的に作成する必要があると検出した場合、次のステップに進む前にテーブルが作成されるのを待つ必要があります。

(オプション) テーブルレベルの同期ルールを設定します。

1. 一部の同期ソリューションは、カスタムのテーブルレベル DML 処理ポリシーをサポートしています。これにより、ソーステーブルで発生する挿入、更新、削除操作の処理方法を定義できます。

   説明

   サポートされる DML 操作はデータソースによって異なる場合があります。特定の同期ソリューションが DML 処理ポリシーをサポートするかどうかは、プロダクトインターフェイスによって異なります。さまざまなデータソースでサポートされている DML 操作の詳細については、「サポートされている DML および DDL 操作」をご参照ください。

2. [次へ] をクリックして、[DDL メッセージの処理ポリシーの設定] ページに進みます。

DDL メッセージ処理ルールを設定します。

[DDL メッセージの処理ポリシーの設定] ページでは、ソースデータソースで発生する DDL 操作の処理方法を構成できます。リアルタイム同期中に、必要に応じてターゲットに同期されるさまざまな DDL メッセージの処理ポリシーを設定できます。サポートされる DDL 操作はデータソースによって異なります。詳細については、「サポートされている DML および DDL 操作」をご参照ください。各ターゲットデータベースタイプに対して DDL 処理ポリシーを設定できます。次の表に、DDL メッセージ処理ポリシーを示します。

[次へ] をクリックして、[ランタイムリソースの設定] ページに移動します。

ランタイムリソースを設定します。

• [詳細構成] > [ターゲット書き込み同時実行数]: タスクがターゲットデータベースに書き込むための同時スレッドの最大数を指定します。

• [詳細設定] > [ダーティデータの許容]: 同期タスクがダーティデータを許容するかどうかを指定します。

  • ダーティデータを許可しない場合、実行中にダーティデータが生成されるとタスクは失敗して停止します。

  • ダーティデータを許可する場合、タスクはダーティデータを無視して実行を継続します。ダーティデータはターゲットに書き込まれません。

構成を完了します。

[構成の完了] をクリックして、データベース全体のリアルタイム同期タスクの構成を完了します。