Dataphin:リアルタイム統合タスクの作成

パラメーター

説明

データソース設定

データソースタイプ

[MySQL] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「MySQL データソースの作成」をご参照ください。

タイムゾーン

選択したデータソースに設定されているタイムゾーンを表示します。

同期ルール設定

同期ポリシー

[リアルタイム増分] または [リアルタイム増分 + 完全] を選択します。デフォルト値は [リアルタイム増分] です。

• リアルタイム増分: ソースデータベースから増分変更を収集し、発生順に下流のターゲットデータベースに書き込みます。

• リアルタイム増分 + 完全: ソースデータベースから完全データを一度にインポートし、その後、増分変更を収集して発生順に下流のターゲットデータベースに書き込みます。

選択方法

[データベース全体]、[テーブルの選択]、または [テーブルの除外] を選択できます。

• データベース全体: 選択したデータソース配下のすべてのデータベースのすべてのテーブルを同期します。

• [テーブルの選択]/[テーブルの除外]: 現在のデータベース内の一部のテーブルをリアルタイム同期用に選択します。テーブルを選択した後、[プレビュー] をクリックして、[選択]/[テーブルプレビューの除外] ダイアログボックスで一致したすべてのテーブルを表示できます。ダイアログボックスでは、キーワードでテーブルを検索し、テーブルを個別または一括で削除できます。正規表現の一致では削除はサポートされていません。

  • 一括選択/一括除外: 一括選択を使用すると、現在のデータベースで選択されたテーブルがリアルタイムで同期されます。一括除外を使用すると、選択されたテーブルは同期されません。

    選択したデータソース配下のすべてのデータベースのすべてのテーブルを選択できます。テーブルは DBname.Tablename 形式で表示されます。

  • 正規表現一致: [正規表現] ボックスにテーブル名の正規表現を入力します。schemaA.*|schemaB.* などの Java 正規表現がサポートされています。

    選択したデータソース配下のすべてのデータベースのすべてのテーブルを一括で照合できます。正規表現照合には、データベース名 (DBname) とテーブル名 (Tablename) を使用できます。

パラメーター

説明

データソース設定

データソースタイプ

[Microsoft SQL Server] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「Microsoft SQL Server データソースの作成」をご参照ください。

タイムゾーン

選択したデータソースに設定されているタイムゾーンを表示します。

同期ルール設定

同期ポリシー

[リアルタイム増分] のみがサポートされています。ソースデータベースからの増分変更は収集され、発生順にリアルタイムで下流のターゲットデータベースに書き込まれます。

選択方法

[データベース全体]、[テーブルの選択]、または [テーブルの除外] を選択できます。

• データベース全体: 現在のデータベース全体を同期します。

• [テーブルの選択]/[テーブルの除外]: 現在のデータベース内の一部のテーブルをリアルタイム同期用に選択します。テーブルを選択した後、[プレビュー] をクリックして、[選択]/[テーブルプレビューの除外] ダイアログボックスで一致したすべてのテーブルを表示できます。ダイアログボックスでは、キーワードでテーブルを検索し、テーブルを個別または一括で削除できます。

  一括選択/一括除外: 一括選択を使用すると、現在のデータベースで選択されたテーブルがリアルタイムで同期されます。一括除外を使用すると、選択されたテーブルは同期されません。

パラメーター

説明

データソース設定

データソースタイプ

[PostgreSQL] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「PostgreSQL データソースの作成」をご参照ください。

タイムゾーン

選択したデータソースに設定されているタイムゾーンを表示します。

同期ルール設定

同期ポリシー

[リアルタイム増分] のみがサポートされています。ソースデータベースからの増分変更は収集され、発生順にリアルタイムで下流のターゲットデータベースに書き込まれます。

選択方法

[データベース全体] または [テーブルの選択] を選択できます。

• データベース全体: 現在のデータベース全体を同期します。

• [テーブルの選択]: 現在のデータベース内の一部のテーブルをリアルタイム同期用に選択します。テーブルを選択した後、[プレビュー] をクリックして、[選択] [テーブルプレビュー] ダイアログボックスで一致したすべてのテーブルを表示できます。ダイアログボックスでは、キーワードでテーブルを検索し、テーブルを個別または一括で削除できます。

  一括選択: 現在のデータベースで選択されたテーブルがリアルタイムで同期されます。

パラメーター

説明

データソース設定

データソースタイプ

[Oracle] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「Oracle データソースの作成」をご参照ください。

タイムゾーン

選択したデータソースに設定されているタイムゾーンを表示します。

同期ルール設定

同期ポリシー

[リアルタイム増分] のみがサポートされています。ソースデータベースからの増分変更は収集され、発生順にリアルタイムで下流のターゲットデータベースに書き込まれます。

選択方法

[データベース全体]、[テーブルの選択]、または [テーブルの除外] を選択できます。

• データベース全体: 選択したデータソース配下のすべてのデータベースのすべてのテーブルを同期します。

• [テーブルの選択]/[テーブルの除外]: 現在のデータベース内の一部のテーブルをリアルタイム同期用に選択します。テーブルを選択した後、[プレビュー] をクリックして、[選択]/[テーブルプレビューの除外] ダイアログボックスで一致したすべてのテーブルを表示できます。ダイアログボックスでは、キーワードでテーブルを検索し、テーブルを個別または一括で削除できます。正規表現の一致では削除はサポートされていません。

  • 一括選択/一括除外: 一括選択を使用すると、現在のデータベースで選択されたテーブルがリアルタイムで同期されます。一括除外を使用すると、選択されたテーブルは同期されません。

  • 正規表現一致: [正規表現] ボックスにテーブル名の正規表現を入力します。schemaA.*|schemaB.* などの Java 正規表現がサポートされています。

パラメーター

説明

データソース設定

データソースタイプ

[IBM DB2] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「IBM DB2 データソースの作成」をご参照ください。

同期ルール設定

同期ポリシー

[リアルタイム増分] のみがサポートされています。ソースデータベースからの増分変更は収集され、発生順にリアルタイムで下流のターゲットデータベースに書き込まれます。

選択方法

[データベース全体]、[テーブルの選択]、または [テーブルの除外] を選択できます。

• データベース全体: 選択したデータソース配下のすべてのデータベースのすべてのテーブルを同期します。

• [テーブルの選択]/[テーブルの除外]: 現在のデータベース内の一部のテーブルをリアルタイム同期用に選択します。テーブルを選択した後、[プレビュー] をクリックして、[選択]/[テーブルプレビューの除外] ダイアログボックスで一致したすべてのテーブルを表示できます。ダイアログボックスでは、キーワードでテーブルを検索し、テーブルを個別または一括で削除できます。

  一括選択/一括除外: 一括選択を使用すると、現在のデータベースで選択されたテーブルがリアルタイムで同期されます。一括除外を使用すると、選択されたテーブルは同期されません。

パラメーター

説明

データソース設定

データソースタイプ

[Kafka] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「Kafka データソースの作成」をご参照ください。

ソーストピック

ソースデータの Topic を選択します。Topic 名のキーワードを入力して、あいまい検索を実行できます。

データ形式

[Canal JSON] のみがサポートされています。Canal JSON は Canal と互換性のある形式で、そのデータストレージ形式は Canal JSON です。

キータイプ

Kafka のキータイプで、KafkaConsumer の初期化時に key.deserializer の設定を決定します。[STRING] のみがサポートされています。

値のタイプ

Kafka の値のタイプで、KafkaConsumer の初期化時に value.deserializer の設定を決定します。[STRING] のみがサポートされています。

使用者グループ ID (オプション)

使用者グループの ID を入力します。使用者グループ ID は、ステータスオフセットを報告するために使用されます。

同期ルール設定

テーブルリスト

同期するテーブルの名前を入力します。複数のテーブル名は改行で区切ります。値の長さは最大 1,024 文字です。

テーブル名は、tablename、db.tablename、または schema.tablename の 3 つの形式のいずれかになります。

パラメーター

説明

データソース設定

データソースタイプ

[Hive] を選択します。

データソース

Hudi テーブル形式の Hive データソースのみを選択できます。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「Hive データソースの作成」をご参照ください。

同期ルール設定

同期ポリシー

[リアルタイム増分] のみがサポートされています。ソースデータベースからの増分変更は収集され、発生順にリアルタイムで下流のターゲットデータベースに書き込まれます。

テーブルの選択

リアルタイム同期用に単一のテーブルを選択します。

パラメーター

説明

データソース設定

データソースタイプ

[PolarDB] を選択します。

データソース

MySQL データベースタイプの PolarDB データソースのみを選択できます。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「PolarDB データソースの作成」をご参照ください。

タイムゾーン

選択したデータソースに設定されているタイムゾーンを表示します。

同期ルール設定

同期ポリシー

[リアルタイム増分] または [リアルタイム増分 + 完全] を選択します。デフォルト値は [リアルタイム増分] です。

• リアルタイム増分: ソースデータベースから増分変更を収集し、発生順に下流のターゲットデータベースに書き込みます。

• リアルタイム増分 + 完全: ソースデータベースから完全データを一度にインポートし、その後、増分変更を収集して発生順に下流のターゲットデータベースに書き込みます。

選択方法

[データベース全体]、[テーブルの選択]、または [テーブルの除外] を選択できます。

• データベース全体: 選択したデータソース配下のすべてのデータベースのすべてのテーブルを同期します。

• [テーブルの選択]/[テーブルの除外]: 現在のデータベース内の一部のテーブルをリアルタイム同期用に選択します。テーブルを選択した後、[プレビュー] をクリックして、[選択]/[テーブルプレビューの除外] ダイアログボックスで一致したすべてのテーブルを表示できます。ダイアログボックスでは、キーワードでテーブルを検索し、テーブルを個別または一括で削除できます。正規表現の一致では削除はサポートされていません。

  • 一括選択/一括除外: 一括選択を使用すると、現在のデータベースで選択されたテーブルがリアルタイムで同期されます。一括除外を使用すると、選択されたテーブルは同期されません。

  • 正規表現一致: [正規表現] ボックスにテーブル名の正規表現を入力します。schemaA.*|schemaB.* などの Java 正規表現がサポートされています。

パラメーター

説明

データソース設定

データソースタイプ

[MaxCompute] を選択します。

データソース

ターゲットデータソースを選択します。MaxCompute データソースとプロジェクトを選択できます。[新規] をクリックしてデータソースページでデータソースを作成することもできます。詳細については、「MaxCompute データソースの作成」をご参照ください。

新しい結果テーブルの設定

新しいテーブルタイプ

[標準テーブル] または [Delta テーブル] を選択できます。デフォルト値は [標準テーブル] です。

[Delta テーブル] を選択し、結果テーブルの作成方法を [テーブルの自動作成] に設定すると、MaxCompute Delta テーブルが作成されます。Delta テーブルの作成時には追加フィールドは使用されません。

テーブル名の変換

ターゲットテーブル名には、文字、数字、アンダースコア (_) のみを含めることができます。ソーステーブル名に他の文字が含まれている場合は、テーブル名変換ルールを設定する必要があります。

[テーブル名変換の設定] をクリックして、[テーブル名変換ルールの設定] ダイアログボックスを開きます。

• 文字列の置換: [新しいルール] をクリックしてルールを追加します。[置換するソーステーブル文字列] と [ターゲットテーブルの置換文字列] を設定します。最大 5 つのルールを追加できます。

• テーブル名のプレフィックス/サフィックス: 空にすることはできません。文字、数字、アンダースコア (_) のみを含めることができます。長さは 32 文字を超えることはできません。

パーティション形式

[新しいテーブルタイプ] を [標準テーブル] に設定した場合、[複数パーティション] のみがサポートされます。[新しいテーブルタイプ] を [Delta テーブル] に設定した場合、[パーティションなし] または [複数パーティション] を選択できます。

パーティション間隔

[パーティション形式] を [パーティションなし] に設定した場合、パーティション間隔は設定できません。[パーティション形式] を [複数パーティション] に設定した場合、[パーティション間隔] を [時間] または [日] に設定できます。

パラメーター

説明

データソース設定

データソースタイプ

[MySQL] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「MySQL データソースの作成」をご参照ください。

タイムゾーン

選択したデータソースに設定されているタイムゾーンを表示します。

新規シンクテーブル設定

テーブル名の変換

ターゲットテーブル名には、文字、数字、アンダースコア (_) のみを含めることができます。ソーステーブル名に他の文字が含まれている場合は、テーブル名変換ルールを設定する必要があります。

[テーブル名変換の設定] をクリックして、[テーブル名変換ルールの設定] ダイアログボックスを開きます。

• 文字列の置換: [新しいルール] をクリックしてルールを追加します。[置換するソーステーブル文字列] と [ターゲットテーブルの置換文字列] を設定します。最大 5 つのルールを追加できます。

• テーブル名のプレフィックス/サフィックス: 空にすることはできません。文字、数字、アンダースコア (_) のみを含めることができます。長さは 32 文字を超えることはできません。

パラメーター

説明

データソース設定

データソースタイプ

[Microsoft SQL Server] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「Microsoft SQL Server データソースの作成」をご参照ください。

タイムゾーン

選択したデータソースに設定されているタイムゾーンを表示します。

新しいシンクテーブルの設定

テーブル名の変換

ターゲットテーブル名には、文字、数字、アンダースコア (_) のみを含めることができます。ソーステーブル名に他の文字が含まれている場合は、テーブル名変換ルールを設定する必要があります。

[テーブル名変換の設定] をクリックして、[テーブル名変換ルールの設定] ダイアログボックスを開きます。

• 文字列の置換: [新しいルール] をクリックしてルールを追加します。[置換するソーステーブル文字列] と [ターゲットテーブルの置換文字列] を設定します。最大 5 つのルールを追加できます。

• テーブル名のプレフィックス/サフィックス: 空にすることはできません。文字、数字、アンダースコア (_) のみを含めることができます。長さは 32 文字を超えることはできません。

パラメーター

説明

データソース設定

データソースタイプ

[Oracle] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「Oracle データソースの作成」をご参照ください。

タイムゾーン

選択したデータソースに設定されているタイムゾーンを表示します。

新しい結果テーブルの設定

テーブル名の変換

ターゲットテーブル名には、文字、数字、アンダースコア (_) のみを含めることができます。ソーステーブル名に他の文字が含まれている場合は、テーブル名変換ルールを設定する必要があります。

[テーブル名変換の設定] をクリックして、[テーブル名変換ルールの設定] ダイアログボックスを開きます。

• 文字列の置換: [新しいルール] をクリックしてルールを追加します。[置換するソーステーブル文字列] と [ターゲットテーブルの置換文字列] を設定します。最大 5 つのルールを追加できます。

• テーブル名のプレフィックス/サフィックス: 空にすることはできません。文字、数字、アンダースコア (_) のみを含めることができます。長さは 32 文字を超えることはできません。

パラメーター

説明

データソース設定

データソースタイプ

[Kafka] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「Kafka データソースの作成」をご参照ください。

ターゲット Topic

ターゲットデータの Topic です。[単一 Topic] または [複数 Topic] を選択できます。[単一 Topic] を選択した場合は、ターゲット Topic を選択する必要があります。Topic 名のキーワードを入力して検索できます。[複数 Topic] を選択した場合は、Topic 名の変換と Topic パラメーターを設定できます。

• 単一 Topic: すべてのテーブルメッセージが同じ Topic に書き込まれます。

• 複数 Topic: 各テーブルに対して同じ名前の Topic が作成されます。

データ形式

書き込まれるデータのストレージ形式を設定します。 サポートされている形式には、[DTS Avro] と [Canal Json] があります。

• DTS Avro: データ構造やオブジェクトを保存や送信が容易な形式に変換するデータシリアル化形式です。

• Canal Json: Canal と互換性のある形式です。データストレージ形式は Canal Json です。

ターゲット Topic 設定

Topic 名の変換

[Topic 名変換の設定] をクリックします。[Topic 名変換ルールの設定] ダイアログボックスで、[Topic 名変換ルール] と Topic 名のプレフィックスとサフィックスを設定できます。

• Topic 名変換ルール: [新しいルール] をクリックしてルールを追加します。[置換するソーステーブル文字列] と [ターゲット Topic の置換文字列] を入力する必要があります。どちらも空にすることはできません。[ターゲット Topic の置換文字列] には、文字、数字、アンダースコア (_) のみを含めることができ、長さは最大 32 文字です。

• Topic 名のプレフィックスとサフィックス: 文字、数字、アンダースコア (_) を入力できます。長さは 32 文字を超えることはできません。

Topic パラメーター

Topic を作成するための追加パラメーター。形式は key=value です。複数のパラメーターは改行で区切ります。

パラメーター

説明

ターゲットデータ

データソースタイプ

[DataHub] を選択します。

データソース

ターゲットデータソースを選択します。

システムは、新しいデータソースを作成するためのショートカットを提供します。[新規] をクリックして、データソースページで DataHub データソースを作成できます。詳細については、「DataHub データソースの作成」をご参照ください。

転送先トピックの作成方法

[新しい] [Topic] または [既存の Topic を使用] を選択できます。

• 新規 Topic: 宛先 Topic を手動で入力して作成します。

• [既存の Topic を使用]: ターゲットデータベース内の既存の Topic を使用します。Topic のスキーマが同期メッセージの形式と一致していることを確認してください。そうしないと、同期タスクは失敗します。

ターゲット Topic

• [ターゲット Topic の作成方法] を [Topic の作成] に設定します。

  [宛先トピック] は手動で入力する必要があります。 [宛先トピック] 名は、小文字の英字で始まり、3～64 文字の数字、英字、アンダースコア (_) を含む必要があります。

  名前を入力した後、[検証] をクリックして、Topic がターゲットデータベースにすでに存在するかどうかを確認できます。

  • Topic がターゲットデータベースに存在しない場合は、自動的に作成されます。そのスキーマは同期メッセージのスキーマであり、デフォルトのライフサイクルは 7 日です。

  • Topic がターゲットデータベースにすでに存在する場合は、そのスキーマが同期メッセージのスキーマと一致していることを確認してください。そうしないと、タスクは失敗します。

• [ターゲット Topic の作成方法] は [既存の Topic を使用] です。

  ドロップダウンリストをクリックして、ターゲットデータベース内の既存の Topic を選択します。Topic が多数ある場合は、Topic 名を入力して必要なものを検索できます。

パラメーター

説明

データソース設定

データソースタイプ

[Databricks] を選択します。

データソース

ターゲットデータソースを選択します。Databricks データソースとプロジェクトを選択できます。[新規] をクリックしてデータソースページでデータソースを作成することもできます。詳細については、「Databricks データソースの作成」をご参照ください。

タイムゾーン

時間形式のデータは、現在のタイムゾーンに基づいて処理されます。デフォルト値は、選択したデータソースで設定されたタイムゾーンであり、変更できません。

新規シンクテーブル設定

テーブル名の変換

ターゲットテーブル名には、文字、数字、アンダースコア (_) のみを含めることができます。ソーステーブル名に他の文字が含まれている場合は、テーブル名変換ルールを設定する必要があります。

[テーブル名変換の設定] をクリックして、[テーブル名変換ルールの設定] ダイアログボックスを開きます。

• 文字列の置換: [新しいルール] をクリックしてルールを追加します。[置換するソーステーブル文字列] と [ターゲットテーブルの置換文字列] を設定します。最大 5 つのルールを追加できます。

• テーブル名のプレフィックス/サフィックス: 空にすることはできません。文字、数字、アンダースコア (_) のみを含めることができます。長さは 32 文字を超えることはできません。

パーティション形式

[パーティションなし] または [複数パーティション] を選択できます。

パーティション間隔

[パーティション形式] を [パーティションなし] に設定した場合、パーティション間隔は設定できません。[パーティション形式] を [複数パーティション] に設定した場合、[パーティション間隔] を [時間] または [日] に設定できます。

パラメーター

説明

データソース設定

データソースタイプ

[SelectDB] を選択します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「SelectDB データソースの作成」をご参照ください。

新しい結果テーブルの設定

テーブル名の変換

ターゲットテーブル名には、文字、数字、アンダースコア (_) のみを含めることができます。ソーステーブル名に他の文字が含まれている場合は、テーブル名変換ルールを設定する必要があります。

[テーブル名変換の設定] をクリックして、[テーブル名変換ルールの設定] ダイアログボックスを開きます。

• 文字列の置換: [新しいルール] をクリックしてルールを追加します。[置換するソーステーブル文字列] と [ターゲットテーブルの置換文字列] を設定します。最大 5 つのルールを追加できます。

• テーブル名のプレフィックス/サフィックス: 空にすることはできません。文字、数字、アンダースコア (_) のみを含めることができます。長さは 32 文字を超えることはできません。

パラメーター

説明

データソース設定

データソースタイプ

[データソースタイプ] を [Hive] に設定します。

データソース

データソースを選択します。[新規] をクリックして [データソース] ページでデータソースを作成することもできます。詳細については、「Hive データソースの作成」をご参照ください。

新規シンクテーブル設定

データレイクテーブル形式

[なし]、[Hudi]、[Iceberg]、または [Paimon] を選択できます。

• なし: データは標準の Hive テーブルとして書き込まれ、テーブルが作成されます。

• Hudi: データは Hudi 形式で書き込まれ、テーブルが作成されます。Hive データソースのバージョンが CDP7.x Hive 3.1.3 の場合にのみ Hudi を選択できます。

• Iceberg: データは Iceberg 形式で書き込まれ、テーブルが作成されます。Hive データソースのバージョンが EMR5.x Hive 3.1.x の場合にのみ Iceberg を選択できます。

• Paimon: データは Paimon 形式で書き込まれ、テーブルが作成されます。Hive データソースのバージョンが EMR5.x Hive 3.1.x の場合にのみ Paimon を選択できます。

Hudi テーブルタイプ/Paimon テーブルタイプ

Hudi テーブルタイプでは、[MOR] (マージオンリード) または [COW] (コピーオンライト) を選択できます。

Paimon テーブルタイプでは、[MOR] (マージオンリード)、[COW] (コピーオンライト)、または [MOW] (マージオンライト) を選択できます。

テーブル作成実行エンジン

[Hive] または [Spark] を選択できます。データレイクテーブル形式を選択すると、デフォルトで Spark が選択されます。

• Hive: Hive エンジンを使用してテーブルを作成します。テーブル作成構文は Hive 構文です。

• Spark: Spark エンジンを使用してテーブルを作成します。テーブル作成構文は Spark 構文です。Hive データソースで Spark が有効になっている場合にのみ Spark を選択できます。

  説明

  [データレイクテーブル形式] が Paimon に設定されている場合、Spark テーブル作成実行エンジンのみがサポートされます。

テーブル名の変換

ターゲットテーブル名には、文字、数字、アンダースコア (_) のみを含めることができます。ソーステーブル名に他の文字が含まれている場合は、テーブル名変換ルールを設定する必要があります。

[テーブル名変換の設定] をクリックして、[テーブル名変換ルールの設定] ダイアログボックスを開きます。

• 文字列の置換: [新しいルール] をクリックしてルールを追加します。[置換するソーステーブル文字列] と [ターゲットテーブルの置換文字列] を設定します。最大 5 つのルールを追加できます。

• テーブル名のプレフィックス/サフィックス: 空にすることはできません。文字、数字、アンダースコア (_) のみを含めることができます。長さは 32 文字を超えることはできません。

パーティション形式

[単一パーティション]、[複数パーティション]、または [固定パーティション] を選択できます。

パーティション間隔

デフォルト値は [時間] です。[日] を選択することもできます。パーティション間隔の横にある アイコンをクリックして、パーティション設定の詳細を表示します。

• 単一パーティション:

  • 時間: ds (yyyyMMddhh) という名前のハッシュパーティションを表示します。

  • 日: ds (yyMMdd) という名前のハッシュパーティションを表示します。

• 複数パーティション:

  • 時間: yyyy、mm、dd、hh の 4 つのレベルのパーティションを表示します。

  • 日: yyyy、mm、dd の 3 つのレベルのパーティションを表示します。

パーティション値

固定パーティション値を入力します。例: 20250101。

エリア

説明

① 追加フィールドの表示

リアルタイム増分同期中、データ利用を容易にするためにテーブル作成時にデフォルトで追加フィールドが自動的に追加されます。[追加フィールドの表示] をクリックしてフィールドを表示します。[追加フィールド] ダイアログボックスで、現在追加されているフィールドに関する情報を表示できます。

[フィールド追加用 DDL の表示] をクリックして、追加フィールドを追加するための DDL 文を表示します。

② 検索およびフィルター領域

[ソーステーブル] と [結果テーブル名] で検索できます。結果テーブルをすばやくフィルターするには、上部の アイコンをクリックします。[マッピングステータス] と [作成方法] でフィルターできます。

③ グローバルフィールドの追加、マッピングの更新

• グローバルフィールドの追加

  [グローバルフィールドの追加] をクリックして、[グローバルフィールドの追加] ダイアログボックスでグローバルフィールドを追加します。

  • 名前: グローバルフィールドの名前。

  • タイプ: サポートされているデータの型は、[文字列]、[Long]、[Double]、[Date]、および [Boolean] です。

  • 値: グローバルフィールドの値。

  • 説明: フィールドの説明。

  説明

  • フィールドがグローバルと単一テーブルの両方に追加された場合、単一テーブルに追加されたフィールドのみが有効になります。

  • 現在、定数のみを追加できます。

  • グローバルフィールドは、[テーブルの自動作成] メソッドを使用して作成された結果テーブルに対してのみ有効です。

  • ソースデータソースタイプが Kafka の場合、グローバルフィールドの追加はサポートされていません。

• マッピングの更新

  結果テーブル設定リストを更新するには、[マッピングの更新] をクリックします。

  重要

  • 結果テーブル設定にすでにコンテンツがある場合、データソースタイプとデータソースを再選択すると、結果テーブルリストとマッピングステータスがリセットされます。注意して進めてください。

  • 更新プロセス中にいつでも再度クリックして更新できます。[マッピングの更新] をクリックするたびに、設定されたグローバルフィールドのみが保存されます。結果テーブルの作成方法、結果テーブル名、削除レコードなどの他の情報は保存されません。

  • ソースデータソースタイプが Kafka の場合、[マッピングの更新] をクリックすると、[同期ルール設定] のテーブルリストに従ってテーブルがマッピングされます。テーブルが存在しない場合はエラーが報告されます。

④ ターゲットデータベースリスト

ターゲットデータベースリストには、[シリアル番号]、[ソーステーブル]、[マッピングステータス]、[結果テーブルの作成方法]、および [結果テーブル名] が含まれます。また、結果テーブルの [フィールドの追加]、[フィールドの表示]、[更新]、または [削除] もできます。

• マッピングステータス:

  • 完了: マッピングは正常に完了しました。

  • 未完了: ステータス変更後にマッピングが更新されていません。

  • マッピング中: マッピングを待機中またはマッピング処理中です。

  • 異常: データソースまたは内部システムエラーが存在します。

  • 失敗: ターゲットパーティションテーブルがリアルタイムタスクに設定されたパーティションと一致しません。

  • 警告: ソーステーブルと結果テーブルに互換性のないデータの型がある可能性があります。

• [結果テーブルの作成方法] には 3 つのオプションがあります:

  • ターゲットデータベースにソーステーブルと同じ名前のテーブルが存在する場合、作成方法は [既存のテーブルを使用] です。このテーブルはデフォルトで結果テーブルとして使用されます。[テーブルの自動作成] に変更するには、テーブル名変換ルールまたはプレフィックス/サフィックスを追加してから再マッピングする必要があります。

  • ターゲットデータベースに同じ名前のテーブルが見つからない場合、作成方法はデフォルトで [テーブルの自動作成] になります。この方法を [既存のテーブルを使用] に変更し、同期用に既存のテーブルを選択することもできます。

  • 自動的に作成されるテーブルに対してのみ、フィールドを追加したり、カスタム DDL を使用してテーブルを作成したりできます。グローバルフィールドも、自動的に作成されたテーブルに対してのみ有効です。

  説明

  • ターゲットデータソースタイプが Hive の場合:

    • [テーブルの自動作成] を使用し、データレイクテーブル形式が [なし] の場合、標準 Hive テーブルが作成されます。それ以外の場合は、選択した形式のテーブルが作成されます。現在、Hudi と Iceberg がサポートされています。

    • [カスタムテーブル作成] を使用し、データレイクテーブル形式が [なし] の場合、標準 Hive テーブルの DDL が使用されます。それ以外の場合は、選択したテーブル形式の DDL を使用する必要があります。現在、Hudi と Iceberg がサポートされています。

  • ソースデータソースタイプが Kafka の場合、サポートされている唯一の結果テーブル作成方法は [既存のテーブルを使用] です。

  • ターゲットデータソースタイプが SelectDB の場合、自動テーブル作成中にソーステーブルにプライマリキーがない場合、Duplicate テーブルが作成されます。ソーステーブルにプライマリキーがある場合、Unique テーブルが作成されます。

  • パーティション形式が [単一パーティション] または [固定パーティション] で、結果テーブルの作成方法が [既存のテーブルを使用] の場合、システムは結果テーブルのパーティションがパーティション設定を満たしているかどうかを自動的にチェックします。満たしていない場合はエラーが報告されます。

• 結果テーブル名: 結果テーブル名には、文字、数字、アンダースコア (_) のみを含めることができます。ソーステーブル名に他の文字が含まれている場合は、テーブル名変換ルールを設定する必要があります。

  ターゲットデータソースタイプが MaxCompute で、結果テーブルの作成方法が [テーブルの自動作成] で、新しいテーブルタイプが [Delta テーブル] の場合、結果テーブル名の後に アイコンが表示され、新しい Delta テーブルが作成されることを示します。結果テーブルの作成方法が [既存のテーブルを使用] の場合、ユーザーが結果テーブルリストで Delta テーブルを選択すると、結果テーブル名の後にも アイコンが表示され、そのテーブルが Delta テーブルであることを示します。

• 操作:

  • カスタムテーブル作成: [フィールドの追加] または [DDL] を使用してテーブルを作成できます。カスタムテーブル作成を有効にすると、グローバルフィールドは無効になります。

    説明

    • フィールドが追加された後、それは [テーブルの自動作成] の操作列にのみ表示されます。

    • [既存のテーブルを使用] メソッドを使用して作成された結果テーブルである既存の結果テーブルは変更できません。

  • フィールドの表示: ソーステーブルと結果テーブルのフィールドとタイプを表示します。

  • 更新: ソーステーブルと結果テーブルを再マッピングします。

  • 削除: ソーステーブルの削除は元に戻せません。

⑤ 一括操作

結果テーブルに対して一括 [削除] 操作を実行できます。

エリア

説明

① 検索およびフィルター領域

[ソーステーブル] と [ターゲット Topic 名] で検索できます。結果テーブルをすばやくフィルターするには、上部の アイコンをクリックします。[マッピングステータス] と [ターゲット Topic の作成方法] でフィルターできます。

② マッピングの更新

結果テーブル設定リストを更新するには、[マッピングの更新] をクリックします。

③ リスト

リストには、[シリアル番号]、[ソーステーブル]、[マッピングステータス]、[ターゲット Topic の作成方法]、および [ターゲット Topic 名] が含まれます。また、結果テーブルを削除することもできます。

• ターゲット Topic の作成方法: ターゲット Topic がすでに存在する場合、作成方法は [既存の Topic を使用] です。ターゲット Topic が存在しない場合、作成方法は [Topic の自動作成] です。

  [Topic の自動作成] を使用すると、システムは生成されたターゲット Topic 名と Topic パラメーターに基づいて Topic を作成します。

• マッピングステータス: ターゲット Topic が存在するかどうかのみをチェックします。

• 削除: 対応する行を削除します。この操作は元に戻せません。

④ 一括操作

結果テーブルに対して一括 [削除] 操作を実行できます。