すべてのプロダクト
Search

このプロダクト

    Dataphin:PolarDB-X 2.0 入力コンポーネントの設定

    ドキュメントセンター

    Dataphin:PolarDB-X 2.0 入力コンポーネントの設定

    最終更新日:Mar 06, 2026

    PolarDB-X 2.0 入力コンポーネントは、PolarDB-X 2.0 データソースからデータを取得します。PolarDB-X 2.0 データソースから別のデータソースにデータを同期する場合、まず PolarDB-X 2.0 入力コンポーネントを設定してソースデータソースから読み取り、次に同期先のターゲットデータソースを設定します。このトピックでは、PolarDB-X 2.0 入力コンポーネントの設定方法について説明します。

    前提条件

    操作手順

    1. Dataphin のホームページで、上部のメニューバーにある [開発] をクリックし、次に [データ統合] をクリックします。

    2. 統合ページの上部のメニューバーで、[プロジェクト]をクリックします。Dev-Prod モードでは、環境も選択します。

    3. 左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発したいオフラインパイプラインをクリックします。オフラインパイプラインの設定ページが開きます。

    4. ページの右上隅で[コンポーネントライブラリ]をクリックすると、[コンポーネントライブラリ]パネルが開きます。

    5. [コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] をクリックします。右側の入力コンポーネントリストで [PolarDB-X 2.0] コンポーネントを見つけ、キャンバスにドラッグします。

    6. PolarDB-X 2.0 入力コンポーネントカードで、image アイコンをクリックして [PolarDB-X 2.0] [入力設定] ダイアログボックスを開きます。

    7. [PolarDB-X 2.0 入力設定] ダイアログボックスで、次のパラメーターを設定します。

      パラメーター

      説明

      ステップ名

      PolarDB-X 2.0 入力コンポーネントの名前です。Dataphin は自動的にステップ名を生成しますが、ビジネスシナリオに基づいて変更できます。命名規則は次のとおりです：

      • 中国語文字、英字、アンダースコア (_)、数字のみを使用してください。

      • 名前は 64 文字以内にしてください。

      [ソーステーブル数]

      ソーステーブルの数を選択します。オプションは [単一テーブル] と [複数テーブル] です：

      • [単一テーブル]：1 つのソーステーブルから 1 つのターゲットテーブルにビジネスデータを同期する場合に使用します。

      • [複数テーブル]：複数のソーステーブルから 1 つのターゲットテーブルにビジネスデータを同期する場合に使用します。複数のテーブルから 1 つのターゲットテーブルにデータを書き込む場合、UNION アルゴリズムが使用されます。

        UNION の詳細については、「INTERSECT、UNION、および EXCEPT」をご参照ください。

      [データソース]

      ドロップダウンリストには、すべての PolarDB-X 2.0 データソースが表示されます。これには、同期読み取り権限があるデータソースとないデータソースの両方が含まれます。現在のデータソース名をコピーするには、image アイコンをクリックします。

      • データソースに対する同期読み取り権限がない場合は、データソースの横にある [申請] をクリックして読み取り権限を申請します。詳細については、「データソース権限の申請、更新、または解放」をご参照ください。

      • PolarDB-X 2.0 データソースがない場合は、[データソースの作成] をクリックして作成します。詳細については、「PolarDB-X 2.0 データソースの作成」をご参照ください。

      データベース （任意）

      テーブルが存在するデータベースを選択します。このフィールドを空白のままにすると、データソースの登録時に指定されたデータベースが使用されます。

      ソーステーブル数で [複数テーブル] を選択した場合、複数のデータベースを選択できます。image アイコンをクリックして [データベース一覧] ダイアログボックスを開き、選択したすべてのデータベースを表示できます。

      [テーブルのマッチング方法]

      [汎用ルール] または [データベース正規表現] を選択してください。

      説明

      このパラメーターは、[ソーステーブル数] で [複数テーブル] を選択した場合にのみ使用できます。

      テーブル

      ソーステーブルを選択します：

      • [ソーステーブル数] で [単一テーブル] を選択した場合、テーブル名にキーワードを入力して検索するか、正確なテーブル名を入力して [完全一致] をクリックします。テーブルを選択すると、システムは自動的にテーブルのステータスを確認します。選択したテーブルの名前をコピーするには、image アイコンをクリックします。

      • [ソーステーブル数] で [複数テーブル] を選択した場合、テーブルのマッチング方法に基づいて式を入力します。

        • テーブルのマッチングで [一般的なルール] を選択した場合：入力ボックスにテーブル式を入力して、同じ構造のテーブルをフィルターします。システムは列挙、正規表現に似た構文、および混合フォーマットをサポートしています。例：table_[001-100];table_102;。

        • テーブルのマッチングで [データベース正規表現] を選択した場合：現在のデータベースでサポートされている正規表現を入力します。システムはこの正規表現を使用して、ターゲットデータベース内のテーブルを照合します。タスク実行時に、システムは正規表現に基づいて新しいテーブルを動的に照合します。

        式を入力した後、[完全一致] をクリックして [一致詳細の確認] ダイアログボックスを開き、一致したテーブルのリストを表示します。

      [シャードキー] (オプション)

      システムは、設定されたシャードキー列に基づいてデータをパーティション分割します。これを同時実行設定と併用することで、同時読み取りが可能になります。ソースデータテーブルの任意の列をシャードキーとして使用できます。最高のパフォーマンスを得るには、プライマリキーまたはインデックス付き列をシャードキーとして使用することを推奨します。

      重要

      日時タイプを選択した場合、システムは最大値、最小値、および同時実行設定に基づいて、全時間範囲にわたって総当たりパーティション分割を実行します。これは均等な分散を保証するものではありません。

      [入力フィルター] (オプション)

      入力フィールドのフィルター条件を入力します。例：ds=${bizdate}。[入力フィルター] は、次のシナリオで使用します：

      • データの固定サブセット。

      • パラメーターベースのフィルタリング。

      [出力フィールド]

      [出力フィールド] セクションには、選択したテーブルとフィルター結果からのすべてのフィールドがリストされます。次の操作を実行できます：

      • フィールド管理：ダウンストリームコンポーネントからフィールドを除外するには、それらを削除します：

        • 個々のフィールドの削除：いくつかのフィールドを削除するには、[操作] 列の sgaga アイコンをクリックします。

        • バッチフィールド削除シナリオ：多くのフィールドを削除するには、[フィールド管理] をクリックします。[フィールド管理] ダイアログボックスで、複数のフィールドを選択し、image 左移動アイコンをクリックして選択した入力フィールドを未選択の入力フィールドのリストに移動し、[OK] をクリックしてバッチフィールド削除を完了します。

          image..png

      • バッチ追加：[バッチ追加] をクリックして、JSON、TEXT、または DDL フォーマットでフィールドを追加します。

        説明

        バッチ追加後、[OK] をクリックすると、既存のフィールド設定が上書きされます。

        • JSON フォーマットでバッチ設定を実行できます。例：

          // 例：
  [{
     "index": 0,
     "name": "id",
     "type": "int(10)",
     "mapType": "Long",
     "comment": "comment1"
   },
   {
     "index": 1,
     "name": "user_name",
     "type": "varchar(255)",
     "mapType": "String",
     "comment": "comment2"
 }]
          説明

          index フィールドは列番号を指定します。name フィールドはインポート後のフィールド名を指定します。type フィールドはインポート後のフィールドタイプを指定します。

          例："index":3,"name":"user_id","type":"String" は、ファイルから 4 番目の列がフィールド名 user_id、フィールドタイプ String でインポートされることを示します。

        • TEXT フォーマットを使用してバッチで設定できます。例：

          // 例：
0,id,int(10),Long,comment1
1,user_name,varchar(255),Long,comment2

          • 行区切り文字はフィールド情報を区切ります。デフォルトは改行 (\n) です。セミコロン (;) またはピリオド (.) も使用できます。

          • 列区切り文字はフィールド名とタイプを区切ります。デフォルトはコンマ (,) です。',' を使用できます。フィールドタイプはオプションです。デフォルトは',' です。

        • DDL フォーマットでバッチ設定できます。例：

          CREATE TABLE tablename (
	user_id serial,
	username VARCHAR(50),
	password VARCHAR(50),
	email VARCHAR (255),
	created_on TIMESTAMP,
);

      • 新しい出力フィールドの追加：[+ 出力フィールドを追加] をクリックします。[列]、[タイプ]、[コメント] の値を入力します。[マッピングタイプ] を選択します。image アイコンをクリックして行を保存します。

    8. [OK] をクリックして、[PolarDB-X 2.0] 入力コンポーネントの設定を完了します。