すべてのプロダクト
Search

このプロダクト

    Dataphin:PolarDB 入力コンポーネントの構成

    ドキュメントセンター

    Dataphin:PolarDB 入力コンポーネントの構成

    最終更新日:Mar 06, 2026

    PolarDB 入力コンポーネントは、PolarDB データソースからデータを読み取ります。このコンポーネントを構成して、PolarDB から他のデータソースへデータを同期する必要があります。本トピックでは、コンポーネントの構成手順について説明します。

    前提条件

    • PolarDB データソースが作成されました。詳細については、「PolarDB データソースを作成する」をご参照ください。

    • PolarDB 入力コンポーネントの構成に使用するアカウントが、該当データソースに対するリードスルー権限を有している必要があります。必要な権限がない場合は、権限の付与を依頼してください。詳細については、「データソース権限の依頼・更新・返却」をご参照ください。

    操作手順

    1. Dataphin のホームページ上部のメニューバーから、[開発] > [データ統合] を選択します。

    2. 統合ページ上部のメニューバーで、[プロジェクト] を選択します。Dev-Prod モードの場合は、環境も併せて選択します。

    3. 左側ナビゲーションウィンドウで、[オフライン統合] をクリックします。[オフライン統合] リストより、開発対象の [オフラインパイプライン] をクリックし、その構成ページを開きます。

    4. ページ右上隅の [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。

    5. [コンポーネントライブラリ] パネルの左側ナビゲーションウィンドウで、[入力] を選択します。右側の入力コンポーネント一覧より、[PolarDB] コンポーネントを見つけ、キャンバスへドラッグします。

    6. PolarDB 入力コンポーネントカード上の image アイコンをクリックして、[PolarDB] [入力構成] ダイアログボックスを開きます。

    7. [PolarDB 入力構成] ダイアログボックスで、パラメーターを構成します。

      パラメーター

      説明

      [ステップ名]

      PolarDB 入力コンポーネントの名前です。Dataphin が自動的にステップ名を生成しますが、必要に応じて変更可能です。命名規則は以下のとおりです：

      • 漢字、英字、アンダースコア (_)、数字のみ使用できます。

      • 名前の長さは最大 64 文字までです。

      [データソース]

      ドロップダウンリストには、リードスルー権限を有する PolarDB データソースおよび権限を有しないデータソースがすべて表示されます。image アイコンをクリックすると、現在のデータソース名をコピーできます。

      • リードスルー権限を有しないデータソースについては、データソース名の後に [リクエスト] をクリックして権限を依頼します。詳細については、「データソース権限の依頼・更新・返却」をご参照ください。

      • PolarDB データソースが存在しない場合は、[新規作成] をクリックして作成します。詳細については、「PolarDB データソースの作成」をご参照ください。

      タイムゾーン

      時刻形式のデータは、現在のタイムゾーンに基づいて処理されます。デフォルトでは、選択したデータソースで設定されたタイムゾーンが適用され、変更できません。

      説明

      V5.1.2 より前のバージョンで作成されたノードの場合、[データソースのデフォルト構成] または [チャネル構成のタイムゾーン] を選択できます。デフォルトは [チャネル構成のタイムゾーン] です。

      • [データソースのデフォルト構成]：選択したデータソースのデフォルトタイムゾーン。

      • [チャネル構成のタイムゾーン]：現在の統合ノードの [プロパティ] > [チャネル構成] で設定されたタイムゾーン。

      ソーステーブル数

      データ同期対象のソーステーブル数を選択します。「[単一テーブル]」および「[複数テーブル]」から選択可能です：

      • [単一テーブル]：1 つのテーブルからビジネスデータを 1 つのターゲットテーブルへ同期するシナリオに使用します。

      • [複数テーブル]：複数のテーブルからビジネスデータを同一のターゲットテーブルへ同期するシナリオに使用します。複数テーブルのデータを 1 つのデータテーブルへ書き込む場合、UNION アルゴリズムが適用されます。

      テーブル照合方式

      現在は [一般ルール] のみ選択可能です。

      説明

      このパラメーターは、「[ソーステーブル数]」で「[複数テーブル]」を選択した場合にのみ利用可能です。

      [テーブル]

      ソーステーブルを選択します：

      • 「[ソーステーブル数]」で [単一テーブル] を選択した場合、キーワードを入力してテーブルを検索するか、正確なテーブル名を入力して [完全一致] をクリックします。テーブルを選択後、システムが自動的にそのステータスを確認します。image アイコンをクリックすると、選択したテーブル名をコピーできます。

      • 「[ソーステーブル数]」で [複数テーブル] を選択した場合、以下の手順でテーブルを追加します：

        1. 入力ボックスに、[同じ構造を持つテーブル] をフィルターする式を入力します。

          システムは列挙、正規表現に類似したパターン、およびその混合をサポートします。例：table_[001-100];table_102。

        2. [完全一致] をクリックします。[一致詳細の確認] ダイアログボックスで、一致したテーブルの一覧を確認します。

        3. [確認] をクリックします。

      [分割キー]（任意）

      システムは、構成された分割キーに基づいてデータをパーティション分割します。同時実行設定と併用することで、データの並列読み取りが可能です。ソーステーブルの任意の列を分割キーとして使用できます。高いパフォーマンスを確保するため、プライマリキーまたはインデックス付き列を分割キーとして使用することを推奨します。

      重要

      日時型を選択した場合、システムは最小値および最大値を特定し、総時間範囲と同時実行数に基づいた総当たり方式で分割を行います。分割結果は均等であるとは限りません。

      [バッチ読み取りサイズ]（任意）

      1 回の読み取りで取得するデータレコード数です。ソースデータベースからデータを読み取る際、1 レコードずつではなく、1024 レコードなどの特定のバッチサイズを指定して読み取ることで、データソースとのやり取り回数を削減し、I/O 効率を向上させ、ネットワーク遅延を低減できます。

      [入力フィルター]（任意）

      入力フィールドのフィルター条件を入力します（例：ds=${bizdate}）。入力フィルターは、以下の 2 つのシナリオに適しています：

      • 固定範囲のデータ。

      • パラメーターに基づくフィルタリング。

      出力フィールド

      [出力フィールド] セクションには、選択したテーブルからフィルター条件に一致するすべてのフィールドが表示されます。以下の操作が可能です：

      • フィールド管理：特定のフィールドを後続コンポーネントに出力しない場合は、該当フィールドを削除できます：

        • 単一フィールドの削除：少数のフィールドを削除する場合、[操作] 列の sgaga アイコンをクリックして不要なフィールドを削除します。

        • 複数フィールドの一括削除：多数のフィールドを削除する場合、[フィールド管理] をクリックします。[フィールド管理] ダイアログボックスで複数のフィールドを選択し、image 左矢印アイコンをクリックして選択済みの入力フィールドを未選択の入力フィールドリストへ移動した後、[OK] をクリックしてフィールドを一括削除します。

          image..png

      • 一括追加：[一括追加] をクリックして、JSON、プレーンテキスト、DDL 形式でフィールドを一括構成します。

        説明

        一括追加後に [OK] をクリックすると、既存のフィールド情報が 上書きされます。

        • JSON 形式での一括構成の例：

          // 例：
  [{
     "index": 1,
     "name": "id",
     "type": "int(10)",
     "mapType": "Long",
     "comment": "comment1"
   },
   {
     "index": 2,
     "name": "user_name",
     "type": "varchar(255)",
     "mapType": "String",
     "comment": "comment2"
 }]
          説明

          index フィールドは、対象列の列番号を指定します。name フィールドは、インポートするフィールドの名前を指定します。type フィールドは、インポートするフィールドのデータの型を指定します。たとえば、"index": 3, "name": "user_id", "type": "String" は、ファイルの 4 列目を user_id という名前の String 型フィールドとしてインポートすることを意味します。

        • プレーンテキスト形式での一括構成の例：

          // 例：
1,id,int(10),Long,comment1
2,user_name,varchar(255),Long,comment2

          • 行区切り文字は各フィールドの情報を区切ります。デフォルトは改行 (\n) ですが、セミコロン (;) やピリオド (.) もサポートされます。

          • 列区切り文字はフィールド名とフィールドタイプを区切ります。デフォルトのデリミタは半角カンマ (,) です。サポートされるデリミタは','です。フィールドタイプは省略可能で、デフォルトは','です。

        • DDL 形式での一括構成の例：

          CREATE TABLE tablename (
	user_id serial,
	username VARCHAR(50),
	password VARCHAR(50),
	email VARCHAR (255),
	created_on TIMESTAMP,
);

      • 出力フィールドの作成：[＋出力フィールドの作成] をクリックします。プロンプトに従って、[列]、[型]、[コメント] を入力し、[マッピングタイプ] を選択します。現在の行の構成が完了したら、image アイコンをクリックして保存します。

    8. [確認] をクリックして、[PolarDB] 入力コンポーネントの構成を完了します。