すべてのプロダクト
Search

このプロダクト

    Dataphin:PolarDB-X (旧 DRDS) 入力コンポーネントの構成

    ドキュメントセンター

    Dataphin:PolarDB-X (旧 DRDS) 入力コンポーネントの構成

    最終更新日:Feb 06, 2025

    PolarDB-X 入力コンポーネントは、PolarDB-X データソースからデータを読み取るように設計されています。PolarDB-X から他のソースにデータを同期する場合、PolarDB-X 入力コンポーネントのソースデータソース情報と、同期用のターゲットデータソースを構成する必要があります。このトピックでは、PolarDB-X 入力コンポーネントの構成プロセスについて説明します。

    前提条件

    • PolarDB-X データソースが作成されていること。詳細については、「PolarDB-X データソースの作成」をご参照ください。

    • PolarDB-X 入力コンポーネントのプロパティを構成するには、アカウントにデータソースのリードスルー権限が必要です。権限がない場合は、データソースの権限を取得する必要があります。詳細については、「データソース権限の要求、更新、および返却」をご参照ください。

    手順

    1. Dataphin ホームページの上部にあるメニューバーから、[開発] > [data Integration] を選択します。

    2. 統合ページの上部にあるメニューバーで、プロジェクト を選択します（開発 - 本番モードでは環境を選択する必要があります）。

    3. 左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストから、開発する オフライン パイプライン を選択して、構成ページにアクセスします。

    4. [コンポーネントライブラリ] パネルを開くには、ページの右上隅にある [コンポーネントライブラリ] をクリックします。

    5. [コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。入力コンポーネントの右側のリスト内にある [polardb-x] (旧 DRDS) コンポーネントを見つけて、キャンバスにドラッグします。

    6. PolarDB-X (旧 DRDS) 入力コンポーネントカードの image アイコンをクリックして、[polardb-x] 入力構成 ダイアログボックスを開きます。

    7. [polardb-x (旧 DRDS) 入力構成] ダイアログボックスで、パラメータを設定できます。

      パラメータ

      説明

      ステップ名

      これは、PolarDB-X 入力コンポーネントの名前です。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更することもできます。命名規則は次のとおりです。

      • 日本語、英字、アンダースコア (_)、数字のみ使用できます。

      • 64 文字を超えることはできません。

      データソース

      データソースのドロップダウンリストには、現在の Dataphin 内のすべての PolarDB-X タイプのデータソースが表示されます。これには、リードスルー権限を持つデータソースと、リードスルー権限を持たないデータソースが含まれます。image アイコンをクリックして、現在のデータソース名をコピーします。

      • リードスルー権限のないデータソースの場合、データソースの後に [リクエスト] をクリックして、リードスルー権限をリクエストできます。詳細については、「データソース権限の要求、更新、および返却」をご参照ください。

      • PolarDB-X タイプのデータソースがない場合は、[作成] をクリックしてデータソースを作成します。詳細については、「PolarDB-X データソースの作成」をご参照ください。

      テーブル

      データ同期用のソーステーブルを選択します。テーブル名のキーワードを入力して検索するか、正確なテーブル名を入力して [完全一致検索] をクリックします。テーブルを選択すると、システムは自動的にテーブルステータス検出を実行します。image アイコンをクリックして、現在選択されているテーブルの名前をコピーします。

      バッチ読み取り数 (オプション)

      一度に読み取るレコード数。ソースデータベースからデータを読み取る場合、1 つずつ読み取る代わりに特定のバッチ読み取り数 ( 1024 レコードなど) を構成して、データソースとの対話の回数を減らし、I/O 効率を向上させ、ネットワーク遅延を削減できます。

      入力フィルター (オプション)

      データを抽出するためのフィルター条件を構成します。詳細な構成手順は次のとおりです。

      • 静的フィールドの構成: ds=20211111 などの対応するデータを抽出します。

      • 変数パラメータの構成: ds=${bizdate} などのデータの特定の部分を抽出します。

      出力フィールド

      出力フィールド領域には、選択したテーブルとフィルター条件に一致するすべてのフィールドが表示されます。次の操作を実行できます。

      • フィールド管理: 特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、対応するフィールドを削除できます。

        • 単一フィールド削除シナリオ: 少数のフィールドを削除する必要がある場合は、操作列の下にある sgaga アイコンをクリックして、余分なフィールドを削除できます。

        • バッチフィールド削除シナリオ: 多くのフィールドを削除する必要がある場合は、[フィールド管理] をクリックし、[フィールド管理] ダイアログボックスで複数のフィールドを選択して、image 左シフトアイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動し、[確認] をクリックして、フィールドのバッチ削除を完了します。

          image..png

      • 一括追加: [一括追加] をクリックします。JSON、TEXT 形式、DDL 形式のバッチ構成をサポートしています。

        説明

        一括追加が完了した後、確認をクリックすると、構成済みのフィールド情報が上書きされます。

        • JSON 形式のバッチ構成。例:

          // 例:
  [{
     "index": 1,
     "name": "id",
     "type": "int(10)",
     "mapType": "Long",
     "comment": "comment1"
   },
   {
     "index": 2,
     "name": "user_name",
     "type": "varchar(255)",
     "mapType": "String",
     "comment": "comment2"
 }]
          説明

          index は指定されたオブジェクトの列番号を示し、name は導入後のフィールド名を示し、type は導入後のフィールドタイプを示します。たとえば、"index":3,"name":"user_id","type":"String" は、ファイルの 4 番目の列が導入され、フィールド名が user_id で、フィールドタイプが String であることを示します。

        • TEXT 形式のバッチ構成。例:

          // 例:
1,id,int(10),Long,comment1
2,user_name,varchar(255),Long,comment2

          • 行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行 (\n) で、改行 (\n)、セミコロン (;)、ピリオド (.) をサポートしています。

          • 列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ (,) で、サポートされている','です。フィールドタイプは省略でき、デフォルトは','です。

        • DDL 形式のバッチ構成。例:

          CREATE TABLE tablename (
	user_id serial,
	username VARCHAR(50),
	password VARCHAR(50),
	email VARCHAR (255),
	created_on TIMESTAMP,
);

      • 新しい出力フィールドの作成: [+ 新しい出力フィールドを作成] をクリックし、ページのプロンプトに従って [列]、[タイプ]、[コメント] を入力し、[マッピングタイプ] を選択します。現在の行の構成が完了したら、image アイコンをクリックして保存します。

    8. [確認] をクリックして、PolarDB-X 入力コンポーネントのプロパティを確定します。