すべてのプロダクト
Search

このプロダクト

    Dataphin:AnalyticDB for PostgreSQL 入力コンポーネントを構成する

    ドキュメントセンター

    Dataphin:AnalyticDB for PostgreSQL 入力コンポーネントを構成する

    最終更新日:May 29, 2025

    AnalyticDB for PostgreSQL 入力コンポーネントは、AnalyticDB for PostgreSQL データソースからデータを読み取ります。 AnalyticDB for PostgreSQL データソースから他のデータソースにデータを同期する必要がある場合は、まず AnalyticDB for PostgreSQL 入力コンポーネントのソースデータソース情報を構成し、次にデータ同期のターゲットデータソースを構成する必要があります。このトピックでは、AnalyticDB for PostgreSQL 入力コンポーネントを構成する方法について説明します。

    前提条件

    • AnalyticDB for PostgreSQL データソースが作成されていること。詳細については、「AnalyticDB for PostgreSQL データソースを作成する」をご参照ください。

    • AnalyticDB for PostgreSQL 入力コンポーネントのプロパティを構成するために使用するアカウントに、データソースに対するリードスルー権限が付与されていること。権限がない場合は、データソースの権限をリクエストする必要があります。詳細については、「データソース権限をリクエストする」をご参照ください。

    手順

    1. Dataphin ホームページの上部ナビゲーションバーで、[開発] > [Data Integration] を選択します。

    2. [統合] ページの上部ナビゲーションバーで、プロジェクト を選択します (開発 - 本番モードでは、環境を選択する必要があります)。

    3. 左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。 [バッチパイプライン] リストで、開発するオフラインパイプラインをクリックして、構成ページを開きます。

    4. ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。

    5. [コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。右側の入力コンポーネントリストで [AnalyticDB For PostgreSQL] コンポーネントを見つけ、キャンバスにドラッグします。

    6. AnalyticDB for PostgreSQL 入力コンポーネントカードの image アイコンをクリックして、[AnalyticDB For PostgreSQL] [入力構成] ダイアログボックスを開きます。

    7. [AnalyticDB For PostgreSQL 入力構成] ダイアログボックスで、次のパラメーターを構成します。

      パラメーター

      説明

      ステップ名

      AnalyticDB for PostgreSQL 入力コンポーネントの名前。 Dataphin は自動的にステップ名を生成しますが、ビジネスシナリオに基づいて変更できます。名前は次の要件を満たしている必要があります。

      • 中国語、英字、アンダースコア (_)、数字のみ使用できます。

      • 最大 64 文字まで入力できます。

      データソース

      データソースのドロップダウンリストには、現在の Dataphin インスタンス内のすべての AnalyticDB for PostgreSQL データソースとプロジェクトレベルが表示されます。リードスルー権限を持っているかどうかに関係なく、すべてのデータソースが表示されます。 image アイコンをクリックすると、現在のデータソース名をコピーできます。

      リードスルー権限のないデータソースについては、データソースの横にある [リクエスト] をクリックして、リードスルー権限をリクエストできます。詳細については、「データソース権限をリクエストする」をご参照ください。

      AnalyticDB for PostgreSQL データソースがない場合は、[データソースの作成] をクリックして作成します。詳細については、「AnalyticDB for PostgreSQL データソースを作成する」をご参照ください。

      [タイムゾーン]

      システムは、現在のタイムゾーンに基づいて時間形式データを処理します。デフォルトは、選択したデータソースで構成されたタイムゾーンで、変更できません。

      説明

      V5.1.2 より前に作成されたタスクの場合、[デフォルトのデータソース構成] または [チャネル構成タイムゾーン] を選択できます。デフォルトは [チャネル構成タイムゾーン] です。

      • [デフォルトのデータソース構成]: 選択したデータソースのデフォルトのタイムゾーン。

      • [チャネル構成タイムゾーン]: 現在の統合タスクの [プロパティ] > [チャネル構成] で構成されたタイムゾーン。

      スキーマ（オプション）

      スキーマを跨るテーブルの選択をサポートします。テーブルが配置されているスキーマを選択します。指定しない場合、デフォルトはデータソースで構成されているスキーマです。

      ソーステーブル数量

      ソーステーブル数量を選択します。オプションには、[単一テーブル] と [複数テーブル] があります。

      • [単一テーブル]: 1 つのテーブルのビジネスデータを 1 つのターゲットテーブルに同期する場合に適用されます。

      • [複数テーブル]: 複数テーブルのビジネスデータを同じターゲットテーブルに同期する場合に適用されます。複数テーブルのデータが同じデータテーブルに書き込まれる場合、ユニオンアルゴリズムが使用されます。

      テーブル

      ソーステーブルを選択します。

      • [ソーステーブル数量] で [単一テーブル] を選択した場合、キーワードを入力してテーブルを検索するか、正確なテーブル名を入力して [完全一致] をクリックします。テーブルを選択すると、システムは自動的にテーブルの状態をチェックします。 image アイコンをクリックすると、選択したテーブルの名前をコピーできます。

      • [ソーステーブル数量] で [複数テーブル] を選択した場合は、次の手順を実行してテーブルを追加します。

        1. 入力ボックスにテーブル式を入力して、同じ構造のテーブルをフィルタリングします。

          システムは、列挙形式、正規表現のような形式、および両方の組み合わせをサポートしています。たとえば、table_[001-100];table_102。

        2. [完全一致] をクリックします。 [一致の詳細の確認] ダイアログボックスで、一致したテーブルのリストを表示します。

        3. [OK] をクリックします。

      シャードキー（オプション）

      システムは、構成されたシャードキーフィールドに基づいてデータをシャーディングします。これは、同時実行構成と組み合わせて使用して、同時読み取りを実装できます。ソースデータテーブルの列をシャードキーとして使用できます。転送パフォーマンスを確保するために、プライマリキーまたはインデックス付きの列をシャードキーとして使用することをお勧めします。

      重要

      日付時刻タイプを選択すると、システムは最大値と最小値を識別し、合計時間範囲と同時実行性に基づいて強制シャーディングを実行します。均等な分散は保証されません。

      バッチ読み取りカウント（オプション）

      一度に読み取るレコードの数。ソースデータベースからデータを読み取る場合、レコードを 1 つずつ読み取る代わりに、特定のバッチ読み取り数 ( 1,024 レコードなど) を構成できます。これにより、データソースとの対話回数が減り、I/O 効率が向上し、ネットワーク遅延が軽減されます。

      入力フィルター（オプション）

      データ抽出のフィルタリング条件を構成します。詳細な構成手順は次のとおりです。

      • 静的な値を構成して、対応するデータを抽出します。例: ds=20210101。

      • 変数パラメーターを構成して、データの特定の部分を抽出します。例: ds=${bizdate}。

      出力フィールド

      説明

      テナントのコンピュートエンジンが AnalyticDB for PostgreSQL の場合、AnalyticDB for PostgreSQL 入力コンポーネントの出力フィールドは、フィールドの分類と等級の表示をサポートします。この機能は、AnalyticDB for PostgreSQL 以外のコンピュートエンジンではサポートされていません。

      出力フィールド領域には、フィルタリング条件に一致する選択済みテーブルのすべてのフィールドが表示されます。次の操作を実行できます。

      • フィールド管理: 特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、それらのフィールドを削除できます。

        • 単一フィールド削除シナリオ: 少量のフィールドを削除する必要がある場合は、操作列の sgaga アイコンをクリックして、不要なフィールドを削除できます。

        • バッチフィールド削除シナリオ: 多数のフィールドを削除する必要がある場合は、[フィールド管理] をクリックします。 [フィールド管理] ダイアログボックスで、複数のフィールドを選択し、image 左矢印アイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動してから、[OK] をクリックして、フィールドのバッチ削除を完了します。

          image..png

      • 一括追加: [一括追加] をクリックして、JSON、TEXT、または DDL 形式でフィールドを構成します。

        説明

        バッチ追加を完了して [OK] をクリックすると、以前に構成されたフィールド情報が 上書き されます。

        • JSON 形式でのバッチ構成。例:

          // 例:
  [{
     "index": 1,
     "name": "id",
     "type": "int(10)",
     "mapType": "Long",
     "comment": "comment1" // コメント 1
   },
   {
     "index": 2,
     "name": "user_name",
     "type": "varchar(255)",
     "mapType": "String",
     "comment": "comment2" // コメント 2
 }]
          説明

          index は指定されたオブジェクトの列番号、name はインポート後のフィールド名、type はインポート後のフィールドタイプを示します。 たとえば、"index":3,"name":"user_id","type":"String" は、ファイルから 4 番目の列をインポートすることを意味し、フィールド名は user_id、フィールドタイプは String です。

        • TEXT 形式でのバッチ構成。例:

          // 例:
1,id,int(10),Long,comment1 // コメント 1
2,user_name,varchar(255),Long,comment2 // コメント 2

          • 行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行 (\n) で、改行 (\n)、セミコロン (;)、ピリオド (.) をサポートしています。

          • 列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ (,) です。 ',' ','をサポートしています。フィールドタイプは省略でき、デフォルトは ','

        • DDL 形式でのバッチ構成。例:

          CREATE TABLE tablename (
	user_id serial,
	username VARCHAR(50),
	password VARCHAR(50),
	email VARCHAR (255),
	created_on TIMESTAMP,
);

      • 出力フィールドの作成: [+ 出力フィールドの作成] をクリックし、[列]、[タイプ]、[コメント] に入力し、プロンプトに従って [マッピングタイプ] を選択します。現在の行の構成が完了したら、image アイコンをクリックして保存します。

    8. [OK] をクリックして、[AnalyticDB For PostgreSQL] 入力コンポーネントのプロパティ構成を完了します。