すべてのプロダクト
Search

このプロダクト

    Dataphin:openGauss 入力コンポーネントの構成

    ドキュメントセンター

    Dataphin:openGauss 入力コンポーネントの構成

    最終更新日:May 29, 2025

    openGauss 入力コンポーネントは、openGauss データソースからデータを読み取ります。 openGauss データソースから他のデータソースにデータを同期する必要がある場合は、まず openGauss 入力コンポーネントのソースデータソースを構成してから、ターゲットデータソースを構成する必要があります。 このトピックでは、openGauss 入力コンポーネントを構成する方法について説明します。

    前提条件

    • openGauss データソースを作成済みであること。 詳細については、「openGauss データソースの作成」をご参照ください。

    • openGauss 入力コンポーネントのプロパティを構成するために使用するアカウントが、データソースに対するリードスルー権限を持っていること。 この権限がない場合は、リクエストする必要があります。 詳細については、「データソース権限のリクエスト、更新、および返却」をご参照ください。

    手順

    1. Dataphin ホームページの上部ナビゲーションバーで、[開発] > [Data Integration] を選択します。

    2. 統合ページの上部ナビゲーションバーで、プロジェクトを選択します（開発 - 本番モードでは、環境を選択する必要があります）。

    3. 左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。 [バッチパイプライン] リストで、開発するオフラインパイプラインをクリックして、構成ページを開きます。

    4. ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。

    5. [コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。 右側の入力コンポーネントリストで [openGauss] コンポーネントを見つけ、キャンバスにドラッグします。

    6. openGauss 入力コンポーネントカードの image アイコンをクリックして、[openGauss] [入力構成] ダイアログボックスを開きます。

    7. [OpenGauss 入力構成] ダイアログボックスで、パラメーターを構成します。

      パラメーター

      説明

      ステップ名

      openGauss 入力コンポーネントの名前。 Dataphin は自動的にステップ名を生成します。これはビジネスシナリオに基づいて変更できます。 名前は次の要件を満たしている必要があります。

      • 中国語、英字、アンダースコア（_）、数字のみ使用できます。

      • 長さは 64 文字以内にする必要があります。

      データソース

      データソースドロップダウンリストには、現在の Dataphin インスタンスにあるすべての openGauss データソースが表示されます。これには、リードスルー権限を持っているものと持っていないものが含まれます。 image アイコンをクリックして、現在のデータソース名をコピーします。

      スキーマ

      クロススキーマテーブルの読み取りがサポートされています。 ソーステーブルが配置されているスキーマを選択します。

      ソーステーブル数量

      ソーステーブル数量を選択します。 ソーステーブル数量には、単一テーブルと複数テーブルが含まれます。

      • 単一テーブル：このオプションは、1 つのテーブルのビジネスデータを 1 つのターゲットテーブルに同期する場合に適用されます。

      • 複数テーブル：このオプションは、複数のテーブルのビジネスデータを同じターゲットテーブルに同期する場合に適用されます。 複数のテーブルのデータが同じデータテーブルに書き込まれる場合、ユニオンアルゴリズムが使用されます。

      テーブル

      ソーステーブルを選択します。

      • ソーステーブル数量に単一テーブルを選択した場合、テーブル名キーワードを入力してテーブルを検索できます。 image アイコンをクリックして、選択したテーブルの名前をコピーします。

      • ソーステーブル数量に複数テーブルを選択した場合は、次の操作を実行してテーブルを追加します。

        1. 入力ボックスにテーブル式を入力して、同じ構造のテーブルをフィルタリングします。

          システムは、列挙、正規表現のような形式、および両方の組み合わせをサポートしています。 たとえば、table_[001-100];table_102。

        2. [完全一致] をクリックします。 [一致の詳細の確認] ダイアログボックスで、一致したテーブルのリストを表示します。

        3. [OK] をクリックします。

      シャードキー

      ソースデータテーブルの整数型の列をシャードキーとして使用できます。 シャードキーとしてプライマリキーまたはインデックスを持つ列を使用することをお勧めします。 データを読み取るとき、システムは構成されたシャードキーフィールドに基づいてデータをシャーディングして同時読み取りを実装します。これにより、データ同期の効率が向上します。

      バッチ読み取り数

      一度に読み取るレコードの数。 ソースデータベースからデータを読み取るときに、レコードを 1 つずつ読み取る代わりに、特定のバッチ読み取りカウント（1,024 レコードなど）を構成できます。 これにより、データソースとの対話の回数が減り、I/O 効率が向上し、ネットワークレイテンシが減少します。

      入力フィルター

      入力フィールドのフィルター情報を入力します。たとえば、ds=${bizdate} などです。 入力フィルターは、次の 2 つのシナリオに適用されます。

      • データの固定部分。

      • パラメーターフィルタリング。

      出力フィールド

      [出力フィールド] セクションには、選択したテーブルのすべてのフィールドと、フィルター条件に一致するフィールドが表示されます。 次の操作を実行できます。

      • フィールド管理：特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、これらのフィールドを削除できます。

        • 単一フィールド削除シナリオ：少数のフィールドを削除する必要がある場合は、[操作] 列の sgaga アイコンをクリックして、不要なフィールドを削除できます。

        • バッチフィールド削除シナリオ：多数のフィールドを削除する必要がある場合は、[フィールド管理] をクリックします。 [フィールド管理] ダイアログボックスで、複数のフィールドを選択し、image 左矢印アイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動してから、[OK] をクリックして、フィールドのバッチ削除を完了します。

          image..png

      • 一括追加：[一括追加] をクリックして、JSON、TEXT、または DDL 形式でフィールドを構成します。

        説明

        一括追加を完了して [OK] をクリックすると、構成済みのフィールド情報が 上書きされます。

        • JSON 形式でフィールドを構成します。例：

          // 例：
  [{
     "index": 1,
     "name": "id",
     "type": "int(10)",
     "mapType": "Long",
     "comment": "comment1" // コメント 1
   },
   {
     "index": 2,
     "name": "user_name",
     "type": "varchar(255)",
     "mapType": "String",
     "comment": "comment2" // コメント 2
 }]
          説明

          index は指定されたオブジェクトの列番号を示し、name はインポート後のフィールド名を示し、type はインポート後のフィールドタイプを示します。 たとえば、"index":3,"name":"user_id","type":"String" は、ファイルの 4 番目の列がインポートされ、フィールド名が user_id で、フィールドタイプが String であることを示します。

        • TEXT 形式でフィールドを構成します。例：

          // 例：
1,id,int(10),Long,comment1 // コメント 1
2,user_name,varchar(255),Long,comment2 // コメント 2

          • 行区切り文字は、各フィールドの情報を区切るために使用されます。 デフォルトは改行（\n）です。 改行（\n）、セミコロン（;）、ピリオド（.）がサポートされています。

          • 列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ（ , ）です。システムは','をサポートしています。フィールドタイプは省略できます。デフォルトは','です。

        • DDL 形式でフィールドを構成します。例：

          CREATE TABLE tablename (
	user_id serial,  -- ユーザーID
	username VARCHAR(50), -- ユーザー名
	password VARCHAR(50), -- パスワード
	email VARCHAR (255), -- メールアドレス
	created_on TIMESTAMP -- 作成日時
);

      • 出力フィールドの作成：[+ 出力フィールドの作成] をクリックし、[列]、[タイプ]、[説明] に入力し、プロンプトに従って [マッピングタイプ] を選択します。 現在の行の構成が完了したら、image アイコンをクリックして保存します。

    8. [OK] をクリックして、[OpenGauss 入力コンポーネント] のプロパティ構成を完了します。