openGauss 入力コンポーネントは、openGauss データソースからデータを読み取ります。openGauss データソースから別のデータソースへデータを同期するには、まず openGauss 入力コンポーネントを構成してソースデータを読み取り、その後ターゲットデータソースを構成します。本トピックでは、openGauss 入力コンポーネントの構成方法について説明します。
前提条件
openGauss データソースが作成されました。詳細については、「openGauss データソースの作成」をご参照ください。
openGauss 入力コンポーネントの構成に使用するアカウントは、データソースに対してリードスルー権限を有している必要があります。必要な権限がない場合は、権限の付与を依頼してください。詳細については、「データソース権限の依頼、更新、返却」をご参照ください。
操作手順
Dataphin のホームページ上部のメニューバーから、[開発] → [データ統合] を選択します。
データ統合ページの上部メニューバーで、[プロジェクト] を選択します。Dev-Prod モードの場合は、環境も併せて選択する必要があります。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] 一覧から、開発対象のバッチパイプラインをクリックし、その構成ページを開きます。
ページ右上隅の [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側ナビゲーションウィンドウで、[入力] を選択します。右側の入力コンポーネント一覧から openGauss コンポーネントを見つけ、キャンバスへドラッグします。
openGauss 入力コンポーネントカード上の
アイコンをクリックして、openGauss [入力構成] ダイアログボックスを開きます。[openGauss 入力構成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
ステップ名
openGauss 入力コンポーネントの名前です。Dataphin が自動的にステップ名を生成しますが、必要に応じて変更可能です。命名規則は以下のとおりです：
中国語文字、英字、アンダースコア (_ )、数字のみ使用可能です。
最大長は 64 文字です。
データソース
ドロップダウンリストには、現在の Dataphin プロジェクト内のすべての openGauss データソースが表示されます。これは、ご利用のアカウントがリードスルー権限を持つデータソースおよび権限を持たないデータソースの両方を含みます。現在のデータソース名をコピーするには、
アイコンをクリックします。リードスルー権限がないデータソースについては、該当データソース横の [依頼] をクリックして権限を依頼してください。詳細については、「データソース権限の依頼、更新、返却」をご参照ください。
openGauss データソースが存在しない場合は、[作成] をクリックして新規作成してください。詳細については、「openGauss データソースの作成」をご参照ください。
スキーマ
クロススキーマテーブル読み取りがサポートされています。ソーステーブルが配置されているスキーマを選択します。
ソーステーブル数
ソーステーブルの数を選択します。「単一テーブル」および「複数テーブル」のいずれかを選択できます：
単一テーブル：1 つのテーブルから 1 つのターゲットテーブルへデータを同期する場合に使用します。
複数テーブル：複数のテーブルから 1 つのターゲットテーブルへデータを同期する場合に使用します。複数のテーブルのデータを 1 つのテーブルに書き込む際には、UNION アルゴリズムが使用されます。
テーブル一致パターン
一般ルール または データベース正規表現 を選択します。
説明このパラメーターは、「ソーステーブル数」が「複数テーブル」に設定されている場合のみ利用可能です。
テーブル
ソーステーブルまたはテーブル一覧を選択します：
「ソーステーブル数」が「単一テーブル」に設定されている場合、キーワードを入力してテーブル名を検索するか、正確なテーブル名を入力して [完全一致] をクリックします。テーブルを選択すると、システムが自動的にそのステータスを確認します。選択したテーブル名をコピーするには、
アイコンをクリックします。「ソーステーブル数」が「複数テーブル」に設定されている場合、選択した一致パターンに基づいてテーブルを追加する式を入力します。
「テーブル一致パターン」が「一般ルール」に設定されている場合、入力欄に式を入力して「同じ構造を持つテーブル」をフィルターします。システムは列挙、正規表現風のパターン、およびその混合をサポートします。例：
table_[001-100];table_102;。「テーブル一致パターン」が「データベース正規表現」に設定されている場合、現在のデータベースでサポートされる正規表現を入力します。システムはこの式を使用して、ターゲットデータベース内のテーブルを照合します。実行時、ノードはデータベース正規表現に基づいて新しい範囲のテーブルを照合し、同期を実行します。
式を入力後、[完全一致] をクリックして、[一致詳細の確認] ダイアログボックスで照合されたテーブル一覧を表示します。
分割キー
ソーステーブルの整数型カラムを分割キーとして使用します。「プライマリキー」または「インデックス付きカラム」を分割キーとして推奨します。データ読み取り時に、システムは構成された分割キーに基づいてデータをパーティション分割し、同時読み取りを可能にします。これにより、データ同期の効率が向上します。
バッチ読み取りサイズ
1 回の読み取りで取得するレコード数です。ソースデータベースから読み取る際には、1 レコードずつではなく、1024 レコードなど特定のバッチサイズを設定します。これにより、データソースとのやり取りが削減され、I/O 効率が向上し、ネットワーク遅延が低減されます。
入力フィルター
入力に対するフィルター条件を入力します。例：
ds=${bizdate}。「入力フィルター」は、以下のシナリオに適しています：固定範囲のデータ。
パラメーターによるフィルタリング。
出力フィールド
「出力フィールド」セクションには、選択したテーブルからフィルター条件に一致するすべてのフィールドが表示されます。以下の操作がサポートされています：
フィールド管理：特定のフィールドを下流コンポーネントに出力しない場合は、不要なフィールドを削除できます。
単一フィールドの削除：[操作] 列の
アイコンをクリックして、不要なフィールドを削除します。複数のフィールドをバッチで削除するには: 「[フィールド管理]」をクリックします。[フィールド管理] ダイアログボックスで、複数のフィールドを選択し、
左矢印アイコンをクリックして、選択した入力フィールドを未選択の入力フィールド一覧に移動し、その後、「[OK]」をクリックします。
一括追加: [一括追加] をクリックして、JSON、TEXT、またはDDLフォーマットを使用してフィールドを一括で設定します。
説明フィールドを一括追加して [OK] をクリックすると、既存のフィールド設定が上書きされます。
JSON 形式での構成例：
// 例: [{ "index": 1, "name": "id", "type": "int(10)", "mapType": "Long", "comment": "comment1" }, { "index": 2, "name": "user_name", "type": "varchar(255)", "mapType": "String", "comment": "comment2" }]説明index は対象の列番号を指定します。name はインポート後のフィールド名を指定します。type はインポート後のフィールド型を指定します。例：
"index":3,"name":"user_id","type":"String"は、ファイルの 4 列目をフィールド名 user_id、フィールド型 String でインポートすることを意味します。TEXT 形式での構成例：
// 例: 1,id,int(10),Long,comment1 2,user_name,varchar(255),Long,comment2行区切り文字は各フィールドの情報を区切ります。デフォルトの区切り文字は改行 (\n) ですが、セミコロン (;) やピリオド (.) もサポートされます。
列区切り文字はフィールド名とフィールド型を区切ります。デフォルトは半角カンマ (,) です。カンマ (,)
','がサポートされます。フィールド型は省略可能で、デフォルト値は','です。
DDL 形式での構成例：
CREATE TABLE tablename ( user_id serial, username VARCHAR(50), password VARCHAR(50), email VARCHAR (255), created_on TIMESTAMP, );
出力フィールドの作成: [+ 出力フィールドの作成] をクリックします。 画面の指示に従って、[列]、[タイプ]、[コメント] を入力し、[マッピングタイプ] を選択します。 現在の行を設定した後、
アイコンをクリックして保存します。
[確認] をクリックして、openGauss 入力コンポーネント の構成を保存します。