SelectDB 入力コンポーネントは、SelectDB データソースからデータを読み取ります。SelectDB データソースから別のデータソースにデータを同期する場合、まずソースデータソースの情報で SelectDB 入力コンポーネントを設定します。次に、同期タスクの送信先データソースを設定します。このトピックでは、SelectDB 入力コンポーネントの設定方法について説明します。
前提条件
SelectDB データソースが作成済みであること。詳細については、「SelectDB データソースの作成」をご参照ください。
SelectDB 入力コンポーネントの設定に使用するアカウントには、データソースに対する同期読み取り権限が必要です。アカウントにこの権限がない場合は、権限をリクエストしてください。詳細については、「データソース権限のリクエスト」をご参照ください。
操作手順
Dataphin のホームページの上部メニューバーで、[開発] > [データ統合] を選択します。
統合ページの上部メニューバーで、[プロジェクト] を選択します。Dev-Prod モードでは、環境も選択します。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発したいオフラインパイプラインをクリックします。パイプラインの設定ページが開きます。
ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] をクリックします。右側の入力コンポーネントリストで [SelectDB] コンポーネントを見つけ、キャンバスにドラッグします。
SelectDB 入力コンポーネントカードの
アイコンをクリックして、[SelectDB] [入力設定] ダイアログボックスを開きます。[SelectDB 入力設定] ダイアログボックスで、パラメーターを設定します。
パラメーター
説明
ステップ名
SelectDB 入力コンポーネントの名前です。Dataphin はステップ名を自動的に生成します。ビジネスシナリオに基づいて変更できます。次の命名規則を使用してください：
漢字、英字、アンダースコア (_)、数字のみを使用します。
64 文字以内で入力してください。
データソース
データソースのドロップダウンリストには、現在の Dataphin インスタンス内のすべての SelectDB データソースが表示され、それぞれに対するリードスルー権限の有無が示されます。
データソースに対する同期読み取り権限がない場合は、データソースの横にある [リクエスト] をクリックして権限をリクエストします。詳細については、「データソース権限のリクエスト」をご参照ください。
SelectDB データソースがない場合は、[データソースの作成] をクリックして作成します。詳細については、「SelectDB データソースの作成」をご参照ください。
[ソーステーブル数]
ソーステーブルの数を選択します。オプションは [単一テーブル] と [複数テーブル] です：
[単一テーブル]：1 つのソーステーブルから 1 つの送信先テーブルにビジネスデータを同期する場合に、このオプションを使用します。
[複数テーブル]：複数のソーステーブルから 1 つの送信先テーブルにビジネスデータを同期する場合に、このオプションを使用します。複数のテーブルから 1 つのテーブルにデータを書き込む際、システムは UNION アルゴリズムを使用します。
[テーブル照合メソッド]
[汎用ルール] または [データベース正規表現] を選択します。
説明このパラメーターは、[ソーステーブル数] で [複数テーブル] を選択した場合にのみ使用できます。
テーブル
ソーステーブルを選択します：
[ソーステーブル数] で [単一テーブル] を選択した場合、テーブル名フィールドにキーワードを入力して検索します。または、正確なテーブル名を入力して [完全一致] をクリックします。テーブルを選択すると、システムが自動的にそのステータスを確認します。
アイコンをクリックして、選択したテーブルの名前をコピーします。[ソーステーブル数] で [複数テーブル] を選択した場合、テーブル照合メソッドに基づいて式を入力します：
[汎用ルール] を選択した場合：フィールドに式を入力して、同じ構造のテーブルをフィルターします。システムは、列挙、正規表現風の構文、および混合フォーマットをサポートしています。例：
table_[001-100];table_102;.[データベース正規表現] を選択した場合：データベースでサポートされている正規表現を入力します。システムはこの正規表現を使用して、ターゲットデータベース内のテーブルを照合します。ランタイムに、タスクは正規表現に基づいて新しいテーブルを動的に照合します。
式を入力した後、[完全一致] をクリックします。[一致詳細の確認] ダイアログボックスで、一致したテーブルのリストを表示します。
[分割キー] (オプション)
一度に読み取るレコードの数です。バッチサイズ (例：1,024 レコード) を設定して、ソースデータベースから一度に 1 レコードずつではなく、バッチでデータを読み取ります。これにより、データソースとのやり取りが減り、I/O 効率が向上し、ネットワーク遅延が低減します。
[バッチ読み取りサイズ] (オプション)
一度に読み取るレコードの数です。バッチサイズ (例：1,024 レコード) を設定して、ソースデータベースから一度に 1 レコードずつではなく、バッチでデータを読み取ります。これにより、データソースとのやり取りが減り、I/O 効率が向上し、ネットワーク遅延が低減します。
[入力フィルター] (任意)
抽出するデータをフィルターするための条件を設定します。次のように設定します：
静的な値を設定して、一致するデータを抽出します。例：
ds=20210101。変数パラメーターを設定して、データの一部を抽出します。例：
ds=${bizdate}。
出力フィールド
[出力フィールド] セクションには、選択したテーブルとフィルターからのすべてのフィールドがリストされます。次の操作を実行できます：
フィールドの管理：下流コンポーネントに渡す必要のないフィールドを削除します：
1 つのフィールドを削除：いくつかのフィールドを削除するには、[操作] 列の
アイコンをクリックします。複数のフィールドを削除：多くのフィールドを削除するには、[フィールド管理] をクリックします。[フィールド管理] ダイアログボックスで、複数のフィールドを選択します。
左矢印アイコンをクリックして、選択したフィールドを未選択リストに移動します。[OK] をクリックして、一括削除を完了します。
バッチ追加：[バッチ追加] をクリックして、JSON、TEXT、または DDL フォーマットでフィールドを追加します。
説明OK をクリックすると、バッチ追加されたフィールドは既存のフィールド設定を上書きします。
JSON フォーマットを使用してバッチで設定を構成します。例：
// 例： [{ "index": 1, "name": "id", "type": "int(10)", "mapType": "Long", "comment": "comment1" }, { "index": 2, "name": "user_name", "type": "varchar(255)", "mapType": "String", "comment": "comment2" }]説明indexフィールドは指定されたオブジェクトの列番号を示し、nameフィールドはインポート後のフィールド名を示し、typeフィールドはインポート後のフィールドタイプを示します。たとえば、"index":3,"name":"user_id","type":"String"は、ファイルの 4 番目の列をインポートし、フィールド名をuser_idに設定し、フィールドタイプをStringに設定します。TEXT フォーマットでバッチ設定を実行できます。例：
// 例： 1,id,int(10),Long,comment1 2,user_name,varchar(255),Long,comment2行区切り文字は、各フィールドの情報を区切ります。デフォルトは改行 (\n) です。セミコロン (;) またはピリオド (.) も使用できます。
列区切り文字は、フィールド名と型を区切ります。デフォルトはコンマ (,) です。
','も使用できます。フィールドタイプはオプションで、デフォルトは','です。
DDL フォーマットでのバッチ設定。例：
CREATE TABLE tablename ( user_id serial, username VARCHAR(50), password VARCHAR(50), email VARCHAR (255), created_on TIMESTAMP, );
新しい出力フィールドの追加：[+出力フィールドの追加] をクリックします。[列]、[型]、[コメント] の値を入力します。[マッピングタイプ] を選択します。
アイコンをクリックして行を保存します。
[OK] をクリックして、SelectDB 入力コンポーネントの設定を完了します。