Vertica 入力コンポーネントは、Vertica データソースからデータを読み取ります。 Vertica データソースから他のデータソースにデータを同期する必要がある場合は、まず Vertica 入力コンポーネントが読み取るソースデータソース情報を構成し、次にデータ同期用のターゲットデータソースを構成する必要があります。 このトピックでは、Vertica 入力コンポーネントを構成する方法について説明します。
前提条件
Vertica データソースを作成済みであること。 詳細については、「Vertica データソースの作成」をご参照ください。
Vertica 入力コンポーネントのプロパティを構成するために使用するアカウントは、データソースに対するリードスルー権限を持っている必要があります。 権限がない場合は、データソース権限をリクエストする必要があります。 詳細については、「データソース権限のリクエスト、更新、および返却」をご参照ください。
手順
Dataphin ホームページの上部ナビゲーションバーで、[開発] > [Data Integration] を選択します。
プロジェクト統合ページの上部ナビゲーションバーで、 を選択します(開発 - 本番モードでは、環境を選択する必要があります)。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発する オフラインパイプライン をクリックして構成ページを開きます。
ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。 右側の入力コンポーネントリストで [Vertica] コンポーネントを見つけ、キャンバスにドラッグします。
Vertica 入力コンポーネントカードの
アイコンをクリックして、[Vertica] [入力構成] ダイアログボックスを開きます。[Vertica 入力構成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
ステップ名
Vertica 入力コンポーネントの名前。 Dataphin は自動的にステップ名を生成します。 ビジネスシナリオに基づいて変更することもできます。 名前は次の要件を満たしている必要があります。
漢字、英字、アンダースコア(_)、および数字のみを含めることができます。
長さは 64 文字を超えることはできません。
データソース
データソースドロップダウンリストには、現在の Dataphin インスタンスにあるすべての Vertica データソースが表示されます。これには、リードスルー権限を持っているデータソースと持っていないデータソースが含まれます。
アイコンをクリックして、現在のデータソース名をコピーします。リードスルー権限を持っていないデータソースの場合、データソースの横にある [リクエスト] をクリックして、リードスルー権限をリクエストできます。 詳細については、「データソース権限のリクエスト、更新、および返却」をご参照ください。
Vertica データソースがない場合は、[データソースの作成] をクリックして作成します。 詳細については、「Vertica データソースの作成」をご参照ください。
テーブル
テーブル名キーワードを入力してテーブルを検索するか、正確なテーブル名を入力して [完全一致] をクリックします。 テーブルを選択すると、システムは自動的にテーブルステータスをチェックします。
アイコンをクリックして、選択したテーブルの名前をコピーします。シャードキー(オプション)
ソースデータテーブルの整数型の列をシャードキーとして使用できます。 プライマリキーまたはインデックス付きの列をシャードキーとして使用することをお勧めします。 データを読み取るとき、システムは構成されたシャードキーフィールドに基づいてデータをシャーディングして同時読み取りを実装します。これにより、データ同期の効率が向上します。
バッチ読み取り数(オプション)
一度に読み取るデータレコードの数。 ソースデータベースからデータを読み取るときに、レコードを 1 つずつ読み取る代わりに、特定のバッチ読み取り数(1,024 レコードなど)を構成できます。 これにより、データソースとの対話の回数が減り、I/O 効率が向上し、ネットワークレイテンシが減少します。
入力フィルター(オプション)
データを抽出するためのフィルター条件。 構成手順は次のとおりです。
静的フィールドを構成して対応するデータを抽出します。例:
ds=20210101。変数パラメーターを構成して、データの特定の部分を抽出します。例:
ds=${bizdate}。
出力フィールド
出力フィールドセクションには、選択したテーブルとフィルター条件に一致するすべてのフィールドが表示されます。 次の操作を実行できます。
フィールド管理:特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、これらのフィールドを削除できます。
単一フィールドの削除:少数のフィールドを削除する必要がある場合は、操作列の
アイコンをクリックして、不要なフィールドを削除できます。複数フィールドの一括削除:多数のフィールドを削除する必要がある場合は、[フィールド管理] をクリックします。 [フィールド管理] ダイアログボックスで、複数のフィールドを選択し、
左矢印アイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動してから、[OK] をクリックして、フィールドの一括削除を完了します。
一括追加:[一括追加] をクリックして、JSON、TEXT、または DDL 形式のフィールドを一括で構成します。
説明一括追加を完了して [OK] をクリックすると、システムは構成済みのフィールド情報を 上書き します。
JSON 形式のフィールドを一括で構成します。例:
// 例: [{ "index": 1, "name": "id", "type": "int(10)", "mapType": "Long", "comment": "comment1" // コメント1 }, { "index": 2, "name": "user_name", "type": "varchar(255)", "mapType": "String", "comment": "comment2" // コメント2 }]説明index は指定されたオブジェクトの列番号を示し、name はインポート後のフィールド名を示し、type はインポート後のフィールドタイプを示します。 たとえば、
"index":3,"name":"user_id","type":"String"は、ファイルの 4 番目の列がインポートされ、フィールド名が user_id で、フィールドタイプが String であることを示します。TEXT 形式のフィールドを一括で構成します。例:
// 例: 1,id,int(10),Long,comment1 2,user_name,varchar(255),Long,comment2行区切り文字は、各フィールドの情報を区切るために使用されます。 デフォルト値は改行(\n)です。 行区切り文字は、改行(\n)、セミコロン(;)、またはピリオド(.)です。
列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルト値はカンマ (,) です。サポートされている区切り文字は
','です。フィールドタイプは空のままにすることができます。デフォルト値は','です。
DDL 形式のフィールドを一括で構成します。例:
CREATE TABLE tablename ( user_id serial, username VARCHAR(50), password VARCHAR(50), email VARCHAR (255), created_on TIMESTAMP, );
出力フィールドの作成: [+ 出力フィールドの作成] をクリックし、[列]、[タイプ]、[説明] に入力し、プロンプトに従って [マッピングタイプ] を選択します。 現在の行の構成が完了したら、
アイコンをクリックして保存します。
[OK] をクリックして、[Vertica] 入力コンポーネントのプロパティ構成を完了します。