すべてのプロダクト
Search
ドキュメントセンター

Dataphin:Vertica 入力コンポーネントの構成

最終更新日:May 29, 2025

Vertica 入力コンポーネントは、Vertica データソースからデータを読み取ります。 Vertica データソースから他のデータソースにデータを同期する必要がある場合は、まず Vertica 入力コンポーネントが読み取るソースデータソース情報を構成し、次にデータ同期用のターゲットデータソースを構成する必要があります。 このトピックでは、Vertica 入力コンポーネントを構成する方法について説明します。

前提条件

  • Vertica データソースを作成済みであること。 詳細については、「Vertica データソースの作成」をご参照ください。

  • Vertica 入力コンポーネントのプロパティを構成するために使用するアカウントは、データソースに対するリードスルー権限を持っている必要があります。 権限がない場合は、データソース権限をリクエストする必要があります。 詳細については、「データソース権限のリクエスト、更新、および返却」をご参照ください。

手順

  1. Dataphin ホームページの上部ナビゲーションバーで、[開発] > [Data Integration] を選択します。

  2. プロジェクト統合ページの上部ナビゲーションバーで、 を選択します(開発 - 本番モードでは、環境を選択する必要があります)。

  3. 左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発する オフラインパイプライン をクリックして構成ページを開きます。

  4. ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。

  5. [コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。 右側の入力コンポーネントリストで [Vertica] コンポーネントを見つけ、キャンバスにドラッグします。

  6. Vertica 入力コンポーネントカードの image アイコンをクリックして、[Vertica] [入力構成] ダイアログボックスを開きます。

  7. [Vertica 入力構成] ダイアログボックスで、パラメーターを構成します。

    パラメーター

    説明

    ステップ名

    Vertica 入力コンポーネントの名前。 Dataphin は自動的にステップ名を生成します。 ビジネスシナリオに基づいて変更することもできます。 名前は次の要件を満たしている必要があります。

    • 漢字、英字、アンダースコア(_)、および数字のみを含めることができます。

    • 長さは 64 文字を超えることはできません。

    データソース

    データソースドロップダウンリストには、現在の Dataphin インスタンスにあるすべての Vertica データソースが表示されます。これには、リードスルー権限を持っているデータソースと持っていないデータソースが含まれます。 image アイコンをクリックして、現在のデータソース名をコピーします。

    • リードスルー権限を持っていないデータソースの場合、データソースの横にある [リクエスト] をクリックして、リードスルー権限をリクエストできます。 詳細については、「データソース権限のリクエスト、更新、および返却」をご参照ください。

    • Vertica データソースがない場合は、[データソースの作成] をクリックして作成します。 詳細については、「Vertica データソースの作成」をご参照ください。

    テーブル

    テーブル名キーワードを入力してテーブルを検索するか、正確なテーブル名を入力して [完全一致] をクリックします。 テーブルを選択すると、システムは自動的にテーブルステータスをチェックします。 image アイコンをクリックして、選択したテーブルの名前をコピーします。

    シャードキー(オプション)

    ソースデータテーブルの整数型の列をシャードキーとして使用できます。 プライマリキーまたはインデックス付きの列をシャードキーとして使用することをお勧めします。 データを読み取るとき、システムは構成されたシャードキーフィールドに基づいてデータをシャーディングして同時読み取りを実装します。これにより、データ同期の効率が向上します。

    バッチ読み取り数(オプション)

    一度に読み取るデータレコードの数。 ソースデータベースからデータを読み取るときに、レコードを 1 つずつ読み取る代わりに、特定のバッチ読み取り数(1,024 レコードなど)を構成できます。 これにより、データソースとの対話の回数が減り、I/O 効率が向上し、ネットワークレイテンシが減少します。

    入力フィルター(オプション)

    データを抽出するためのフィルター条件。 構成手順は次のとおりです。

    • 静的フィールドを構成して対応するデータを抽出します。例:ds=20210101

    • 変数パラメーターを構成して、データの特定の部分を抽出します。例:ds=${bizdate}

    出力フィールド

    出力フィールドセクションには、選択したテーブルとフィルター条件に一致するすべてのフィールドが表示されます。 次の操作を実行できます。

    • フィールド管理:特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、これらのフィールドを削除できます。

      • 単一フィールドの削除:少数のフィールドを削除する必要がある場合は、操作列の sgaga アイコンをクリックして、不要なフィールドを削除できます。

      • 複数フィールドの一括削除:多数のフィールドを削除する必要がある場合は、[フィールド管理] をクリックします。 [フィールド管理] ダイアログボックスで、複数のフィールドを選択し、image 左矢印アイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動してから、[OK] をクリックして、フィールドの一括削除を完了します。

        image..png

    • 一括追加[一括追加] をクリックして、JSON、TEXT、または DDL 形式のフィールドを一括で構成します

      説明

      一括追加を完了して [OK] をクリックすると、システムは構成済みのフィールド情報を 上書き します。

      • JSON 形式のフィールドを一括で構成します。例:

        // 例:
          [{
             "index": 1,
             "name": "id",
             "type": "int(10)",
             "mapType": "Long",
             "comment": "comment1" // コメント1
           },
           {
             "index": 2,
             "name": "user_name",
             "type": "varchar(255)",
             "mapType": "String",
             "comment": "comment2" // コメント2
         }]
        説明

        index は指定されたオブジェクトの列番号を示し、name はインポート後のフィールド名を示し、type はインポート後のフィールドタイプを示します。 たとえば、"index":3,"name":"user_id","type":"String" は、ファイルの 4 番目の列がインポートされ、フィールド名が user_id で、フィールドタイプが String であることを示します。

      • TEXT 形式のフィールドを一括で構成します。例:

        // 例:
        1,id,int(10),Long,comment1
        2,user_name,varchar(255),Long,comment2
        • 行区切り文字は、各フィールドの情報を区切るために使用されます。 デフォルト値は改行(\n)です。 行区切り文字は、改行(\n)、セミコロン(;)、またはピリオド(.)です。

        • 列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルト値はカンマ (,) です。サポートされている区切り文字は','です。フィールドタイプは空のままにすることができます。デフォルト値は','です。

      • DDL 形式のフィールドを一括で構成します。例:

        CREATE TABLE tablename (
        	user_id serial,
        	username VARCHAR(50),
        	password VARCHAR(50),
        	email VARCHAR (255),
        	created_on TIMESTAMP,
        );
    • 出力フィールドの作成: [+ 出力フィールドの作成] をクリックし、[列][タイプ][説明] に入力し、プロンプトに従って [マッピングタイプ] を選択します。 現在の行の構成が完了したら、image アイコンをクリックして保存します。

  8. [OK] をクリックして、[Vertica] 入力コンポーネントのプロパティ構成を完了します。