ClickHouse 入力コンポーネントは、ClickHouse データソースからデータを読み取ります。ClickHouse データソースから別のデータソースにデータを同期するには、まずソースデータソースの情報で ClickHouse 入力コンポーネントを設定し、次に同期タスクの送信先データソースを設定する必要があります。このトピックでは、ClickHouse 入力コンポーネントの設定方法について説明します。
前提条件
ClickHouse データソースが作成済みです。詳細については、「ClickHouse データソースの作成」をご参照ください。
ClickHouse 入力コンポーネントの設定に使用するアカウントには、データソースに対する同期読み取り権限が必要です。アカウントにこの権限がない場合は、リクエストしてください。詳細については、「データソース権限のリクエスト」をご参照ください。
操作手順
Dataphin のホームページの上部のメニューバーで、[開発] > [データ統合] を選択します。
統合ページの上部のメニューバーで、[プロジェクト] を選択します。Dev-Prod モードでは、環境も選択します。
左側のナビゲーションウィンドウで、[オフライン統合] をクリックします。[オフライン統合] リストで、開発する [オフラインパイプライン] をクリックして、その構成ページを開きます。
ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] をクリックします。右側の入力コンポーネントリストで [ClickHouse] コンポーネントを見つけ、キャンバスにドラッグします。
ClickHouse 入力コンポーネントカードの
アイコンをクリックして、[ClickHouse] [入力設定] ダイアログボックスを開きます。[ClickHouse 入力設定] ダイアログボックスで、パラメーターを設定します。
パラメーター
説明
[ステップ名]
ClickHouse 入力コンポーネントの名前です。Dataphin は自動的にステップ名を生成します。ビジネスシナリオに基づいて変更できます。命名規則は次のとおりです：
漢字、英字、アンダースコア (_)、数字のみを使用できます。
64 文字を超えないようにしてください。
データソース
ドロップダウンリストには、Dataphin 内のすべての ClickHouse データソースが表示されます。これには、同期読み取り権限を持つデータソースと持たないデータソースの両方が含まれます。
アイコンをクリックすると、現在のデータソース名をコピーできます。データソースに対する同期読み取り権限がない場合は、データソースの横にある [リクエスト] をクリックして権限をリクエストします。詳細については、「データソース権限のリクエスト」をご参照ください。
ClickHouse データソースがない場合は、[データソースの作成] をクリックして作成します。詳細については、「ClickHouse データソースの作成」をご参照ください。
[ソーステーブル数]
ソーステーブルの数を選択します。オプションは [単一テーブル] と [複数テーブル] です：
[単一テーブル]：1 つのソーステーブルから 1 つの送信先テーブルにビジネスデータを同期する場合に、このオプションを使用します。
[複数テーブル]：複数のソーステーブルから 1 つの送信先テーブルにビジネスデータを同期する場合に、このオプションを使用します。複数のテーブルから 1 つの送信先テーブルにデータを書き込む際、システムは UNION アルゴリズムを使用します。
[テーブル照合方法]
[汎用ルール] または [データベース正規表現] を選択します。
説明このパラメーターは、[ソーステーブル数] で [複数テーブル] を選択した場合にのみ使用できます。
テーブル
ソーステーブルを選択します：
[ソーステーブル数] で [単一テーブル] を選択した場合は、キーワードを入力してテーブル名を検索するか、正確なテーブル名を入力して [完全一致検索] をクリックします。テーブルを選択すると、システムが自動的にテーブルのステータスを確認します。
アイコンをクリックすると、選択したテーブル名をコピーできます。[ソーステーブル数] で [複数テーブル] を選択した場合は、テーブル照合方法に基づいて式を入力します。
[テーブル照合方法] で [汎用ルール] を選択した場合は、フィールドに式を入力して、同じ構造を持つテーブルをフィルターします。システムは、列挙、正規表現に似たパターン、および混合フォーマットをサポートしています。例：
table_[001-100];table_102;。[テーブル照合方法] で [データベース正規表現] を選択した場合は、データベースでサポートされている正規表現を入力します。システムは、この正規表現を使用してターゲットデータベース内のテーブルを照合します。タスクのランタイム中に、システムは正規表現に基づいて新しいテーブルを動的に照合します。
式を入力した後、[完全一致検索] をクリックします。[一致詳細の確認] ダイアログボックスで、一致したテーブルのリストを表示します。
[分割キー] (オプション)
システムは、設定された分割キーフィールドに基づいてデータを分割します。これを同時実行数の設定と組み合わせて使用することで、同時読み取りを有効にできます。ソーステーブルの任意の列を分割キーとして使用できます。最高のパフォーマンスを得るには、プライマリキーまたはインデックス付き列を分割キーとして使用することを推奨します。
重要日時型を選択した場合、システムは最大値、最小値、および同時実行数の設定に基づいて、全時間範囲にわたって総当たり分割を実行します。これにより、均等な分散が保証されるわけではありません。
[バッチ読み取りサイズ] (オプション)
一度に読み取るレコード数です。レコードを 1 つずつ読み取るのではなく、バッチ読み取りサイズ (例：1024 レコード) を設定します。これにより、データソースとのやり取りが減り、I/O 効率が向上し、ネットワーク遅延が低減します。
[入力フィルター] (オプション)
データを抽出するためのフィルタリング条件を次のように設定します：
静的な値を設定して、一致するデータを抽出します。例：
ds=20210101。変数パラメーターを設定して、データの一部を抽出します。例：
ds=${bizdate}。
[出力フィールド]
このセクションには、選択したテーブルから入力フィルターで絞り込まれたすべてのフィールドがリストされます。次の操作を実行できます：
フィールドの管理：下流コンポーネントに渡す必要のないフィールドを削除します。
個々のフィールドの削除：[操作] 列の
アイコンをクリックして、不要なフィールドを削除します。フィールドの一括削除シナリオ：多くのフィールドを削除するには、[フィールド管理] をクリックし、[フィールド管理] ダイアログボックスで複数のフィールドを選択し、
左移動アイコンをクリックして選択した入力フィールドを未選択の入力フィールドに移動させ、[OK] をクリックしてフィールドの一括削除を完了します。
フィールドの一括追加：[一括追加] をクリックして、JSON、TEXT、または DDL フォーマットでフィールドを設定します。
説明フィールドを一括追加して [OK] をクリックすると、システムは既存のフィールド設定を上書きします。
JSON フォーマットの例：
// 例: [{ "index": 1, "name": "id", "type": "int(10)", "mapType": "Long", "comment": "comment1" }, { "index": 2, "name": "user_name", "type": "varchar(255)", "mapType": "String", "comment": "comment2" }]説明indexは列インデックスを指定し、nameはインポートされたフィールドの名前を指定し、typeはインポートされたフィールドの型を指定します。 たとえば、"index":3,"name":"user_id","type":"String"は、列インデックスが 0 から始まるため、ファイルの 4 番目の列がインポートされることを示します。フィールド名はuser_idで、フィールドの型はStringです。TEXT フォーマットの例：
// 例: 1,id,int(10),Long,comment1 2,user_name,varchar(255),Long,comment2行区切り文字はフィールド情報を区切ります。デフォルトは改行 (\n) です。セミコロン (;) やピリオド (.) も使用できます。
列区切り文字はフィールド名と型を区切ります。デフォルトはコンマ (,) です。
','も使用できます。フィールドの型はオプションで、デフォルトは','です。
DDL フォーマットの例：
CREATE TABLE tablename ( user_id serial, username VARCHAR(50), password VARCHAR(50), email VARCHAR (255), created_on TIMESTAMP, );
新しい出力フィールドの追加：[+ 出力フィールドの追加] をクリックします。[列]、[型]、[コメント] を入力し、[マッピングタイプ] を選択します。
アイコンをクリックして、現在の行の設定を保存します。
[OK] をクリックして、[ClickHouse 入力コンポーネント] の設定を完了します。