ClickHouse 出力コンポーネントは、データを ClickHouse データソースに書き込みます。他のデータソースから ClickHouse へデータを同期する場合、まずソースデータ情報を設定した後、ClickHouse 出力コンポーネントのターゲットデータソースを設定する必要があります。本トピックでは、ClickHouse 出力コンポーネントの設定方法について説明します。
前提条件
ClickHouse データソースおよびデータテーブルを作成しました。
ClickHouse データソースを作成済みである必要があります。詳細については、「ClickHouse データソースの作成」をご参照ください。
ClickHouse 出力コンポーネントのプロパティを設定する際に使用するアカウントには、当該データソースに対するライトスルー権限が必要です。権限がない場合は、データソースの権限をリクエストする必要があります。詳細については、「データソース権限のリクエスト、更新、返却」をご参照ください。
操作手順
Dataphin ホームページの上部ナビゲーションバーで、開発 > データ統合 を選択します。
統合ページの上部ナビゲーションバーで、プロジェクト を選択します(Dev-Prod モードの場合は、環境 を選択します)。
左側のナビゲーションウィンドウで、バッチパイプライン をクリックします。バッチパイプライン の一覧から、開発対象の オフラインパイプライン をクリックし、その構成ページを開きます。
ページ右上隅の コンポーネントライブラリ をクリックして、コンポーネントライブラリ パネルを開きます。
コンポーネントライブラリ パネルの左側ナビゲーションウィンドウで、出力 を選択します。右側の出力コンポーネント一覧から ClickHouse コンポーネントを見つけ、キャンバスにドラッグします。
対象の入力・変換・フローコンポーネントの
アイコンをクリックしてドラッグし、現在の ClickHouse 出力コンポーネントに接続します。ClickHouse 出力コンポーネントの
アイコンをクリックして、ClickHouse 出力構成 ダイアログボックスを開きます。
ClickHouse 出力構成 ダイアログボックスで、パラメーターを設定します。
パラメーター
説明
基本構成
ステップ名
ClickHouse 出力コンポーネントの名前です。Dataphin が自動的にステップ名を生成しますが、ビジネスシナリオに応じて変更可能です。以下の要件を満たす必要があります:
中国語文字、英字、アンダースコア (_)、数字のみを使用できます。
最大長は 64 文字です。
データソース
データソースのドロップダウンリストには、Dataphin 内のすべての ClickHouse データソース(ライトスルー権限を持つものと持たないもの)が表示されます。現在選択中のテーブル名をコピーするには、
アイコンをクリックします。ライトスルー権限を持たないデータソースについては、データソース横の リクエスト をクリックして権限をリクエストできます。詳細については、「データソース権限のリクエスト」をご参照ください。
ClickHouse データソースが存在しない場合は、データソースの作成 をクリックして新規作成します。詳細については、「ClickHouse データソースの作成」をご参照ください。
テーブル
出力データの対象テーブルを選択します。 キーワードを入力してテーブルを検索するか、正確なテーブル名を入力して 完全一致 をクリックします。テーブルを選択すると、システムが自動的にテーブルの状態を確認します。現在選択中のテーブル名をコピーするには、
アイコンをクリックします。ローディングポリシー
対象テーブルへのデータ書き込みポリシーを選択します。現在は データ追加 のみがサポートされています。「データ追加」とは、既存データを変更せずに、対象テーブルの既存データに新しいデータを追加することを意味します。
バッチ書き込みサイズ(任意)
一度に書き込むデータのサイズです。バッチ書き込みレコード数 も設定できます。データ書き込み時には、いずれかの制限値(バッチ書き込みサイズまたはレコード数)に先に到達した時点で書き込みが実行されます。デフォルト値は 32 MB です。
一括レコード書き込み (任意)
デフォルト値は 2048 レコード です。データ同期時には、バッチ書き込みレコード数 および バッチ書き込みサイズ を含むバッチ書き込み戦略が採用されます。
累積されたデータが設定されたいずれかの制限値(バッチ書き込みサイズまたはレコード数)に達すると、システムはそのデータを 1 バッチとして完了と見なし、1 回の操作で宛先に書き込みます。
バッチ書き込みサイズは 32 MB に設定することを推奨します。バッチ挿入レコード数の制限については、単一レコードの実際のサイズに応じて柔軟に調整できます。通常は大きな値を設定することで、バッチ書き込みの利点を十分に活用できます。たとえば、単一レコードのサイズが約 1 KB の場合、バッチ挿入バイトサイズを 16 MB に設定し、この条件に基づいてバッチ挿入レコード数を「16 MB ÷ 1 KB = 16384 レコード」より大きい値(例: 20000 レコード)に設定します。この構成では、システムはバッチ挿入バイトサイズに基づいてバッチ書き込みをトリガーし、累積データが 16 MB に達するごとに書き込み操作を実行します。
Prepare Statement(任意)
データインポート前にデータベース上で実行される SQL スクリプトです。
たとえば、サービスの継続的な可用性を確保するために、現在のステップによるデータ書き込み前に、まずターゲットテーブル Target_A を作成し、Target_A への書き込みを実行します。その後、現在のステップによるデータ書き込みが完了したら、継続的にサービスを提供しているテーブル Service_B を Temp_C にリネームし、Target_A を Service_B にリネームしてから、Temp_C を削除します。
Post Statement(任意)
データインポート後にデータベース上で実行される SQL スクリプトです。
フィールドマッピング
入力フィールド
上流コンポーネントの出力に基づく入力フィールドが表示されます。
出力フィールド
出力フィールドが表示されます。以下の操作が可能です:
フィールド管理: フィールド管理 をクリックして出力フィールドを選択します。

アイコンをクリックして、選択済み入力フィールド を 未選択入力フィールド に移動します。
アイコンをクリックして、未選択入力フィールド を 選択済み入力フィールド に移動します。
一括追加: 一括追加 をクリックして、JSON、TEXT、DDL 形式で構成します。
JSON 形式での一括構成の例:
// 例: [{ "name": "user_id", "type": "String" }, { "name": "user_name", "type": "String" }]説明name はインポート対象のフィールド名を指定します。type はインポート後のフィールドのデータの型を指定します。たとえば、
"name":"user_id","type":"String"は、user_id という名前のフィールドをインポートし、そのデータの型を String に設定します。TEXT 形式での一括構成の例:
// 例: user_id,String user_name,String行区切り文字は各フィールドの情報を区切るために使用され、デフォルトは改行 (\n) です。改行 (\n)、セミコロン (;)、ピリオド (.) をサポートします。
列区切り文字はフィールド名とフィールドの型を区切るために使用され、デフォルトはカンマ (,) です。
DDL 形式での一括構成の例:
CREATE TABLE tablename ( id INT PRIMARY KEY, name VARCHAR(50), age INT );
新しい出力フィールドの作成: +新しい出力フィールドの作成 をクリックし、プロンプトに従って 列 を入力し、型 を選択します。現在の行の構成を完了したら、
アイコンをクリックして保存します。
マッピング
上流の入力と対象テーブルのフィールドに基づき、手動でフィールドマッピングを選択できます。クイックマッピング には 同一行マッピング および 同一名称マッピング が含まれます。
同一名称マッピング: 名称が同じフィールドをマッピングします。
同一行マッピング: ソーステーブルとターゲットテーブルのフィールド名が一致しないが、対応する行のデータをマッピングする必要がある場合に使用します。同一行のフィールドのみをマッピングします。
OK をクリックして、ClickHouse 出力コンポーネントの構成を完了します。