ClickHouse データソースを追加することにより、Dataphin が ClickHouse からビジネスデータを読み取ったり、ClickHouse にデータを書き込んだりできるようになります。このトピックでは、ClickHouse データソースを追加する方法について説明します。
背景情報
ClickHouse データベースを使用していて、ClickHouse から Dataphin にビジネスデータをインポートするか、Dataphin データを ClickHouse にエクスポートする必要がある場合は、まず ClickHouse データソースの作成を完了する必要があります。
権限要件
WordPress のデプロイスーパー管理者注:おめでとうございます!プロジェクト管理者 権限を持つカスタムグローバルロールと、、、、 などのシステムロールのみがデータソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーから [管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[リレーショナルデータベース] セクションの [ClickHouse] を選択します。
最近 ClickHouse を使用したことがある場合は、[最近使用したデータソース] セクションで ClickHouse を選択することもできます。検索ボックスにキーワードを入力して ClickHouse をすばやく検索することもできます。
[ClickHouse データソースの作成] ページで、接続パラメーターを構成します。
データソースの基本情報を構成します。
パラメーター
説明
データソース名
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
漢字、英字、数字、アンダースコア(_)、またはハイフン(-)のみを含めることができます。
長さは 64 文字を超えることはできません。
データソースコード
データソースコードを構成した後、
データソースコード.テーブル名またはデータソースコード.スキーマ.テーブル名の形式で Flink_SQL タスクまたは Dataphin JDBC クライアントを使用して Dataphin データソーステーブルに直接アクセスして、迅速に利用できます。タスク実行環境に基づいてデータソースを自動的に切り替える必要がある場合は、変数形式${データソースコード}.tableまたは${データソースコード}.schema.tableを使用してアクセスします。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成された後、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。
データソースの説明
データソースの簡単な説明。128 文字を超えることはできません。
データソース構成
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
タグ
ラベルに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の接続情報を構成する必要があります。データソース構成が [本番データソース] の場合は、[本番データソース] の接続情報のみを構成する必要があります。
説明通常、本番データソースと開発データソースは別々のデータソースとして構成して、開発と本番の環境を分離し、開発活動が本番に及ぼす影響を軽減する必要があります。ただし、Dataphin では、同じパラメーター値を使用して同じデータソースとして構成することもサポートされています。
[構成方法] には、[JDBC URL] または [ホスト] を選択できます。デフォルトの選択は JDBC URL です。
JDBC URL 構成方法
パラメーター
説明
JDBC URL
ClickHouse の接続アドレス。JDBC URL の形式は
jdbc:clickhouse://host:port/dbnameです。ApsaraDB for ClickHouse を使用している場合は、ClickHouse コンソール の [クラスター情報] ページで接続アドレスとポート情報を表示できます。クラスターに接続 した後、SQL コンソールで
show Databasesコマンドを実行してデータベース名を表示できます。ユーザー名、パスワード
ClickHouse インスタンスへのアクセスに使用するユーザー名とパスワード。
ホスト構成方法
ホスト構成方法
パラメーター
説明
サーバーアドレス
サーバーの IP アドレスとポート番号を入力します。
[+追加] をクリックして複数の IP アドレスとポート番号のセットを追加し、
アイコンをクリックして余分な IP アドレスとポート番号を削除できますが、少なくとも 1 セットは保持する必要があります。dbname
データベース名を入力します。
パラメーター構成
パラメーター
説明
パラメーター
パラメーター名:既存のパラメーター名を選択するか、カスタムパラメーター名を入力できます。
カスタムパラメーター名は、英大文字と英小文字、数字、ピリオド(.)、アンダースコア(_)、およびハイフン(-)のみをサポートします。
パラメーター値:パラメーター名を選択すると、パラメーター値が必要です。英大文字と英小文字、数字、ピリオド(.)、アンダースコア(_)、およびハイフン(-)のみをサポートし、最大長は 256 文字です。
説明[+パラメーターの追加] をクリックして複数のパラメーターを追加し、
アイコンをクリックして余分なパラメーターを削除できます。最大 30 個のパラメーターを追加できます。ユーザー名、パスワード
ClickHouse インスタンスへのアクセスに使用するユーザー名とパスワード。
説明構成方法がホストに設定され、データソースの作成が完了した後、JDBC URL 構成方法に切り替える必要がある場合、システムはサーバーの IP アドレスとポート番号を連結して JDBC URL に入力します。
データソースの高度な設定を構成します。
パラメーター
説明
connection_timeout
データベースの connection_timeout の期間(ミリ秒単位)、デフォルトは 900000 ミリ秒(15 分)です。
説明JDBC URL に connection_timeout 構成がある場合、connection_timeout は JDBC URL で構成されたタイムアウト値になります。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの connection_timeout は
-1で、タイムアウト制限がないことを示します。
socket_timeout
データベースの socket_timeout の期間(ミリ秒単位)、デフォルトは 1800000 ミリ秒(30 分)です。
説明JDBC URL に socket_timeout 構成がある場合、socket_timeout は JDBC URL で構成されたタイムアウト値になります。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの socket_timeout は
-1で、タイムアウト制限がないことを示します。
接続再試行回数
データベース接続がタイムアウトした場合、設定された再試行回数に達するまで自動的に再接続が試行されます。最大再試行回数に達した後も接続に失敗した場合は、接続は失敗します。
説明デフォルトの再試行回数は 1 で、0 ~ 10 の値を構成できます。
接続再試行回数は、デフォルトで オフライン統合タスク と グローバル品質(アセット品質機能モジュールの有効化が必要)に適用されます。オフライン統合タスクでは、タスクレベルの再試行回数を個別に構成できます。
説明重複パラメーター 値のルール:
パラメーターが JDBC URL、高度な設定 パラメーター、および ホスト構成 方法のパラメーター構成に同時に存在する場合、JDBC URL の値が優先されます。
パラメーターが JDBC URL と 高度な設定 パラメーターに同時に存在する場合、JDBC URL の値が優先されます。
パラメーターが 高度な設定 パラメーターと ホスト構成 方法のパラメーター構成に同時に存在する場合、高度な設定 パラメーター構成の値が優先されます。
[デフォルトリソースグループ] を選択します。これは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] を実行するか、[OK] をクリックして保存し、ClickHouse データソースの作成を完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin と正常に接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストしますが、選択したすべてのクラスターの接続に失敗した場合でも、データソースは正常に作成されます。