ClickHouse データソースを作成すると、Dataphin で ClickHouse からデータを読み取ったり、ClickHouse にデータを書き込んだりできます。本トピックでは、ClickHouse データソースを作成する方法について説明します。
背景情報
ClickHouse から Dataphin にビジネスデータを取り込むか、または Dataphin から ClickHouse にデータをエクスポートするには、最初に ClickHouse データソースを作成する必要があります。
権限
New Data Source 権限を持つカスタムグローバルロール、および次のシステムロールのみがデータソースを作成できます: スーパー管理者、データソース管理者、Domain Architect、プロジェクト管理者。
操作手順
Dataphin ホームページの上部のナビゲーションバーで、[管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+ 新規データソース] をクリックします。
[新規データソース] ページの [リレーショナルデータベース] セクションで、[ClickHouse] を選択します。
最近 ClickHouse を使用した場合は、[最近使用した項目] セクションから選択することもできます。 また、検索ボックスにキーワードを入力して ClickHouse をすばやく見つけることもできます。
[ClickHouse データソースの作成] ページで、接続パラメーターを設定します。
データソースの基本情報を設定します。
パラメーター
説明
[データソース名]
データソースの名前を入力します。命名規則:
使用できる文字は、中国語、英大文字/小文字、数字、アンダースコア (_)、ハイフン (-) のみです。
長さは 64 文字までです。
[データソースコード]
データソースコードを設定すると、Flink SQL タスク内、または Dataphin JDBC クライアントで
Data_Source_Code.Table_NameまたはData_Source_Code.Schema.Table_Name形式を使用して、Dataphin データソース内のテーブルに直接アクセスできます。タスクの実行環境に基づいてデータソースを自動的に切り替えるには、${Data_Source_Code}.tableまたは${Data_Source_Code}.schema.tableの変数形式を使用します。詳細については、「Develop with Dataphin data source tables」および「」をご参照ください。重要データソースコードは、一度構成すると変更できません。
データソースコードが構成された後でのみ、アセットディレクトリおよびアセットチェックリストのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB、および GaussDB データウェアハウスサービス (DWS) のデータソースのみがサポートされています。
[Version]
[v21] または [v23] を選択できます。デフォルトでは v23 が選択されています。
[Data Source Description]
データソースの簡単な説明を入力します。説明は 128 文字までです。
[Data Source Configuration]
設定するデータソースのタイプを選択します:
ビジネスで本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
業務で本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択してください。
[タグ]
タグを追加してデータソースを分類できます。タグの作成方法については、「Manage Data Source Tags」および「」をご参照ください。
データソースと Dataphin 間の接続パラメーターを設定します。
本番 + 開発データソース を選択した場合は、両方の接続情報を設定します。本番データソース を選択した場合は、本番データソース の接続情報のみを設定します。
説明通常は、環境を分離し、開発作業が本番システムに与える影響を低減するために、本番データソースと開発データソースは別々のインスタンスとして設定する必要があります。ただし Dataphin では、同一のパラメーター値を使用して同一データソースとして設定することもできます。
[設定方法]では、[JDBC URL] または [ホスト] を選択できます。JDBC URL がデフォルトで選択されています。
JDBC URL
パラメーター
説明
[JDBC URL]
ClickHouse の接続アドレスです。JDBC URL の形式は
jdbc:clickhouse://host:port/dbnameです。ApsaraDB for ClickHouse を使用している場合、ClickHouse コンソールの [クラスター情報] ページで接続アドレスとポート情報を確認できます。 クラスターに接続した後、SQL コンソールで
show Databasesコマンドを実行してデータベース名を表示できます。[Username]、[Password]
ClickHouse インスタンスにアクセスするためのユーザー名とパスワードです。
Host
Host 設定
パラメーター
説明
[Server address]
サーバーの IP アドレスとポート番号を入力します。
[+ Add] をクリックして複数のサーバーアドレスを追加します。
アイコンをクリックしてエントリを削除します。少なくとも 1 つのサーバーアドレスは残す必要があります。[dbname]
データベース名を入力します。
パラメーター設定
パラメーター
説明
Parameter
パラメーター名:既存のパラメーター名を選択するか、カスタム名を入力できます。
カスタムのパラメーター名に使用できる文字は、大文字/小文字の英字、数字、ピリオド (.)、アンダースコア (_) およびハイフン (-) のみです。
パラメーター値:パラメーター名を選択した場合は必須です。値に使用できる文字は、大文字/小文字の英字、数字、ピリオド (.)、アンダースコア (_) およびハイフン (-) のみで、長さは 256 文字までです。
説明[+ パラメーターの追加] をクリックしてパラメーターを追加し、
アイコンをクリックして不要なパラメーターを削除します。最大 30 個のパラメーターを追加できます。[Username]、[Password]
ClickHouse インスタンスにアクセスするためのユーザー名とパスワードです。
説明Host から JDBC URL の設定方法に切り替えると、システムはサーバーアドレスを連結して JDBC URL フィールドに自動入力します。
データソースの詳細設定を設定します。
パラメーター
説明
[connection_timeout]
データベース接続のタイムアウト (ミリ秒) です。デフォルトは 900,000 ms (15 分) です。
説明JDBC URL に connection_timeout 設定が含まれている場合は、その値が使用されます。
Dataphin V3.11 より前に作成されたデータソースでは、デフォルトの connection_timeout は
-1で、タイムアウトなしを意味します。
[socket_timeout]
データベースソケットのタイムアウト (ミリ秒) です。デフォルトは 1,800,000 ms (30 分) です。
説明JDBC URL に socket_timeout 設定が含まれている場合は、その値が使用されます。
Dataphin V3.11 より前に作成されたデータソースでは、デフォルトの socket_timeout は
-1で、タイムアウトなしを意味します。
[接続リトライ]
接続がタイムアウトした場合、システムは指定された回数まで自動的に再試行します。すべてのリトライが失敗した場合、試行は失敗となります。
説明デフォルトは 1 回で、 0~10 の範囲で設定できます。
接続リトライ設定は、 オフライン統合タスク と Global Quality (アセット品質機能を有効にする必要があります) にデフォルトで適用されます。オフライン統合タスクでは、タスクごとのリトライ回数を設定できます。
説明重複するパラメーター (複数の場所で定義されているパラメーター) の値は、次の優先順位に基づいて決まります:
パラメーターが JDBC URL、 詳細設定、および Host 設定 で定義されている場合、 JDBC URL の値が優先されます。
パラメーターが JDBC URL と 詳細設定 の両方で定義されている場合、 JDBC URL の値が優先されます。
パラメーターが 詳細設定 と Host 設定 の両方で定義されている場合、 詳細設定 の値が優先されます。
[デフォルトリソースグループ] を選択します。このリソースグループは、データベース SQL 実行、オフラインの全データベース移行、データプレビューなど、データソースに関連するタスクの実行に使用されます。
[接続テスト] をクリックするか、[OK] をクリックして設定を保存し、ClickHouse データソースを作成します。
[接続テスト] をクリックすると、Dataphin とデータソース間の接続が検証されます。直接 [OK] をクリックすると、システムは選択したすべてのクラスターの接続を自動的にテストします。すべてのクラスターの接続テストが失敗した場合でも、データソースを作成できます。