DataWorks を使用して ClickHouse クラスターのタスクを開発および管理するには、まずクラスターを ClickHouse コンピューティングリソースとして追加する必要があります。追加後、このコンピューティングリソースを使用して、さまざまな DataWorks モジュールから ClickHouse クラスターに接続し、データ同期やデータ開発などの操作を行えます。
前提条件
-
ClickHouse クラスター が作成済みであること。
説明-
DataWorks ワークスペースと同じリージョンに ClickHouse クラスターを作成することをお勧めします。
-
クラスターとワークスペースが異なるリージョンにある場合、クラスターはデータ同期タスクのクロスリージョンデータソースとしてのみ使用できます。Data Studio や Operation Center からの計算タスクの実行には使用できません。
-
-
DataWorks ワークスペース が作成済みであること。操作を実行する RAM ユーザーはワークスペースのメンバーであり、Workspace Administrator ロールを持っていること。
-
リソースグループがワークスペースに関連付けられ、ネットワーク接続が確立されていることを確認してください。
-
サーバーレスリソースグループ を使用する場合、そのリソースグループが ClickHouse コンピューティングリソースに接続できることを確認してください。
-
レガシーの専用リソースグループを使用する 場合、シナリオに応じて、ClickHouse コンピューティングリソースが関連する 統合用の専用リソースグループ、スケジューリング用の専用リソースグループ、および サービス用の専用リソースグループ に接続できることを確認してください。
-
デフォルトでは、ApsaraDB for ClickHouse クラスターはすべての IP からのアクセスを拒否します。コンピューティングリソースを関連付ける前に、DataWorks リソースグループの IP または CIDR ブロックを ClickHouse クラスターのホワイトリストに追加する 必要があります。追加しない場合、関連付けは失敗します。リソースグループのタイプに応じて、これはリソースグループに関連付けられた vSwitch CIDR ブロック、レガシーリソースグループの EIP、または サーバーレスリソースグループに関連付けられた VPC の EIP のいずれかになります。
説明vSwitch CIDR ブロック、レガシーリソースグループの EIP、または サーバーレスリソースグループに関連付けられた VPC の EIP を取得する方法については、「DataWorks の IP をホワイトリストに追加する」をご参照ください。
-
制限事項
-
機能の制限: ClickHouse コンピュートエンジンで SSL 認証が有効になっている場合、データ開発や定期的なスケジューリングタスクには使用できません。
-
リージョン制限: 中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)。
-
権限要件:
操作者
必要な権限
Alibaba Cloud アカウント
追加の権限は必要ありません。
RAM ユーザー/RAM ロール
O&M または Workspace Administrator ロールを持つワークスペースメンバー、あるいは
AliyunDataWorksFullAccess権限を持つユーザーのみが、コンピューティングリソースを作成できます。 詳細については、「ユーザーにワークスペース管理者の権限を付与する」をご参照ください。
Data Studio (新バージョン): ClickHouse リソースの関連付け
この手順は、データ開発 (DataStudio) (新版) パブリックプレビューへの参加 するワークスペースに適用されます。
コンピューティングリソースページへの移動
-
DataWorks コンソールにログインします。 上部のナビゲーションバーで、リージョンを選択します。 左側のナビゲーションウィンドウで、を選択します。 ドロップダウンリストからワークスペースを選択し、管理センターへをクリックします。
-
左側のナビゲーションペインで、計算リソース をクリックしてコンピューティングリソースページに移動します。
ClickHouse コンピューティングリソースの関連付け
コンピューティングリソースページで、ClickHouse コンピューティングリソースを設定し、関連付けます。
-
コンピューティングリソースのタイプを選択します。
-
計算リソースのアタッチ をクリックして、計算リソースのアタッチ ページを開きます。
-
計算リソースのアタッチ ページで、リソースタイプとして [ClickHouse] を選択すると、[ClickHouse コンピューティングリソースの関連付け] 設定ページが開きます。
-
-
ClickHouse コンピューティングリソースを設定します。
[ClickHouse コンピューティングリソースの関連付け] ページで、次の表の説明に従ってパラメーターを設定します。
パラメーター
説明
設定モード
接続文字列モード のみがサポートされています。
JDBC URL
JDBC URL フォーマット:
jdbc:clickhouse://<ip>:<port>/<dbname>。-
<ip>:ClickHouse クラスターの クラスター情報 ページにある VPC アドレス または パブリックアドレス です。 例:
cc-bp1xxx..clickhouse.ads.aliyuncs.com。 -
<ポート>: 認証オプション が 認証なし に設定されている場合は、ClickHouse の クラスター情報 ページにある [VPC HTTP ポート] (
8123) を使用します。認証オプション が SSL 認証 に設定されている場合は、ClickHouse の クラスター情報 ページにある [VPC HTTPS ポート] (8443) を使用します。 -
<dbname>: ClickHouse データベースの名前です。デフォルト値は
defaultです。必要に応じて、新しいデータベースを作成できます。
ユーザー名とパスワード
お使いの ClickHouse クラスター のアカウントとパスワード。
認証方式
ClickHouse クラスターへの接続を認証するための方式を指定します。
-
認証なし: 他の設定は不要です。
-
SSL 認証: このオプションを選択した場合は、検証のために、ClickHouse クラスターの クラスター情報 ページから [CA 証明書をダウンロード] する必要があります。
説明ClickHouse コンピュートエンジンで SSL 認証が有効になっている場合、データ開発や定期的なスケジューリングタスクには使用できません。
SSL CA 証明書
このパラメーターは、[認証方法] が [SSL 認証] に設定されている場合にのみ必須です。認証ファイルの作成 をクリックし、お使いの ClickHouse クラスターの クラスター情報 ページからダウンロードした CA 証明書をアップロードします。
コンピューティングリソースインスタンス名
コンピューティングリソースインスタンスのカスタム名を入力します。
-
-
ネットワーク接続をテストします。
接続設定エリアで、ClickHouse ノードの実行に使用するリソースグループを選択し、接続テスト をクリックします。これにより、リソースグループが ClickHouse クラスターにアクセスできることが確認されます。詳細については、「ネットワーク接続ソリューション」をご参照ください。
-
OK をクリックして設定を完了します。
レガシー Data Studio: ClickHouse リソースの関連付け
この手順は、ワークスペースでレガシーの データ開発 (DataStudio) (新版) パブリックプレビューへの参加 が使用されている場合に適用されます。
コンピューティングリソースページへの移動
DataStudioページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。
-
左側のナビゲーションペインで、
アイコンをクリックし、計算リソース ページを開きます。
ClickHouse コンピューティングリソースの関連付け
コンピューティングリソースページで、ClickHouse コンピューティングリソースを設定し、関連付けます。
-
コンピューティングリソースのタイプを選択します。
-
データソースの作成 をクリックして、データソースの作成 ページに移動します。
-
データソースの作成 ページで、コンピューティングリソースタイプとして [ClickHouse] を選択すると、データソースの作成 設定ページが開きます。
-
-
ClickHouse コンピューティングリソースを設定します。
データソースの作成 ページで、以下のパラメーターを設定します。
パラメーター
説明
データソース名
コンピューティングリソースのカスタム名を入力します。
設定モード
接続文字列モード のみがサポートされています。
ホストアドレス/IP
ClickHouse クラスターのクラスター情報 ページにあるVPC アドレス または パブリックアドレス。 たとえば、
cc-bp1xxx..clickhouse.ads.aliyuncs.com。ポート
認証オプション が 認証なし に設定されている場合は、ClickHouse クラスターの クラスター情報 ページの [VPC HTTP ポート番号] (
8123) を使用します。認証オプション が SSL 認証 に設定されている場合は、ClickHouse クラスターの クラスター情報 ページの [VPC HTTPS ポート番号] (
8443) を使用します。データベース名
ClickHouse データベースの名前です。デフォルト値は
defaultです。必要に応じて、新しいデータベースを作成することができます。ユーザー名とパスワード
お使いの ClickHouse クラスター のアカウントとパスワード。
バージョン
関連付けるクラスターのバージョンを指定します。
詳細パラメーター
任意で、プロパティの作成 をクリックして追加のプロパティを設定できます。
認証方式
ClickHouse クラスターへの接続を認証するために使用する方式。
-
認証なし: 他の設定は不要です。
-
SSL 認証: このオプションを選択した場合、検証のため、ClickHouse クラスターの クラスター情報 ページから [CA 証明書をダウンロード] する必要があります。
説明ClickHouse コンピュートエンジンで SSL 認証が有効になっている場合、データ開発や定期的なスケジューリングタスクには使用できません。
SSL CA 証明書
このパラメーターは、[認証方法] が [SSL 認証] に設定されている場合にのみ必須です。認証ファイルの作成 をクリックし、お使いの ClickHouse クラスターの クラスター情報 ページからダウンロードした CA 証明書をアップロードします。
-
-
ネットワーク接続をテストします。
「接続設定」エリアで、ClickHouse タスクの実行に使用するリソースグループを選択し、接続テスト をクリックします。 これにより、リソースグループがお使いの ClickHouse クラスターにアクセスできることを確認します。 詳細については、「ネットワーク接続ソリューション」をご参照ください。
-
データソースを作成し、データ開発にアタッチします をクリックして、設定を完了します。
次のステップ
-
Data Studio (新バージョン): ClickHouse コンピューティングリソースを設定した後、Data Studio で バッチ同期ノード を使用してデータ同期を行ったり、ClickHouse SQL ノード を使用してデータ開発を行ったりすることができます。
-
旧 Data Studio: ClickHouse コンピューティングリソースを設定すると、 ノードを使用してデータ同期を実行できます。
よくある質問
-
エラーメッセージ: not support data sync channel, error code: 0001.
解決策: JDBC URL にスペースや余分な文字が含まれていないか確認してください。
-
エラーメッセージ: ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002.
解決策: IP が正しいことを確認してください。