Untuk menggunakan DataWorks dalam mengembangkan dan mengelola tugas untuk kluster ClickHouse, Anda harus terlebih dahulu menambahkan kluster tersebut sebagai sumber daya komputasi ClickHouse. Setelah ditambahkan, Anda dapat menggunakan sumber daya komputasi tersebut untuk terhubung ke kluster ClickHouse dari berbagai modul DataWorks guna menjalankan operasi seperti sinkronisasi data dan pengembangan data.
Prasyarat
Kluster ClickHouse telah dibuat.
CatatanKami merekomendasikan agar Anda membuat kluster ClickHouse di Region yang sama dengan ruang kerja DataWorks.
Jika kluster dan ruang kerja berada di region berbeda, kluster hanya dapat digunakan sebagai sumber data lintas region untuk tugas sinkronisasi data. Anda tidak dapat menggunakannya untuk menjalankan tugas komputasi dari Data Studio atau Operation Center.
Ruang kerja DataWorks telah dibuat. Pengguna RAM yang melakukan operasi ini merupakan anggota ruang kerja dan memiliki peran Workspace Administrator.
Pastikan kelompok sumber daya telah dikaitkan dengan ruang kerja dan konektivitas jaringan telah terbentuk.
Jika Anda menggunakan Serverless resource group, pastikan kelompok sumber daya tersebut dapat terhubung ke sumber daya komputasi ClickHouse.
Jika Anda menggunakan legacy exclusive resource group, pastikan sumber daya komputasi ClickHouse dapat terhubung ke exclusive resource group for integration, exclusive resource group for scheduling, dan exclusive resource group for services yang relevan sesuai skenario Anda.
Secara default, kluster ApsaraDB for ClickHouse menolak akses dari semua alamat IP. Sebelum mengasosiasikan sumber daya komputasi, Anda harus menambahkan alamat IP atau Blok CIDR dari kelompok sumber daya DataWorks ke daftar putih kluster ClickHouse. Jika tidak, asosiasi akan gagal. Bergantung pada jenis kelompok sumber daya Anda, ini bisa berupa vSwitch CIDR block yang terkait dengan kelompok sumber daya Anda, EIP dari legacy resource group Anda, atau EIP dari VPC yang terkait dengan Serverless resource group Anda.
CatatanUntuk mempelajari cara mendapatkan vSwitch CIDR block, EIP dari legacy resource group, atau EIP dari VPC yang terkait dengan Serverless resource group, lihat Menambahkan alamat IP DataWorks ke daftar putih.
Batasan
Batasan fitur: Jika autentikasi SSL diaktifkan untuk mesin komputasi ClickHouse, Anda tidak dapat menggunakannya untuk pengembangan data atau tugas penjadwalan periodik.
Batasan region: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), dan Indonesia (Jakarta).
Persyaratan izin:
Operator
Izin yang diperlukan
Akun Alibaba Cloud
Tidak diperlukan izin tambahan.
Pengguna RAM/Peran RAM
Hanya anggota ruang kerja dengan peran O&M atau Workspace Administrator, atau yang memiliki izin
AliyunDataWorksFullAccess, yang dapat membuat sumber daya komputasi. Untuk informasi selengkapnya, lihat Memberikan izin Workspace Administrator kepada pengguna.
Data Studio Baru: Mengasosiasikan sumber daya ClickHouse
Prosedur ini berlaku untuk ruang kerja yang Use Data Studio (New Version).
Buka halaman sumber daya komputasi
Login ke Konsol DataWorks. Di bilah navigasi atas, pilih region. Di panel navigasi kiri, pilih . Pilih ruang kerja dari daftar drop-down lalu klik Go to Management Center.
Di panel navigasi kiri, klik Computing Resources untuk membuka halaman sumber daya komputasi.
Mengasosiasikan sumber daya komputasi ClickHouse
Di halaman sumber daya komputasi, konfigurasikan dan asosiasikan sumber daya komputasi ClickHouse.
Pilih jenis sumber daya komputasi.
Klik Associate Computing Resources untuk membuka halaman Associate Computing Resources.
Di halaman Associate Computing Resources, pilih ClickHouse sebagai jenis sumber daya untuk membuka halaman konfigurasi Associate ClickHouse Computing Resource.
Konfigurasikan sumber daya komputasi ClickHouse.
Di halaman Associate ClickHouse Computing Resource, konfigurasikan parameter sesuai tabel berikut.
Parameter
Deskripsi
Configuration Mode
Hanya Connection String Mode yang didukung.
JDBC URL
Format JDBC URL:
jdbc:clickhouse://<ip>:<port>/<dbname>.<ip>: VPC Endpoint atau Public Endpoint di halaman Cluster Information kluster ClickHouse Anda. Contohnya,
cc-bp1xxx..clickhouse.ads.aliyuncs.com.<port>: Ketika Authentication Method diatur ke No Authentication, gunakan VPC HTTP Port (
8123) dari halaman Cluster Information ClickHouse. Ketika Authentication Method diatur ke SSL Authentication, gunakan VPC HTTPS Port (8443) dari halaman Cluster Information ClickHouse.<dbname>: Nama database ClickHouse. Nilai default-nya adalah
default. Anda dapat membuat database baru sesuai kebutuhan.
Username and password
Akun dan password untuk kluster ClickHouse Anda.
Authentication Method
Menentukan metode untuk mengotentikasi koneksi ke kluster ClickHouse.
No Authentication: Tidak diperlukan konfigurasi tambahan.
SSL Authentication: Jika Anda memilih opsi ini, Anda harus download the CA certificate dari halaman Cluster Information kluster ClickHouse Anda untuk verifikasi.
CatatanJika autentikasi SSL diaktifkan untuk mesin komputasi ClickHouse, Anda tidak dapat menggunakannya untuk pengembangan data atau tugas penjadwalan periodik.
SSL CA Certificate
Parameter ini hanya diperlukan jika Authentication Method diatur ke SSL Authentication. Klik Add authentication document dan unggah sertifikat CA yang telah Anda unduh dari halaman Cluster Information kluster ClickHouse Anda.
Computing Resource Instance Name
Masukkan nama kustom untuk instans sumber daya komputasi.
Uji konektivitas jaringan.
Di area pengaturan koneksi, pilih kelompok sumber daya yang ingin Anda gunakan untuk menjalankan node ClickHouse lalu klik Test Connectivity. Hal ini memastikan bahwa kelompok sumber daya dapat mengakses kluster ClickHouse Anda. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
Klik Confirm untuk menyelesaikan konfigurasi.
Data Studio Lama: Mengasosiasikan sumber daya ClickHouse
Prosedur ini berlaku untuk ruang kerja yang menggunakan legacy Use Data Studio (New Version).
Buka halaman sumber daya komputasi
Login ke Konsol DataWorks. Di region target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down lalu klik Go to Data Development.
Di panel navigasi kiri, klik ikon
untuk membuka halaman Computing Resources.
Mengasosiasikan sumber daya komputasi ClickHouse
Di halaman sumber daya komputasi, konfigurasikan dan asosiasikan sumber daya komputasi ClickHouse.
Pilih jenis sumber daya komputasi.
Klik Create Computing Resource untuk membuka halaman Create Computing Resource.
Di halaman Create Computing Resource, pilih ClickHouse sebagai jenis sumber daya komputasi untuk membuka halaman konfigurasi Create Computing Resource.
Konfigurasikan sumber daya komputasi ClickHouse.
Di halaman Create Computing Resource, konfigurasikan parameter berikut:
Parameter
Deskripsi
Data Source Name
Masukkan nama kustom untuk sumber daya komputasi.
Configuration Mode
Hanya Connection String Mode yang didukung.
Host Address/IP
VPC Endpoint atau Public Endpoint di halaman Cluster Information kluster ClickHouse Anda. Contohnya,
cc-bp1xxx..clickhouse.ads.aliyuncs.com.Port
Jika Authentication Method diatur ke No Authentication, gunakan VPC HTTP Port Number (
8123) dari halaman Cluster Information kluster ClickHouse Anda.Jika Authentication Method diatur ke SSL Authentication, gunakan VPC HTTPS Port Number (
8443) dari halaman Cluster Information kluster ClickHouse Anda.Database Name
Nama database ClickHouse. Nilai default-nya adalah
default. Anda dapat membuat database baru sesuai kebutuhan.Username and password
Akun dan password untuk kluster ClickHouse Anda.
Version
Tentukan versi kluster yang ingin Anda asosiasikan.
Advanced Parameters
Opsional. Anda dapat mengklik Add Property untuk mengonfigurasi properti tambahan.
Authentication Method
Metode yang digunakan untuk mengotentikasi koneksi ke kluster ClickHouse.
No Authentication: Tidak diperlukan konfigurasi tambahan.
SSL Authentication: Jika Anda memilih opsi ini, Anda harus download the CA certificate dari halaman Cluster Information kluster ClickHouse Anda untuk verifikasi.
CatatanJika autentikasi SSL diaktifkan untuk mesin komputasi ClickHouse, Anda tidak dapat menggunakannya untuk pengembangan data atau tugas penjadwalan periodik.
SSL CA Certificate
Parameter ini hanya diperlukan jika Authentication Method diatur ke SSL Authentication. Klik Add authentication document dan unggah sertifikat CA yang telah Anda unduh dari halaman Cluster Information kluster ClickHouse Anda.
Uji konektivitas jaringan.
Di area pengaturan koneksi, pilih kelompok sumber daya yang ingin Anda gunakan untuk menjalankan tugas ClickHouse lalu klik Test Connectivity. Hal ini memastikan bahwa kelompok sumber daya dapat mengakses kluster ClickHouse Anda. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
Klik Create and Associate Computing Resource with DataStudio untuk menyelesaikan konfigurasi.
Langkah selanjutnya
Data Studio (versi baru): Setelah Anda mengonfigurasi sumber daya komputasi ClickHouse, Anda dapat menggunakan batch synchronization node untuk sinkronisasi data atau node ClickHouse SQL untuk pengembangan data di Data Studio.
Data Studio lama: Setelah Anda mengonfigurasi sumber daya komputasi ClickHouse, Anda dapat menggunakan node untuk sinkronisasi data.
FAQ
Pesan kesalahan: Saluran sinkronisasi data tidak didukung. Kode kesalahan: 0001.
Solusi: Periksa apakah terdapat spasi atau karakter tambahan pada JDBC URL.
Pesan kesalahan: ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002.
Solusi: Periksa apakah alamat IP sudah benar.