ApsaraDB for ClickHouse：Gunakan tabel eksternal untuk mengakses data OSS

Edisi Perusahaan atau Edisi Kompatibel Komunitas v22.8 atau yang lebih baru

Edisi Kompatibel Komunitas v21.8 atau yang lebih lama

1. Masuk ke database.

   1. Masuk ke Konsol ApsaraDB for ClickHouse.

   2. Pada halaman Clusters, klik tab Clusters of Community-compatible Edition, lalu klik ID kluster Anda.

   3. Pada halaman Cluster Information, klik Log On to Database di pojok kanan atas.

   4. Pada kotak dialog Log On to Instance, masukkan akun database dan kata sandi, lalu klik Log On.

2. Buat tabel eksternal OSS.

   Berikut adalah sintaks untuk membuat tabel.

   CREATE TABLE <table_name> [ON cluster default]
   (
   'col_name1' col_type1,
   'col_name2' col_type2,
   ...
   )
   ENGINE = OSS('<oss-endpoint>', '<access-key-id>', '<access-key-secret>', '<oss-file-path>', '<file-format-name>');

   Parameter:

   Nama Parameter	Deskripsi	Contoh
   table_name	Nama tabel.	oss_test_tb
   col_name1,col_name2	Nama kolom.	user_name
   col_type1,col_type2	Tipe kolom. Penting Struktur tabel eksternal OSS harus sesuai dengan data OSS.	String
   oss-endpoint	Titik akhir yang digunakan untuk mengakses instans ECS melalui jaringan pribadi VPC. Untuk informasi selengkapnya, lihat Wilayah dan Titik Akhir. Penting Pastikan bucket OSS dan kluster ApsaraDB for ClickHouse Anda berada di wilayah yang sama.	oss-cn-hangzhou-internal.aliyuncs.com
   access-key-id	ID AccessKey pengguna RAM yang digunakan untuk mengakses data OSS.	yourAccessKeyID
   access-key-secret	Rahasia AccessKey pengguna RAM yang digunakan untuk mengakses data OSS. Gunakan AccessKey yang sudah ada atau buat yang baru. Untuk informasi selengkapnya, lihat Buat AccessKey. Penting Untuk mengurangi ancaman keamanan, AccessKey secret hanya ditampilkan saat Anda membuatnya. Anda tidak dapat mengambilnya kembali nanti. Pastikan untuk menyimpannya secara aman.	yourAccessKeySecret
   oss-file-path	Jalur penyimpanan objek. Formatnya biasanya oss://<bucket-name>/<path-to-file>. Catatan Parameter oss-file-path mendukung pencocokan kabur dengan karakter wildcard. Untuk informasi selengkapnya, lihat Gunakan karakter wildcard untuk pencocokan kabur jalur penyimpanan OSS.	oss://ck-test-oss/test.csv
   file-format-name	Format file Penting Parameter ini harus ditentukan persis seperti yang tercantum di Format file yang didukung oleh ClickHouse. Nama-nama tersebut bersifat case-sensitive.	CSV

   Contoh:

   CREATE TABLE oss_test_tb ON cluster default
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = OSS('oss-cn-hangzhou-internal.aliyuncs.com', 'LTAI****************', 'yourAccessKeySecret', 'oss://ck-test-oss/test.csv', 'CSV');

3. Lakukan kueri terhadap data OSS.

   SELECT * FROM oss_test_tb;

   Hasilnya sebagai berikut.

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1           | tick                | 32            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+
   Returned rows: [1], Time elapsed: [183ms]

Edisi Perusahaan atau Edisi Kompatibel Komunitas v22.8 atau yang lebih baru

1. Masuk ke database.

   1. Masuk ke Konsol ApsaraDB for ClickHouse.

   2. Pada halaman Clusters, pilih tab Clusters of Community-compatible Edition atau tab Enterprise Edition Clusters, lalu klik ID kluster Anda.

   3. Pada halaman Cluster Information, klik Log On to Database di pojok kanan atas.

   4. Pada kotak dialog Log On to Instance, masukkan akun database dan kata sandi, lalu klik Log On.

2. Gunakan fungsi tabel untuk melakukan kueri terhadap data.

   Sintaks:

   SELECT * FROM oss('https://<bucket-name>.<oss-endpoint>/<file-name>','<access-key-id>', '<access-key-secret>', '<file-format-name>', '<col_name> <col_type>(,...)');

   Parameter-parameter tersebut sama dengan yang digunakan untuk membuat tabel eksternal OSS. Untuk informasi selengkapnya, lihat Parameter.

   Contoh:

   SELECT * FROM oss('http://testBucketName.oss-cn-shanghai-internal.aliyuncs.com/test.csv', 'LTAI****************', 'yourAccessKeySecret', 'CSV', 'id UInt8, user_name String, age UInt16, city String, access_url String')

   Hasilnya sebagai berikut.

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1           | tick                | 32            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+
   Returned rows: [1], Time elapsed: [183ms]

Edisi Kompatibel Komunitas v21.8 atau yang lebih lama

1. Masuk ke database.

   1. Masuk ke Konsol ApsaraDB for ClickHouse.

   2. Pada halaman Clusters, klik tab Clusters of Community-compatible Edition, lalu klik ID kluster Anda.

   3. Pada halaman Cluster Information, klik Log On to Database di pojok kanan atas.

   4. Pada kotak dialog Log On to Instance, masukkan akun database dan kata sandi, lalu klik Log On.

2. Gunakan fungsi tabel untuk melakukan kueri terhadap data.

   Sintaks:

   SELECT * FROM oss('<oss-endpoint>', '<access-key-id>', '<access-key-secret>', '<oss-file-path>', '<file-format-name>', '<col_name> <col_type>(,...)');

   Parameter-parameter tersebut sama dengan yang digunakan untuk membuat tabel eksternal OSS. Untuk informasi selengkapnya, lihat Parameter.

   Contoh:

   SELECT * FROM oss('oss-cn-hangzhou-internal.aliyuncs.com', 'LTAI****************', 'yourAccessKeySecret', 'oss://ck-test-oss/test.csv', 'CSV', 'id UInt8, user_name String, age UInt16, city String, access_url String');

   Hasilnya sebagai berikut.

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1           | tick                | 32            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+
   Returned rows: [1], Time elapsed: [183ms]

Edisi Perusahaan atau Edisi Kompatibel Komunitas v22.8 atau yang lebih baru

Saat mengekspor data dari ClickHouse ke OSS atau menulis data langsung ke OSS, Anda harus mengatur salah satu parameter berikut: `s3_truncate_on_insert=1` atau `s3_create_new_file_on_insert=1`. Jika tidak mengatur parameter ini atau mengaturnya ke 0, operasi akan gagal jika objek sudah ada di jalur tujuan.

• s3_truncate_on_insert=1: ApsaraDB for ClickHouse memeriksa apakah objek sudah ada di jalur tujuan sebelum mengekspor atau menulis data.

  • Jika file sudah ada, ClickHouse akan menimpa file tersebut dengan data baru.

  • Ini cocok untuk skenario penimpaan penuh. Gunakan dengan hati-hati, karena operasi ini menghapus data asli.

• s3_create_new_file_on_insert=1: ClickHouse memeriksa apakah objek sudah ada di jalur tujuan sebelum mengekspor atau menulis data.

  • Jika file dengan nama yang ditentukan sudah ada, ClickHouse membuat file baru di folder yang sama dan menuliskan data ke dalamnya. File baru tersebut diberi nama menggunakan format berikut: nama file objek + angka inkremental yang dimulai dari 0 + nama format file.

    Sebagai contoh, jika objek tujuan yang ditentukan saat membuat tabel eksternal OSS adalah test.csv, maka objek baru diberi nama test0.csv setelah operasi pertama. Setelah operasi kedua, objek baru tersebut diberi nama test1.csv.

  • Metode ini cocok untuk skenario ekspor atau penulisan inkremental dan menghindari penimpaan data yang sudah ada.

Edisi Kompatibel Komunitas v21.8 atau yang lebih lama

Saat mengekspor data dari ClickHouse ke OSS atau menulis data langsung ke OSS, hanya satu objek OSS yang digunakan. Data yang diekspor atau ditulis akan menimpa isi objek asli. Gunakan dengan hati-hati.

Edisi Perusahaan atau Edisi Kompatibel Komunitas v22.8 atau yang lebih baru

CREATE TABLE <table_name> [ON cluster default]
(
'col_name1' col_type1,
'col_name2' col_type2,
...
)
ENGINE = OSS('https://<bucket-name>.<oss-endpoint>/<file-name>', '<access-key-id>', '<access-key-secret>', '<file-format-name>');

CREATE TABLE oss_test_tb ON cluster default
(
id UInt8,
user_name String,
age UInt16,
city String,
access_url String
)
ENGINE = OSS('http://ck-test-oss.oss-cn-hangzhou-internal.aliyuncs.com/test.csv', 'LTAI****************', 'yourAccessKeySecret','CSV')

Edisi Kompatibel Komunitas v21.8 atau yang lebih lama

CREATE TABLE <table_name> [ON cluster default]
(
'col_name1' col_type1,
'col_name2' col_type2,
...
)
ENGINE = OSS('<oss-endpoint>', '<access-key-id>', '<access-key-secret>', '<oss-file-path>', '<file-format-name>');

CREATE TABLE oss_test_tb ON cluster default
(
id UInt8,
user_name String,
age UInt16,
city String,
access_url String
)
ENGINE = OSS('oss-cn-hangzhou-internal.aliyuncs.com', 'LTAI****************', 'yourAccessKeySecret', 'oss://ck-test-oss/test.csv', 'CSV');