ApsaraDB for ClickHouse:Impor dari MaxCompute (V 20.3+) melalui tabel eksternal

Catatan

• Versi kernel kluster ApsaraDB for ClickHouse yang kompatibel dengan Community harus 20.3 atau lebih baru.

• MaxCompute adalah layanan berbayar. Untuk informasi selengkapnya tentang metode penagihan, lihat metode penagihan MaxCompute.

• Untuk memastikan koneksi jaringan yang stabil antara ApsaraDB for ClickHouse dan MaxCompute, gunakan VPC Alibaba Cloud. Layanan MaxCompute dan kluster ApsaraDB for ClickHouse Anda harus berada di wilayah yang sama.

Prasyarat

• Layanan MaxCompute telah diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan MaxCompute.

• Proyek MaxCompute telah dibuat di wilayah yang sama dengan kluster ApsaraDB for ClickHouse Anda. Untuk informasi selengkapnya, lihat Buat proyek MaxCompute.

• Jika pengguna Resource Access Management (RAM) perlu menggunakan MaxCompute, pemilik akun Alibaba Cloud harus memberikan izin yang diperlukan kepada pengguna RAM tersebut. Untuk informasi selengkapnya, lihat Persiapkan pengguna RAM.

Prosedur

1. Buat tabel eksternal MaxCompute.

   1. Masuk ke Konsol MaxCompute.

   2. Di panel navigasi sebelah kiri, pilih DataWorks > Data Studio.

   3. Pada halaman Data Studio, arahkan kursor ke ikon , lalu pilih New Table > MaxCompute > Table.

   4. Di kotak dialog New Table, masukkan Table Name. Topik ini menggunakan maxcompute sebagai contoh.

   5. Klik Create.

   6. Di bagian Basic Properties, konfigurasikan parameter-parameter berikut.

      

      Tabel berikut menjelaskan parameter-parameter tersebut.

      Item konfigurasi	Deskripsi
      Display Name	Nama tampilan tabel.
      Theme	Subjek dalam DataWorks setara dengan folder. Tentukan folder tingkat-1 dan tingkat-2 untuk tabel tersebut. Anda dapat mengklasifikasikan tabel berdasarkan tujuan bisnis dan menempatkan tabel dengan jenis yang sama ke dalam folder yang sama. Catatan Theme tingkat-1 dan tingkat-2 ditampilkan sebagai folder untuk manajemen tabel di DataWorks guna membantu Anda mengelola tabel dengan lebih baik. Anda dapat dengan cepat menemukan tabel saat ini berdasarkan subjek di halaman Table Management. Jika belum tersedia subjek, Anda dapat membuatnya. Untuk informasi selengkapnya, lihat Definisikan subjek tabel.

   7. Di bilah alat, klik DDL.

   8. Di kotak dialog DDL, masukkan pernyataan berikut untuk membuat tabel, lalu klik Generate Table Schema.

      CREATE TABLE IF NOT EXISTS maxcompute
      (    
      v1  INT,    
      v2  INT                
      )
      PARTITIONED BY
      (
          v3 STRING                   
      );

   9. Klik Submit to Development Environment dan Submit to Production Environment.

2. Tulis data ke tabel eksternal MaxCompute.

   1. Di halaman Data Studio, klik Ad-hoc Query di panel navigasi sebelah kiri.

   2. Arahkan kursor ke ikon , lalu pilih New > ODPS SQL.

   3. Di kotak dialog New Node, pilih Path dan masukkan Name.

   4. Klik Confirm.

   5. Di halaman pengeditan node, masukkan pernyataan berikut untuk menulis data ke tabel eksternal MaxCompute.

      insert into maxcompute PARTITION (v3='2021') values (1,2),(2,3);

   6. Di bilah alat, klik ikon .

   7. Di jendela Parameters, pilih shared resource groups for scheduling lalu klik OK.

   8. Di jendela MaxCompute Compute Cost Estimate, konfirmasi Estimated Fee lalu klik Run.

3. Buat tabel ApsaraDB for ClickHouse.

   1. Masuk ke Konsol ApsaraDB for ClickHouse.

   2. Di halaman Clusters, klik ID kluster tujuan.

   3. Di pojok kanan atas bilah navigasi, klik Log On to Database.

   4. Masukkan pernyataan untuk membuat tabel lalu klik Execute (F8).

      Sintaks untuk membuat tabel adalah sebagai berikut.

      CREATE TABLE <table_name> [on cluster default]
      (
      'col_name1' col_type1,
      'col_name2' col_type2,
      ...
      )
      ENGINE = MaxCompute('<tunnel-endpoint>', '<project-name>', '<table-name>', '<partition-spec>', '<access-key-id>', '<access-key-secret>'，<read-thread-num>, '<quota>');

      Catatan

      Jika Anda menggunakan mesin tabel MaxComputeRaw, ubah tunnel-endpoint menjadi odps-endpoint dalam sintaks tersebut. Parameter odps-endpoint menentukan titik akhir VPC. Untuk informasi selengkapnya tentang cara memperoleh titik akhir VPC, lihat Endpoint.

      Tabel berikut menjelaskan parameter-parameter tersebut.

      Nama parameter	Deskripsi
      table_name	Nama tabel.
      col_name1,col_name2	Nama kolom.
      col_type1,col_type2	Tipe kolom. Catatan Skema tabel ApsaraDB for ClickHouse harus sesuai dengan tabel MaxCompute. Untuk informasi selengkapnya tentang pemetaan tipe data, lihat Pemetaan tipe data.
      tunnel-endpoint	Tunnel Endpoint dari layanan Tunnel. Untuk memastikan koneksi jaringan yang stabil antara ApsaraDB for ClickHouse dan MaxCompute, gunakan VPC Alibaba Cloud. Layanan MaxCompute dan kluster ApsaraDB for ClickHouse Anda harus berada di wilayah yang sama. Catatan Untuk informasi selengkapnya tentang cara melihat tunnel-endpoint untuk VPC, lihat Endpoint.
      project-name	Nama proyek MaxCompute.
      table-name	Nama tabel eksternal MaxCompute.
      partition-spec	Partisi MaxCompute.
      access-key-id	ID AccessKey yang digunakan untuk mengakses proyek MaxCompute.
      access-key-secret	Rahasia AccessKey yang digunakan untuk mengakses proyek MaxCompute.
      read-thread-num (Opsional)	Jumlah thread konkuren untuk membaca satu shard tabel MaxCompute. Nilai default-nya adalah 1.
      quota (Opsional)	Unit sumber daya komputasi MaxCompute. Secara default, kuota bersama digunakan.

      Pernyataan untuk membuat tabel adalah sebagai berikut.

      CREATE TABLE default.maxcomputetest ON CLUSTER default (
      v1 Int32, 
      v2 Int32
      ) ENGINE = MaxCompute('http://dt.cn-hangzh******.aliyun-inc.com', 'ckfwt', 'maxcompute', 'v3=2021', 'LTAI****************', 'yourAccessKeySecret');

4. Kueri tabel ApsaraDB for ClickHouse.

   1. Masuk ke Konsol ApsaraDB for ClickHouse.

   2. Di halaman Clusters, klik ID kluster tujuan.

   3. Di pojok kanan atas bilah navigasi, klik Log On to Database.

   4. Masukkan pernyataan kueri lalu klik Execute (F8).

      SELECT * FROM maxcomputetest;

      Hasil kueri adalah sebagai berikut.

Pemetaan tipe data