Hologres：BUAT DATABASE EKSTERNAL

Latar Belakang

Pernyataan CREATE EXTERNAL DATABASE digunakan untuk membuat database eksternal di instans Hologres. Anda dapat menggunakan database eksternal untuk memuat metadata dari sumber data eksternal ke Hologres, sehingga memungkinkan pengelolaan data internal dan eksternal dalam satu platform dengan arsitektur lakehouse.

Data internal adalah data yang disimpan dalam kelas penyimpanan standar dan kelas penyimpanan Akses Jarang (IA) di Hologres. Data eksternal mencakup data yang disimpan di MaxCompute dan Data Lake Formation (DLF). Hologres terintegrasi dengan MaxCompute, memungkinkan pembacaan dan penulisan data berkecepatan tinggi. Hologres juga mendukung penggunaan DLF untuk mengelola data di Object Storage Service (OSS) dan menggunakan Hologres Query Engine (HQE) untuk akses performa tinggi ke data lake seperti Apache Paimon, Hudi, dan Delta Lake.

Database eksternal bersifat global terlihat. Setelah terhubung ke database di Hologres, Anda dapat membaca dan menulis data ke sumber data eksternal dengan menentukan tabel eksternal dalam format ext_db.ext_schema.ext_table. Anda juga dapat terhubung ke database eksternal untuk mengeksekusi pernyataan SQL dan mengonfigurasi parameter GUC.

Izin pada database eksternal dikelola oleh sumber data eksternal seperti MaxCompute dan DLF. Hologres hanya meneruskan identitas ke sumber data eksternal. Secara default, peran terkait layanan Hologres digunakan untuk transmisi langsung identitas. Sebelum mengakses sumber data eksternal, Anda harus menggunakan Akun Alibaba Cloud atau Pengguna RAM dengan izin yang diperlukan untuk memberikan izin kepada peran terkait layanan. Untuk informasi lebih lanjut, lihat Peran terkait layanan untuk Hologres. Hologres juga mendukung penggunaan Peran RAM untuk mengakses sumber data eksternal, memungkinkan penyesuaian kebijakan akses. Untuk detail lebih lanjut, lihat Ikhtisar Peran RAM. Jika Anda menggunakan akun non-Alibaba Cloud atau non-RAM, seperti akun BASIC, Anda dapat mengeksekusi pernyataan CREATE USER MAPPING untuk melakukan asosiasi akun dan otorisasi.

Prasyarat

• Aktifkan akselerasi danau data untuk instance Hologres Anda melalui konsol Hologres. Di halaman Instance, temukan instance Anda dan klik Akselerasi Danau Data di kolom Tindakan. Klik Aktifkan pada pesan yang muncul. Anda juga dapat mengaktifkannya di halaman Detail Instance.

• Pastikan DLF diaktifkan. Untuk informasi lebih lanjut, lihat Memulai. Untuk wilayah yang didukung, lihat Wilayah dan Titik Akhir yang Didukung.

• Jika menggunakan DLF 1.0, pastikan OSS diaktifkan dan izin yang diperlukan telah diberikan. Izin akses pada OSS diperlukan untuk menanyakan data melalui tabel asing. Untuk detail lebih lanjut, lihat Kebijakan Bucket.

• Opsional. Jika menggunakan OSS-HDFS, pastikan fitur tersebut diaktifkan. Untuk informasi lebih lanjut, lihat Aktifkan OSS-HDFS dan Berikan Izin Akses.

Batasan

• Anda harus memiliki izin superuser untuk mengeksekusi pernyataan ini.

• Setelah terhubung ke database internal, Anda dapat mengakses tabel di database eksternal dengan menentukan tabel dalam format ext_db.ext_schema.ext_table. Namun, setelah terhubung ke database eksternal, Anda tidak dapat mengakses tabel di database internal.

• Setelah membuat database eksternal, Hologres menyimpan cache metadata dari sumber data eksternal selama lima menit untuk meningkatkan efisiensi akses. Periode timeout cache tidak dapat diubah.

• Jika sumber data eksternal adalah proyek MaxCompute, hanya proyek internal MaxCompute yang didukung. Proyek eksternal tidak didukung.

Deskripsi sintaksis

CREATE EXTERNAL DATABASE <ext_database_name> WITH 
  metastore_type 'maxcompute'
  mc_project 'project_name' 
  [comment 'xxx'];

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  
catalog_type 'paimon'
  
metastore_type 'dlf-rest'
  dlf_catalog '<dlf_catalog_name>' 
  [comment 'xxx']; 

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'dlf'
  dlf_region ' ' 
  dlf_endpoint ' '
  dlf_catalog ' ' 
  oss_endpoint ''
  [comment 'xxx']; 

Operasi terkait

SELECT database_name, options FROM hologres.hg_external_databases();

REFRESH CACHE FOR EXTERNAL DATABASE <EXT_DB_NAME> WITH( cache_level = 'metadata');

ALTER EXTERNAL DATABASE <EXT_DB_NAME> WITH metadata_refresh_interval_sec 1800;

Contoh

-- Buat database eksternal.
BUAT DATABASE EKSTERNAL ext_database_mc DENGAN 
  metastore_type 'maxcompute'
  mc_project 'mc_3_layer_project' 
  comment 'proyek tiga lapis mc';
  
-- Kueri data.
SELECT * FROM ext_database_mc.mc_schema.mc_table;

-- Buat database eksternal.
CREATE EXTERNAL DATABASE ext_database_dlf WITH
  metastore_type 'dlf-rest'
  catalog_type 'paimon'
  

dlf_catalog 'dlf_paimon_catalog' 
  comment 'DLF paimon catalog'; 

-- Kueri data.
SELECT * FROM ext_database_dlf.dlf_db.paimon_table;

-- Buat database eksternal. 
CREATE EXTERNAL DATABASE ext_database_dlf1 WITH
  metastore_type 'dlf'
  dlf_region 'cn-beijing' 
  dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com'
  dlf_catalog 'hive_catalog' 
  oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
  comment 'DLF1.0 hive catalog'; 

-- Buat pemetaan pengguna untuk pengguna saat ini.
CREATE USER MAPPING FOR current_user
EXTERNAL DATABASE ext_database_dlf1
OPTIONS
  (
      -- For DLF 1.0
      dlf_access_id 'LTxxxxxxxxxx',
      dlf_access_key 'y8xxxxxxxxxxxxx',
      oss_access_id 'LTxxxxxxxxxx',
      oss_access_key 'y8xxxxxxxxxxxxx'
  );

-- Mengkueri data. 
SELECT * FROM ext_database_dlf1.dlf_db.hive_table;