Hologres:BUAT DATABASE EKSTERNAL

Informasi latar belakang

Anda dapat menggunakan pernyataan CREATE EXTERNAL DATABASE untuk membuat database eksternal dalam instans Hologres dan memuat metadata dari sumber data eksternal. Hal ini memungkinkan pengelolaan data internal dan eksternal dalam satu sistem serta mencapai manajemen metadata terpadu dalam arsitektur danau data terpadu (data lakehouse).

Data internal disimpan di Hologres menggunakan penyimpanan Jenis Penyimpanan Standar dan Akses Jarang. Sumber data eksternal yang didukung meliputi MaxCompute dan danau data Data Lake Formation (DLF). Hologres terintegrasi secara mulus dengan MaxCompute, memungkinkan pertukaran data berkecepatan tinggi dalam gudang data dengan membaca dan menulis langsung ke penyimpanan MaxCompute. Hologres menggunakan Alibaba Cloud Data Lake Formation (DLF) untuk mengelola data dalam danau data OSS. Selain itu, Hologres memanfaatkan mesin High-QPS Engine (HQE) buatan sendiri untuk mencapai pembacaan dan penulisan berkinerja tinggi pada format danau data seperti Paimon, Hudi, dan DeltaLake.

Database eksternal bersifat global—artinya Anda dapat mengakses dan menulis ke sumber data eksternal dari database mana pun di Hologres dengan mereferensikan ext_db.ext_schema.ext_table. Anda juga dapat terhubung langsung ke database eksternal untuk menjalankan berbagai pernyataan SQL dan mengatur parameter Grand Unified Configuration (GUC).

Izin untuk database eksternal sepenuhnya dikendalikan oleh sistem eksternal, seperti MaxCompute atau DLF. Hologres hanya melakukan transmisi identitas (identity pass-through). Saat pengguna mengakses database eksternal, peran terkait layanan (SLR) digunakan untuk transmisi identitas secara default. Sebelum mengakses sumber data eksternal, Anda harus memberikan izin yang diperlukan kepada SLR melalui Akun Alibaba Cloud atau Pengguna RAM yang berwenang. Untuk informasi selengkapnya, lihat Peran terkait layanan Hologres. Hologres juga mendukung penggunaan Peran RAM untuk mengakses sumber data eksternal, sehingga Anda dapat menyesuaikan kebijakan akses eksternal. Untuk informasi selengkapnya, lihat Ikhtisar Peran RAM. Untuk akun non-Alibaba Cloud dan Pengguna RAM, seperti akun Hologres BASIC, Hologres menyediakan pernyataan CREATE USER MAPPING untuk menerapkan pengikatan akun dan otorisasi. Untuk informasi selengkapnya, lihat CREATE USER MAPPING.

Prasyarat

• Aktifkan akselerasi danau data untuk instans tersebut di halaman Daftar Instans atau Detail Instans di Konsol Hologres. Untuk melakukannya, temukan instans target, klik Data Lake Acceleration di kolom Actions, lalu klik Confirm di kotak dialog yang muncul.

• Anda telah mengaktifkan DLF. Untuk informasi selengkapnya, lihat Quick Start. Informasi mengenai wilayah tempat DLF tersedia dapat ditemukan di Wilayah dan titik akhir yang tersedia.

• Jika Anda menggunakan DLF V1.0, Anda juga harus mengaktifkan OSS dan menyelesaikan otorisasi yang diperlukan. Untuk mengakses data OSS melalui tabel eksternal, akun harus memiliki izin akses OSS yang sesuai. Jika tidak, Anda tidak dapat mengkueri data meskipun tabel eksternal berhasil dibuat. Untuk informasi selengkapnya tentang otorisasi OSS, lihat Bucket Policy (Java SDK V1).

• (Opsional) Untuk menggunakan fitur OSS-HDFS, Anda harus mengaktifkan layanan OSS-HDFS. Untuk informasi selengkapnya, lihat Aktifkan layanan OSS-HDFS.

Batasan

• Akun yang menjalankan perintah ini harus memiliki izin Superuser.

• Saat Anda masuk ke database internal, Anda dapat mengakses tabel di database eksternal dengan menentukan path lengkap ext_db.ext_schema.ext_table. Namun, Anda tidak dapat mengakses tabel di database internal saat terhubung ke database eksternal.

• Saat pemetaan dibuat dengan sumber data eksternal melalui database eksternal, Hologres secara default menyimpan cache metadata selama 5 menit untuk meningkatkan kinerja akses. TTL (Time to Live) cache tersebut tidak dapat disesuaikan.

• Saat sumber data eksternal adalah MaxCompute, hanya proyek MaxCompute internal yang didukung. Proyek eksternal tidak didukung.

Sintaksis

CREATE EXTERNAL DATABASE <ext_database_name> WITH 
  metastore_type 'maxcompute'
  mc_project 'project_name' 
  [comment 'xxx'];

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  catalog_type 'paimon'
  metastore_type 'dlf-rest'
  dlf_catalog '<dlf_catalog_name>' 
  [comment 'xxx']; 

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'dlf'
  dlf_region ' ' 
  dlf_endpoint ' '
  dlf_catalog ' ' 
  oss_endpoint ''
  [comment 'xxx']; 

Operasi terkait

SELECT database_name, options FROM hologres.hg_external_databases();

REFRESH CACHE FOR EXTERNAL DATABASE <EXT_DB_NAME> WITH( cache_level = 'metadata');

ALTER EXTERNAL DATABASE <EXT_DB_NAME> WITH metadata_refresh_interval_sec 1800;

Contoh penggunaan

-- Buat database eksternal.
CREATE EXTERNAL DATABASE ext_database_mc WITH 
  metastore_type 'maxcompute'
  mc_project 'mc_3_layer_project' 
  comment 'mc three layer project';
  
-- Kueri data.
SELECT * FROM ext_database_mc.mc_schema.mc_table;

-- Buat database eksternal.
CREATE EXTERNAL DATABASE ext_database_dlf WITH
  metastore_type 'dlf-rest'
  catalog_type 'paimon'
  dlf_catalog 'dlf_paimon_catalog' 
  comment 'DLF paimon catalog'; 

-- Kueri data.
SELECT * FROM ext_database_dlf.dlf_db.paimon_table;

-- Buat database eksternal.
CREATE EXTERNAL DATABASE ext_database_dlf1 WITH
  metastore_type 'dlf'
  dlf_region 'cn-beijing' 
  dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com'
  dlf_catalog 'hive_catalog' 
  oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
  comment 'DLF1.0 hive catalog'; 

-- Buat pemetaan pengguna untuk pengguna saat ini.
CREATE USER MAPPING FOR current_user
EXTERNAL DATABASE ext_database_dlf1
OPTIONS
  (
      -- Untuk DLF V1.0
      dlf_access_id 'LTxxxxxxxxxx',
      dlf_access_key 'y8xxxxxxxxxxxxx',
      oss_access_id 'LTxxxxxxxxxx',
      oss_access_key 'y8xxxxxxxxxxxxx'
  );

-- Kueri data.
SELECT * FROM ext_database_dlf1.dlf_db.hive_table;