Hologres:Akses data OSS dengan Hive Metastore

Langkah 1: Buat ekstensi

Jalankan perintah SQL berikut untuk menginstal pembungkus data asing (FDW) hive_fdw. Operasi ini memerlukan izin superuser dan hanya perlu dijalankan sekali per database.

CREATE EXTENSION IF NOT EXISTS hive_fdw;

Langkah 2: Buat server asing

Buat server asing yang mengarah ke instans HMS dan penyimpanan OSS Anda.

Sebelum menjalankan perintah, kumpulkan nilai-nilai berikut:

• Alamat IP HMS: Di Konsol E-MapReduce, klik Node Management untuk kluster Anda. Pada tab Node Management, temukan Internal IP node master.

• Titik akhir OSS: Di Konsol OSS, buka halaman ikhtisar bucket dan periksa area Access Ports.

CREATE SERVER IF NOT EXISTS <SERVER_NAME> FOREIGN DATA WRAPPER hive_fdw
OPTIONS (
  hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>',
  oss_endpoint '<OSS_ENDPOINT>'
);

Untuk oss_endpoint, pilih berdasarkan jenis penyimpanan Anda:

• OSS native: Gunakan titik akhir internal.

  oss-cn-shanghai-internal.aliyuncs.com

• OSS-HDFS: Hanya akses jaringan internal yang didukung.

  <BUCKET_NAME>.cn-beijing.oss-dls.aliyuncs.com

Langkah 3: (Opsional) Buat pemetaan pengguna

Pemetaan pengguna mengontrol akun Hologres mana yang dapat mengakses data eksternal melalui server asing. Misalnya, pemilik server asing dapat memberikan akses pengguna Resource Access Management (RAM) ke data OSS.

Untuk detail sintaks CREATE USER MAPPING, lihat dokumentasi PostgreSQL.

-- Berikan akses pengguna saat ini ke server asing
CREATE USER MAPPING FOR current_user SERVER <SERVER_NAME> OPTIONS (
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- Berikan akses pengguna RAM (123xxx) ke server asing
CREATE USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME> OPTIONS (
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- Hapus pemetaan pengguna
DROP USER MAPPING FOR CURRENT_USER SERVER <SERVER_NAME>;
DROP USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME>;

Langkah 4: Buat tabel asing

Hologres menyediakan dua perintah untuk membuat tabel asing:

Hologres mendukung tabel partisi di OSS. Jenis kunci partisi yang didukung adalah TEXT, VARCHAR, dan INT.

Dengan CREATE FOREIGN TABLE: definisikan bidang partisi sebagai kolom biasa, karena perintah ini memetakan skema tanpa menyimpan data.

Dengan IMPORT FOREIGN SCHEMA: sistem menangani pemetaan bidang secara otomatis.

Jika nama tabel eksternal bentrok dengan tabel internal Hologres yang sudah ada, IMPORT FOREIGN SCHEMA melewatkan tabel tersebut. Gunakan CREATE FOREIGN TABLE untuk memetakannya dengan nama berbeda.

-- Buat satu tabel asing
CREATE FOREIGN TABLE <HOLO_SCHEMA_NAME>.<TABLE_NAME>
(
  column_name data_type
  [, ...]
)
SERVER <SERVER_NAME>
OPTIONS (
  schema_name '<HIVE_DATABASE_NAME>',
  table_name  '<HIVE_TABLE_NAME>'
);

-- Impor beberapa tabel asing secara batch
IMPORT FOREIGN SCHEMA <HIVE_DATABASE_NAME>
[
  { LIMIT TO | EXCEPT }
  ( table_name [, ...] )
]
FROM SERVER <SERVER_NAME>
INTO <HOLO_SCHEMA_NAME>
OPTIONS (
  if_table_exist        'update',
  if_unsupported_type   'error'
);

Langkah 5: Kueri tabel asing

Setelah membuat tabel asing, kueri langsung untuk membaca data dari OSS.

Tabel non-partisi:

SELECT * FROM <HOLO_SCHEMA_NAME>.<TABLE_NAME>;

Tabel partisi:

SELECT * FROM <HOLO_SCHEMA_NAME>.<PARTITION_TABLE_NAME>
WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';