Buat tabel eksternal Hologres untuk kueri cepat - DataWorks

Buat tabel eksternal Hologres

Tabel eksternal Hologres memetakan langsung ke tabel MaxCompute, memungkinkan Anda menjalankan kueri terhadap data MaxCompute dari Hologres seolah-olah data tersebut disimpan dalam tabel Hologres native—tanpa perlu menyalin data. Topik ini menjelaskan cara membuat tabel eksternal Hologres di Konsol DataWorks.

Kinerja kueri pada tabel eksternal lebih rendah dibandingkan pada tabel internal. Jika kecepatan kueri menjadi prioritas utama, impor data MaxCompute ke tabel internal Hologres sebagai gantinya. Untuk impor massal, lihat Buat node untuk menyinkronkan data MaxCompute hanya dengan beberapa klik.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Menambahkan sumber data Hologres ke ruang kerja Anda dan mengaitkannya dengan DataStudio. Lihat Tambahkan sumber data Hologres dan Kaitkan sumber data atau kluster dengan DataStudio.
Memiliki role Workspace Manager atau Development di ruang kerja Anda. Lihat Kelola izin pada layanan tingkat ruang kerja.

Batasan

Tabel eksternal Hologres hanya dapat memetakan tabel MaxCompute. Sumber data lain tidak didukung.
Pembuatan tabel eksternal Hologres di Konsol DataWorks hanya tersedia di wilayah China (Shanghai) dan China (Beijing).

Informasi latar belakang

Hologres mendukung dua jenis tabel:

Jenis tabel	Penyimpanan data	Kasus penggunaan
Tabel internal	Menyimpan salinan data MaxCompute sumber di Hologres	Kinerja kueri lebih cepat; cocok ketika kecepatan kueri lebih penting daripada biaya penyimpanan
Tabel eksternal	Tidak ada salinan data; memetakan langsung ke tabel MaxCompute sumber untuk kueri dan analisis yang dipercepat	Tidak ada penyimpanan berlebih; cocok untuk kueri ad hoc di mana kesegaran data lebih penting daripada kecepatan

DataWorks menyediakan alur kerja berbasis GUI untuk membuat tabel eksternal. Sebagai alternatif, buat tabel tersebut menggunakan pernyataan DDL melalui CREATE FOREIGN TABLE. Untuk membuat beberapa tabel eksternal sekaligus, lihat Buat node untuk menyinkronkan skema tabel MaxCompute hanya dengan beberapa klik.

Buat tabel eksternal Hologres

Prosesnya terdiri dari lima langkah:

Buka DataStudio.
Buat alur kerja (lewati jika sudah ada).
Buat entri tabel eksternal.
Konfigurasikan tabel eksternal.
Komit dan deploy.

Langkah 1: Buka DataStudio

Masuk ke Konsol DataWorks. Di panel navigasi kiri, pilih Data Modeling and Development > DataStudio. Pilih ruang kerja Anda dari daftar drop-down dan klik Go to DataStudio.

Langkah 2: Buat alur kerja

Lewati langkah ini jika Anda sudah memiliki alur kerja.

Arahkan penunjuk ke ikon dan pilih Create Workflow.
Di kotak dialog Create Workflow, masukkan Workflow Name.
Klik Create.

Langkah 3: Buat entri tabel eksternal

Arahkan penunjuk ke ikon dan pilih Create Table > Hologres > Table.
Di kotak dialog Create Table, atur Table Type ke External Table dan konfigurasikan Engine Instance, Path, dan Name.

Langkah 4: Konfigurasikan tabel eksternal

Tab konfigurasi terdiri dari tiga bagian: Basic attribute, Physical Model, dan Table structure design.

Basic attribute

Parameter Deskripsi

Type Jenis tabel eksternal. Hanya MaxCompute yang didukung.

Server List Server tempat tabel MaxCompute sumber berada. Gunakan odps_server bawaan, yang dibuat di lapisan dasar Hologres. Lihat postgres_fdw untuk detail selengkapnya.

Parameter	Deskripsi
Type	Jenis tabel eksternal. Hanya MaxCompute yang didukung.
Server List	Server tempat tabel MaxCompute sumber berada. Gunakan `odps_server` bawaan, yang dibuat di lapisan dasar Hologres. Lihat postgres_fdw untuk detail selengkapnya.
Table	Tabel MaxCompute sumber yang akan dipetakan. Format yang diperlukan bergantung pada jenis model proyek MaxCompute Anda: Model dua lapis: Atur `project_name` ke nama proyek MaxCompute Anda, dan `table_name` ke nama tabel sumber. Model tiga lapis: Atur `project_name` ke `odps_project_name#odps_schema_name`, dan `table_name` ke nama tabel sumber. Jika format tidak sesuai dengan jenis model, muncul error: `failed to import foreign schema:Table not found - table_xxx`.

Table

Tabel MaxCompute sumber yang akan dipetakan. Format yang diperlukan bergantung pada jenis model proyek MaxCompute Anda:

Model dua lapis: Atur project_name ke nama proyek MaxCompute Anda, dan table_name ke nama tabel sumber.
Model tiga lapis: Atur project_name ke odps_project_name#odps_schema_name, dan table_name ke nama tabel sumber.

Jika format tidak sesuai dengan jenis model, muncul error: failed to import foreign schema:Table not found - table_xxx.

Physical Model

Parameter pada bagian ini hanya digunakan untuk manajemen dan kategorisasi tabel. Parameter ini tidak memengaruhi logika dasar Hologres.

Parameter	Deskripsi
Theme	Folder level-1 dan level-2 di DataWorks untuk mengorganisasi tabel berdasarkan kategori bisnis.
Layer	Lapisan data fisik (misalnya, impor data, berbagi data, atau analisis data) tempat tabel tersebut berada. Klik ikon untuk membuat lapisan data. Lihat Kelola pengaturan untuk tabel.
Category	Klasifikasi yang lebih rinci dalam model fisik. Klik ikon untuk membuat kategori. Lihat Kelola pengaturan untuk tabel.

Table structure design

Skema tabel pada bagian ini dihasilkan secara otomatis dari parameter Table di bagian Basic attribute dan tidak dapat diubah. Hologres membaca struktur tabel MaxCompute sumber dan memetakan setiap kolom menggunakan tipe data yang sesuai.

Pemetaan tipe data antara MaxCompute dan Hologres harus satu-ke-satu. Lihat Pemetaan tipe data antara MaxCompute dan Hologres.

Langkah 5: Komit dan deploy

Setelah konfigurasi selesai, komit tabel ke lingkungan development atau produksi. Setelah dikomit, tabel tersebut dibuat di database Hologres pada lingkungan yang sesuai.

Untuk ruang kerja dalam mode dasar, komit hanya ke lingkungan produksi. Lihat Perbedaan antara ruang kerja dalam mode dasar dan ruang kerja dalam mode standar.

Operasi	Deskripsi
Commit to Development Environment	Membuat tabel di database Hologres di lingkungan development. Setelah dikomit, skema tabel akan terlihat di folder Hologres pada alur kerja di DataStudio. Folder yang ditampilkan adalah folder yang Anda tentukan saat membuat tabel.
Load from Development Environment	Memuat informasi tabel dari lingkungan development ke halaman saat ini. Tersedia hanya setelah tabel dikomit ke lingkungan development. Operasi ini akan menimpa halaman saat ini.
Commit to Production Environment	Membuat tabel di database Hologres di lingkungan produksi.
Load from Production Environment	Memuat informasi tabel dari lingkungan produksi ke halaman saat ini. Tersedia hanya setelah tabel dikomit ke lingkungan produksi. Operasi ini akan menimpa halaman saat ini.

Langkah selanjutnya

Setelah tabel eksternal dibuat, gunakan tabel tersebut untuk mengimpor data MaxCompute ke tabel internal Hologres secara berkala:

SQL: Impor data dari MaxCompute ke Hologres dengan mengeksekusi pernyataan SQL
Konsol DataWorks: Buat node untuk menyinkronkan data MaxCompute hanya dengan beberapa klik