Akses data Hologres di MaxCompute melalui tabel eksternal-DataWorks-Alibaba Cloud

Fitur pemetaan metadata Hologres di DataWorks memungkinkan Anda menjalankan kueri terhadap data Hologres langsung dari MaxCompute tanpa perlu mengimpor data. DataWorks membuat tabel eksternal atau skema eksternal di MaxCompute yang dipetakan ke tabel atau skema Hologres, sehingga Anda dapat menjalankan SQL MaxCompute pada data Hologres sekaligus menjaga biaya penyimpanan tetap rendah dan menghindari duplikasi data.

Gunakan fitur ini ketika:

Anda memerlukan kueri ad hoc atau eksploratif terhadap data Hologres dari MaxCompute.
Anda ingin menghindari pipeline ETL atau duplikasi data antara kedua sistem.
Anda membutuhkan kemampuan governance dan komputasi MaxCompute untuk data yang berada di Hologres.

Tersedia dua tingkat pemetaan:

Pemetaan tingkat skema: Memetakan seluruh skema Hologres ke skema eksternal MaxCompute. Didukung oleh skema eksternal MaxCompute.
Pemetaan tingkat tabel: Memetakan satu tabel Hologres ke tabel eksternal MaxCompute. Didukung oleh fitur tabel eksternal MaxCompute.

Prasyarat

Instans dan katalog data

Sebelum memulai, pastikan Anda telah:

Mengaktifkan proyek MaxCompute. Lihat Buat proyek MaxCompute.
Membeli instans Hologres. Lihat Beli instans Hologres.
Menambahkan instans Hologres ke panel DATA CATALOG di DataWorks Data Studio. Lihat Katalog Data.

Hanya untuk pemetaan tingkat skema

Membuat foreign server tipe Hologres di MaxCompute. Lihat Langkah 1: Buat foreign server Hologres.

Penting
Saat membuat foreign server, ikuti batasan berikut: – Atur Host ke hostname jaringan klasik. Hostname Virtual Private Cloud (VPC) tidak didukung. – Atur Authentication Method ke RAMRole. ExecuteWithUserAuth tidak didukung. – Atur DBNAME ke nama database Hologres yang ingin Anda petakan.

Peran dan izin

Identitas akses telah ditambahkan ke proyek MaxCompute.
Identitas akses memiliki izin baca pada tabel eksternal MaxCompute.
Hanya pengguna yang diberi peran O&M (operations and maintenance) atau Workspace Administrator yang dapat memilih sumber data yang ditambahkan di lingkungan produksi.

Batasan

Hanya data di database internal Hologres yang dapat dipetakan ke MaxCompute.
Foreign server Hologres harus menggunakan hostname jaringan klasik. Hostname VPC tidak didukung.
Authentication Method untuk foreign server harus diatur ke RamRole. ExecuteWithUserAuth tidak didukung.
MaxCompute dan Hologres mendukung tipe data yang berbeda. Pemetaan tipe data yang tidak didukung akan dilewati secara diam-diam. Tinjau Pemetaan tipe data antara MaxCompute dan Hologres sebelum melakukan pemetaan untuk memastikan tipe data Anda didukung.
Untuk batasan lain terkait tabel eksternal Hologres di MaxCompute, lihat Tabel eksternal Hologres.

Kontrol akses

DataWorks menentukan identitas akses berdasarkan cara proyek MaxCompute ditambahkan:

Sumber proyek MaxCompute	Identitas akses	Izin Hologres yang diperlukan
Ditambahkan sebagai sumber data di DataWorks	Identitas yang ditentukan untuk sumber data tersebut. Untuk memetakan metadata Hologres ke proyek di lingkungan produksi, akun Anda harus memiliki peran O&M atau Workspace Administrator.	Jika menggunakan mode dual-signature: izin baca dan tulis pada tabel Hologres. Jika menggunakan mode STS: peran RAM harus memiliki izin baca dan tulis pada tabel Hologres.
Proyek yang Anda miliki izin akses langsung	Akun Alibaba Cloud Anda saat ini	Sama seperti di atas.

Buka konfigurasi pemetaan metadata

Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah. Temukan ruang kerja target dan pilih Shortcuts > Data Studio di kolom Actions.
Di panel navigasi kiri halaman Data Studio, klik ikon untuk membuka panel DATA CATALOG.
Di direktori Hologres, temukan skema atau tabel yang akan dipetakan. Klik kanan namanya dan pilih Metadata Mapping to MaxCompute.

Petakan skema

Pemetaan tingkat skema membuat skema eksternal di MaxCompute yang mencerminkan semua tabel dalam skema Hologres. Skema eksternal tersebut menyinkronkan metadata dari foreign server Hologres.

Sebelum melakukan pemetaan, baca Panduan pengguna Solusi Data Lakehouse 2.0 untuk memahami foreign server dan skema eksternal MaxCompute. Proyek MaxCompute target harus merupakan proyek internal dengan fitur skema yang diaktifkan.

Setup overview: Siapkan foreign server → konfigurasikan parameter pemetaan → jalankan.

Langkah 1: Siapkan foreign server Hologres di MaxCompute

Pemetaan tingkat skema bekerja dengan membuat skema eksternal di proyek MaxCompute, yang menyinkronkan metadata Hologres melalui foreign server. Tambahkan sumber data eksternal MaxCompute di DataWorks yang mengarah ke database Hologres target, lalu pasang ke proyek MaxCompute untuk menghubungkan skema eksternal ke database Hologres.

Untuk instruksi penyiapan, lihat Buat dan gunakan federasi Hologres.

Atur Host ke hostname jaringan klasik (VPC tidak didukung) dan atur DBNAME ke nama database Hologres yang ingin Anda gunakan untuk pemetaan.

Langkah 2: Konfigurasikan pemetaan tingkat skema

Buka konfigurasi pemetaan metadata.
Di direktori Hologres, klik kanan skema dan pilih Metadata Mapping to MaxCompute.

Di tab Metadata Mapping to MaxCompute, konfigurasikan parameter-parameter berikut.

Hologres (Source)

Parameter	Deskripsi
Source object type	Tetap sebagai `Hologres Schema`.
Source object name	Skema Hologres yang akan dipetakan, dalam format `<database Hologres>.<skema Hologres>`. Nilai ini diisi otomatis berdasarkan skema yang Anda pilih. Database Hologres dalam nilai ini harus sesuai dengan DBNAME yang Anda atur saat membuat foreign server.

MaxCompute (Tujuan)

Parameter	Deskripsi
Instance search method	Cara memilih proyek MaxCompute target. From DataWorks data sources: pilih dari sumber data MaxCompute yang terkait dengan ruang kerja. I am authorized: pilih dari proyek MaxCompute yang dapat Anda akses dalam Akun Alibaba Cloud Anda.
Data source	(Wajib diisi jika Instance search method adalah From DataWorks data sources) Sumber data MaxCompute yang akan digunakan.
Project name	(Wajib diisi jika Instance search method adalah I am authorized) Proyek MaxCompute yang akan digunakan.
External schema name	Nama skema eksternal MaxCompute yang akan dibuat.
External data source	Foreign server yang terhubung ke database Hologres. Lihat Langkah 1: Buat foreign server Hologres. Kolom Host:port, Auth, dan Database diisi otomatis berdasarkan server yang Anda pilih.

Klik Run di bilah alat atas untuk menyelesaikan pemetaan.

Petakan tabel

Pemetaan tingkat tabel membuat satu tabel eksternal MaxCompute yang dipetakan ke tabel Hologres tertentu. Berbeda dengan pemetaan tingkat skema, tabel eksternal ini merupakan snapshot satu kali—metadata tidak diperbarui secara otomatis. Untuk memperbarui pemetaan, hapus tabel eksternal tersebut dan buat pemetaan baru.

Setup overview: Pilih tabel Hologres sumber → konfigurasikan parameter tabel eksternal target → jalankan.

Konfigurasikan pemetaan tingkat tabel

Buka konfigurasi pemetaan metadata.
Di direktori Hologres, klik kanan tabel dan pilih Metadata Mapping to MaxCompute.

Di tab Metadata Mapping to MaxCompute, konfigurasikan parameter-parameter berikut.

Hologres (Sumber)

Parameter	Deskripsi
Source object type	Tetap sebagai `Hologres Table`.
Source object name	Tabel Hologres yang akan dipetakan. Nilai ini diisi otomatis berdasarkan tabel yang Anda pilih.

MaxCompute (Destination)

Parameter	Deskripsi
Instance search method	Cara memilih proyek MaxCompute target: From DataWorks data sources: Pilih dari sumber data MaxCompute yang terkait dengan ruang kerja. Konfigurasikan juga Data source dan External table. Identitas sumber data harus memiliki izin baca dan tulis pada tabel Hologres serta proyek MaxCompute. I am authorized: Pilih dari proyek MaxCompute yang dapat Anda akses. Konfigurasikan juga External table. Akun Anda harus memiliki izin baca dan tulis pada tabel Hologres serta proyek MaxCompute.
Data source	(Wajib diisi jika Instance search method adalah From DataWorks data sources) Sumber data MaxCompute yang akan digunakan.
Project name	(Wajib diisi jika Instance search method adalah I am authorized) Proyek MaxCompute yang akan digunakan.
Schema	Skema eksternal MaxCompute tempat tabel eksternal akan dibuat.
External table	Nama tabel eksternal yang akan dibuat. Metadata tabel Hologres dipetakan ke tabel ini.
Permissions to access MaxCompute external table	Metode autentikasi untuk mengakses tabel eksternal setelah pemetaan. Dual-signature: protokol autentikasi bersama yang dikembangkan oleh MaxCompute dan Hologres. Gunakan akun yang sama di kedua sistem untuk mengakses tabel eksternal tanpa konfigurasi tambahan. Lihat Autentikasi dual-signature. RamRole: autentikasi menggunakan Security Token Service (STS). Lihat Autentikasi RamRole.
RoleARN	(Wajib diisi jika Permissions to access MaxCompute external table adalah RamRole) ARN dari peran RAM yang akan digunakan. Buat peran RAM terlebih dahulu. Lihat Buat tabel eksternal Hologres (mode STS).
Location	Alamat pemetaan antara tabel Hologres dan tabel MaxCompute. Dihasilkan secara otomatis—jangan ubah.
Lifecycle	Pengaturan siklus hidup untuk tabel eksternal MaxCompute.
Field	Bidang tabel MaxCompute dan tipe datanya untuk pemetaan ini. Sesuaikan berdasarkan kebutuhan Anda. Pemetaan tipe data yang tidak didukung akan dilewati. Lihat Pemetaan tipe data antara MaxCompute dan Hologres.

Klik Run di bilah alat atas untuk menyelesaikan pemetaan.

Langkah berikutnya

Setelah pemetaan selesai:

Di direktori MaxCompute panel DATA CATALOG, lihat skema eksternal atau tabel eksternal tempat metadata Hologres dipetakan.
Buat node MaxCompute SQL di Data Studio dan gunakan untuk menjalankan kueri terhadap data di tabel eksternal Hologres.