DataWorks：Pemetaan Metadata MaxCompute ke Hologres

Informasi latar belakang

Tabel asing dan database eksternal Hologres memungkinkan Anda untuk mempercepat kueri pada data dari sumber eksternal seperti MaxCompute tanpa perlu mengimpor data ke penyimpanan internal Hologres.

Fitur pemetaan metadata MaxCompute di DataWorks memanfaatkan kemampuan tabel asing Hologres untuk memetakan data MaxCompute ke Hologres dengan membuat tabel asing MaxCompute. Hal ini membantu mempercepat kueri pada data MaxCompute.

DataWorks memungkinkan Anda dengan cepat memetakan metadata MaxCompute di tingkat proyek, skema, dan tabel ke Hologres secara visual.

• Pemetaan metadata tingkat proyek: Jenis pemetaan ini diimplementasikan menggunakan database eksternal Hologres. Untuk panduan membuat database eksternal Hologres, lihat CREATE EXTERNAL DATABASE.

• Pemetaan metadata tingkat skema: Jenis pemetaan ini diimplementasikan melalui tabel asing Hologres yang dibuat menggunakan fitur Auto Load.

• Pemetaan metadata tingkat tabel: Jenis pemetaan ini diimplementasikan melalui tabel asing Hologres yang dibuat menggunakan pernyataan CREATE FOREIGN TABLE.

Untuk informasi lebih lanjut tentang cara mempercepat kueri pada data MaxCompute menggunakan Hologres, lihat Kueri Dipercepat pada Data MaxCompute.

Batasan

• Hanya proyek internal MaxCompute yang mendukung pemetaan metadata ke Hologres.

• Hanya Hologres V3.0.7 dan versi lebih baru yang mendukung pemetaan metadata MaxCompute ke Hologres.

• Metadata MaxCompute hanya dapat dipetakan ke instance eksklusif Hologres.

Perhatian

Tipe data yang didukung oleh MaxCompute dan Hologres berbeda, dan beberapa tipe data tidak mendukung pemetaan. Sebelum memetakan metadata MaxCompute ke Hologres, baca dengan cermat Pemetaan Tipe Data antara MaxCompute dan Hologres, lalu tentukan apakah persyaratan bisnis Anda dapat dipenuhi sesuai harapan.

Titik masuk untuk fitur

1. Buka halaman Workspaces di konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan workspace yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

2. Di panel navigasi kiri halaman Data Studio, klik ikon untuk membuka panel DATA CATALOG.

3. Di direktori MaxCompute panel DATA CATALOG, temukan proyek, skema, atau tabel MaxCompute yang metadata-nya perlu dipetakan ke Hologres. Klik kanan nama proyek, skema, atau tabel tersebut, lalu pilih Metadata Mapping to Hologres.

Pemetaan metadata tingkat proyek

Fitur pemetaan metadata tingkat proyek MaxCompute membuat database eksternal Hologres dengan nama yang sama dengan proyek MaxCompute di instance Hologres yang ditentukan. Database eksternal ini digunakan untuk memetakan metadata proyek MaxCompute ke Hologres melalui tabel asing.

1. Di direktori MaxCompute panel DATA CATALOG, temukan proyek MaxCompute yang metadata-nya perlu dipetakan ke Hologres. Klik ikon , lalu pilih Pemetaan Metadata ke Hologres.

2. Di tab Pemetaan Metadata ke Hologres, konfigurasikan parameter berikut:

   • Sumber MaxCompute

     Parameter	Deskripsi
     Source Object Type	Jenis objek yang metadata-nya perlu dipetakan ke Hologres. Nilai parameter ini tetap sebagai MaxCompute Project.
     Source Object Name	Nama proyek yang metadata-nya perlu dipetakan ke Hologres. Secara default, nilai parameter ini tetap sebagai nama proyek MaxCompute saat ini.

   • Tujuan Hologres

     Parameter	Deskripsi
     Instance Search Method	Cara Anda ingin mencari instance Hologres. Nilai valid: From DataWorks Data Sources: Pilih instance Hologres yang diinginkan dengan memilih sumber data Hologres yang terkait dengan workspace saat ini. Jika Anda memilih nilai ini, Anda juga perlu mengonfigurasi parameter Sumber Data untuk menentukan instance Hologres. Selain itu, Anda harus memastikan bahwa identitas akses yang ditentukan untuk sumber data memiliki izin super user Hologres dan izin baca-tulis pada tabel MaxCompute sumber. null Hanya pengguna yang ditugaskan peran O&M atau Administrator Workspace yang dapat memilih sumber data yang ditambahkan di lingkungan produksi. I Am Authorized: Pilih instance Hologres yang diinginkan di mana Anda memiliki izin akses dalam akun Alibaba Cloud saat ini. Jika Anda memilih nilai ini, Anda juga perlu mengonfigurasi parameter Hologres Instance. Selain itu, Anda harus memastikan bahwa Anda memiliki izin super user Hologres dan izin baca-tulis pada tabel MaxCompute sumber. null Hanya Hologres V3.0.7 dan versi lebih baru yang mendukung pemetaan metadata MaxCompute ke Hologres. Metadata MaxCompute hanya dapat dipetakan ke instance eksklusif Hologres.
     External Database	Nama database eksternal yang akan dibuat di instance eksklusif Hologres yang ditentukan. Metadata proyek MaxCompute akan dipetakan ke database eksternal Hologres secara real-time. Jika Anda tidak lagi memerlukan pemetaan metadata proyek MaxCompute ke database eksternal Hologres, Anda dapat menghapus database eksternal tersebut.

3. Di bilah alat atas tab Pemetaan Metadata ke Hologres, klik Run. Sistem mengeksekusi pernyataan CREATE EXTERNAL DATABASE untuk membuat database eksternal Hologres dan memetakan metadata proyek MaxCompute ke database tersebut.

Pemetaan metadata tingkat skema

Fitur pemetaan metadata tingkat skema MaxCompute memetakan metadata skema MaxCompute ke Hologres menggunakan tabel asing.

1. Di direktori MaxCompute panel DATA CATALOG, temukan skema yang metadata-nya perlu dipetakan ke Hologres. Klik ikon , lalu pilih Pemetaan Metadata ke Hologres.

2. Di tab Pemetaan Metadata ke Hologres, konfigurasikan parameter berikut:

   • Sumber MaxCompute

     Parameter	Deskripsi
     Source Object Type	Jenis objek yang metadata-nya perlu dipetakan ke Hologres. Nilai parameter ini tetap sebagai MaxCompute Schema.
     Source Object Name	Nama skema MaxCompute yang metadata-nya perlu dipetakan ke Hologres. Secara default, nilai parameter ini tetap sebagai nama skema MaxCompute saat ini.

   • Tujuan Hologres

     Parameter	Deskripsi
     Instance Search Method	Cara Anda ingin mencari instance Hologres. Nilai valid: Dari Sumber Data DataWorks: Pilih instance Hologres yang diinginkan dengan memilih sumber data Hologres yang terkait dengan workspace saat ini. Jika Anda memilih nilai ini, Anda juga perlu mengonfigurasi parameter Sumber Data dan Skema untuk menentukan instance Hologres dan skema instance Hologres. Selain itu, Anda harus memastikan bahwa identitas akses yang ditentukan untuk sumber data memiliki izin baca-tulis pada tabel MaxCompute sumber dan instance Hologres. null Hanya pengguna yang ditugaskan peran O&M atau Administrator Workspace yang dapat memilih sumber data yang ditambahkan di lingkungan produksi. I Am Authorized: Pilih instance Hologres yang diinginkan di mana Anda memiliki izin akses dalam akun Alibaba Cloud saat ini. Jika Anda memilih nilai ini, Anda juga perlu mengonfigurasi parameter Hologres Instance, Database, dan Skema. Selain itu, Anda harus memastikan bahwa Anda memiliki izin baca-tulis pada tabel MaxCompute sumber dan instance Hologres. null Hanya Hologres V3.0.7 dan versi lebih baru yang mendukung pemetaan metadata MaxCompute ke Hologres. Metadata MaxCompute hanya dapat dipetakan ke instance eksklusif Hologres.
     Database	Pilih database yang ada di instance Hologres.
     Schema	Nama skema yang akan dibuat di instance eksklusif Hologres. Metadata skema MaxCompute akan dipetakan ke skema Hologres. null Membuat skema di instance eksklusif Hologres adalah tindakan satu kali. Setelah skema dibuat, metadata yang dipetakan ke skema tidak diperbarui secara otomatis. Untuk memperbarui metadata, Anda harus menghapus skema dan secara manual membuat pemetaan metadata tingkat skema.

3. Di bilah alat atas tab Pemetaan Metadata ke Hologres, klik Run. Sistem menggunakan fitur Auto Load untuk membuat tabel asing Hologres dan memetakan metadata skema MaxCompute ke Hologres.

Pemetaan metadata tingkat tabel

Fitur pemetaan metadata tingkat tabel MaxCompute memetakan tabel MaxCompute tertentu ke tabel Hologres tertentu menggunakan tabel asing Hologres. Anda dapat menentukan jalur dan nama tabel asing Hologres sesuai dengan persyaratan bisnis Anda.

1. Di direktori MaxCompute panel DATA CATALOG, temukan tabel MaxCompute yang metadata-nya perlu dipetakan ke Hologres. Klik kanan nama tabel tersebut, lalu pilih Metadata Mapping to Hologres.

2. Di tab Pemetaan Metadata ke Hologres, konfigurasikan parameter berikut:

   • Sumber MaxCompute

     Parameter	Deskripsi
     Source Object Type	Jenis objek yang metadata-nya perlu dipetakan ke Hologres. Nilai parameter ini tetap sebagai MaxCompute Table.
     Source Object Name	Nama tabel MaxCompute yang metadata-nya perlu dipetakan ke Hologres. Secara default, nilai parameter ini tetap sebagai nama tabel MaxCompute saat ini.

   • Tujuan Hologres

     Parameter	Deskripsi
     Instance Search Method	Cara Anda ingin mencari instance Hologres. Nilai valid: Dari Sumber Data DataWorks: Pilih instance Hologres yang diinginkan dengan memilih sumber data Hologres yang terkait dengan workspace saat ini. Jika Anda memilih nilai ini, Anda juga perlu mengonfigurasi parameter Sumber Data, Skema, dan Tabel Eksternal untuk menentukan instance Hologres, skema instance Hologres, dan tabel eksternal Hologres. Selain itu, Anda harus memastikan bahwa identitas akses yang ditentukan untuk sumber data memiliki izin baca-tulis pada tabel MaxCompute sumber dan instance Hologres. null Hanya pengguna yang ditugaskan peran O&M atau Administrator Workspace yang dapat memilih sumber data yang ditambahkan di lingkungan produksi. I Am Authorized: Pilih instance Hologres yang diinginkan di mana Anda memiliki izin akses dalam akun Alibaba Cloud saat ini. Jika Anda memilih nilai ini, Anda juga perlu mengonfigurasi parameter Hologres Instance, Database, Skema, dan Tabel Eksternal. Selain itu, Anda harus memastikan bahwa Anda memiliki izin baca-tulis pada tabel MaxCompute sumber dan instance Hologres. null Hanya Hologres V3.0.7 dan versi lebih baru yang mendukung pemetaan metadata MaxCompute ke Hologres. Metadata MaxCompute hanya dapat dipetakan ke instance eksklusif Hologres.
     Database	Pilih database yang ada di instance Hologres.
     Schema	Pilih skema yang ada di database yang ditentukan di instance Hologres.
     External Table	Nama tabel eksternal yang akan dibuat di database yang ditentukan di instance eksklusif Hologres. Metadata tabel MaxCompute akan dipetakan ke tabel eksternal Hologres. null Membuat tabel eksternal di instance eksklusif Hologres adalah tindakan satu kali. Setelah tabel eksternal dibuat, metadata yang dipetakan ke tabel eksternal tidak diperbarui secara otomatis. Untuk memperbarui metadata, Anda harus menghapus tabel eksternal dan secara manual membuat pemetaan metadata tingkat tabel.
     Field	Konfigurasikan parameter pada tab Mapping Field dan Konfigurasi Partisi untuk tabel asing Hologres berdasarkan persyaratan bisnis Anda.
     Action for Table Name Conflicts	Kebijakan yang ingin Anda gunakan untuk memproses konflik nama tabel. Nilai valid: Lewati dan Buat Tidak Ada Tabel Timpah, Hapus Tabel yang Ada dan Buat Tabel Lain Laporkan Kesalahan

3. Di bilah alat atas tab Pemetaan Metadata ke Hologres, klik Run. Sistem mengeksekusi pernyataan CREATE FOREIGN TABLE untuk membuat tabel asing Hologres dan memetakan metadata tabel MaxCompute ke tabel tersebut.

Apa yang harus dilakukan selanjutnya

• Lihat tabel asing yang dibuat di direktori Hologres yang ditampilkan di panel DATA CATALOG.

• Buat node Hologres SQL di halaman Data Studio dan gunakan node Hologres SQL untuk mempercepat kueri pada data MaxCompute melalui tabel asing.