Mengelola katalog data - E-MapReduce - Alibaba Cloud Documentation Center

Katalog data merupakan entitas tingkat teratas untuk layanan metadata eksternal seperti Data Lake Formation (DLF) atau Hive Metastore dan dapat berisi beberapa database. Di EMR Serverless Spark, Anda dapat melihat database dan tabel dalam katalog data yang terhubung serta menambahkan katalog data yang sudah ada—berguna untuk skenario yang memerlukan isolasi metadata.

Ikhtisar katalog

EMR Serverless Spark menyediakan sistem manajemen katalog yang fleksibel, mendukung berbagai jenis katalog seperti Paimon, Iceberg, dan StarRocks. Selain katalog data standar, sistem ini juga mendukung katalog bawaan dan katalog kustom. Bagian ini menjelaskan jenis-jenis katalog di EMR Serverless Spark serta cara mengonfigurasi dan menggunakannya.

Catalog type

Supported data sources

How to add

Description

Usage

Data catalog

DLF (sebelumnya DLF 2.5)
DLF-Legacy (sebelumnya DLF 1.0)
Hive Metastore
StarRocks
Hologres

Tambahkan katalog secara manual pada halaman Catalog.

Setelah menambahkan katalog, Anda harus restart session yang sedang berjalan agar perubahan diterapkan.

Pada halaman Development, pilih katalog target di editor SQL.
Jalankan langsung USE <catalogName>; di editor SQL.
Jalankan langsung SELECT * FROM <catalogName>.db.tbl; di editor SQL.

Custom catalog

Paimon, Iceberg, dan lainnya

Edit session dan tambahkan parameter yang diperlukan pada tab Spark Configuration.

Tipe ini memerlukan konfigurasi parameter manual dan dapat diperluas untuk mendukung berbagai sumber data. Untuk informasi lebih lanjut, lihat Use Iceberg dan Using Paimon.

-- Switch to the custom catalog
USE <catalogName>;

-- Or reference the table directly
SELECT * FROM <catalogName>.db.tbl;

Tambahkan katalog data

Buka halaman Data Catalogs.
1. Login ke Konsol EMR.
2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.
3. Pada halaman Spark, klik nama ruang kerja target.
4. Pada halaman EMR Serverless Spark, klik Catalog di panel navigasi kiri.
  Catatan
  Halaman Data Catalogs menampilkan database dan tabel dari katalog data Data Lake Formation yang Anda pilih saat membuat ruang kerja.
Klik Add Catalog.
Pada kotak dialog Add Catalog, pilih tipe katalog, konfigurasi parameter yang diperlukan, lalu klik Add. Tipe katalog berikut didukung.

Katalog data DLF

DLF Catalog adalah layanan untuk mengelola dan mengkueri metadata di data lake. Dengan memilih katalog data DLF yang sudah ada atau membuat yang baru, Anda dapat mengakses metadata di data lake Anda dengan cepat.

Untuk membuat katalog data DLF baru, klik Create Catalog untuk membuka Konsol Data Lake Formation. Untuk informasi lebih lanjut, lihat Manage metadata.

Catatan

Saat menggunakan katalog data DLF, hanya versi engine berikut yang didukung: esr-4.3.0 atau lebih baru, esr-3.3.0 atau lebih baru, dan esr-2.7.0 atau lebih baru.

Katalog data Hive Metastore (HMS)

External Hive Metastore adalah layanan metadata independen yang biasanya digunakan untuk mengelola metadata tabel Hive. Anda dapat mengonfigurasi layanan ini untuk mengintegrasikan metadata dari Hive Metastore eksternal ke lingkungan Anda saat ini.

Pastikan terdapat koneksi jaringan antara EMR Serverless Spark dan VPC tempat Hive Metastore eksternal berada.

Parameter	Description
Network Connection	Koneksi jaringan ke VPC tempat Hive Metastore eksternal berada. Pilih koneksi jaringan yang sudah ada dari daftar drop-down. Untuk informasi lebih lanjut, lihat Step 1: Add a network connection. Catatan Semua katalog data yang ditambahkan harus menggunakan koneksi jaringan yang sama. Koneksi yang dipilih untuk katalog pertama akan otomatis digunakan untuk semua katalog berikutnya. Koneksi jaringan ini menjadi default untuk semua sumber daya komputasi yang diluncurkan di ruang kerja dan digunakan untuk menguji konektivitas ke katalog data. Untuk menggunakan koneksi jaringan berbeda untuk katalog data tertentu, Anda harus menentukannya saat mengirim pekerjaan atau membuat session. Koneksi yang ditentukan secara manual memiliki prioritas lebih tinggi.
Metastore service address	Alamat layanan Hive Metastore eksternal, dalam format `thrift://<metastore-host>:<port>`. Di mana: `<metastore-host>`: hostname atau alamat IP layanan Hive Metastore. `<port>`: nomor port layanan Hive Metastore. Nilai default-nya adalah `9083`.
Kerberos authentication	Jika otentikasi Kerberos diaktifkan untuk Hive Metastore eksternal Anda, tentukan path file keytab dan nama principal. Kerberos keytab file: Path ke file keytab Kerberos. Kerberos principal: Nama principal dalam file keytab, yang digunakan untuk melakukan otentikasi dengan layanan Kerberos. Catatan Anda dapat menggunakan perintah `klist -kt <keytab_file>` untuk melihat nama principal dalam file keytab target.

Untuk menambahkan Hive Metastore eksternal, lihat Connect to an external Hive Metastore.

Katalog data StarRocks

StarRocks adalah database analitik berkinerja tinggi. Menambahkan katalog data StarRocks mendaftarkan metadata instans StarRocks di EMR Serverless Spark. Setelah katalog ditambahkan, Anda dapat membaca dan menulis data StarRocks langsung dari pekerjaan dan sesi Anda tanpa perlu mengonfigurasi parameter koneksi untuk setiap task. Pastikan terdapat koneksi jaringan antara EMR Serverless Spark dan VPC tempat instans StarRocks berada.

Setelah menambahkan katalog, Anda dapat menggunakan identifier tiga bagian dalam SQL untuk membaca dan menulis data di StarRocks. Contohnya: SELECT * FROM <catalogName>.<dbName>.<tableName>;

Catatan

Katalog data StarRocks hanya didukung pada versi engine berikut: esr-4.8.0 atau lebih baru dan esr-5.2.0 atau lebih baru.

Parameter	Description
Catalog Name	Nama untuk katalog data StarRocks. Nama ini, yang harus unik dalam ruang kerja, digunakan untuk mereferensikan katalog dalam SQL.
Normal Network Connection	Koneksi jaringan ke VPC tempat instans StarRocks berada. Pilih koneksi jaringan yang sudah ada dari daftar drop-down. Untuk informasi lebih lanjut, lihat Step 1: Add a network connection. Catatan Semua katalog data yang ditambahkan harus menggunakan koneksi jaringan yang sama. Koneksi yang dipilih untuk katalog pertama akan otomatis digunakan untuk semua katalog berikutnya. Koneksi jaringan ini menjadi default untuk semua sumber daya komputasi yang diluncurkan di ruang kerja dan digunakan untuk menguji konektivitas ke katalog data. Untuk menggunakan koneksi jaringan berbeda untuk katalog data tertentu, Anda harus menentukannya saat mengirim pekerjaan atau membuat session. Koneksi yang ditentukan secara manual memiliki prioritas lebih tinggi.
Endpoint	Alamat akses frontend (FE) untuk StarRocks, seperti `fe--internal.starrocks.aliyuncs.com`.
Query Port	Port kueri FE untuk StarRocks. Biasanya, nilainya adalah 9030.
Username	Username untuk mengakses StarRocks. Pekerjaan Spark menggunakan username ini untuk otentikasi saat membaca atau menulis data StarRocks.
Password	Password untuk username yang ditentukan.

Untuk mempelajari cara membaca dan menulis data StarRocks dalam task Anda, lihat Read from and write to StarRocks.

Katalog data Hologres

Hologres adalah gudang data real-time yang mendukung penulisan real-time throughput tinggi dan analitik real-time pada data berskala besar. Menambahkan katalog data Hologres mendaftarkan metadata instans Hologres di EMR Serverless Spark. Setelah katalog ditambahkan, Anda dapat membaca dan menulis data Hologres langsung dari pekerjaan dan sesi Anda tanpa perlu mengonfigurasi parameter koneksi untuk setiap task. Pastikan terdapat koneksi jaringan antara EMR Serverless Spark dan VPC tempat instans Hologres berada.

Setelah menambahkan katalog, Anda dapat menggunakan identifier tiga bagian dalam SQL untuk membaca dan menulis data di Hologres. Setiap katalog secara ketat terikat pada satu database Hologres, dan akses lintas database tidak didukung. Dengan kata lain, Anda tidak dapat menggunakan satu katalog untuk mengakses beberapa database Hologres. Struktur logis katalog konsisten dengan Hologres:

Spark concept	Hologres concept	Description
Catalog	Database	Contohnya, `hologres_external_test_db` dipetakan ke database `test_db` di Hologres.
Namespace	Schema	Contohnya, `public` atau `test_schema`. Namespace default-nya adalah `public`. Anda dapat menjalankan `USE` untuk beralih ke namespace berbeda.
Table	Table	Anda harus secara eksplisit menentukan tabel sebagai `namespace.table_name` (misalnya, `public.test`), atau jalankan `USE namespace` terlebih dahulu lalu mereferensikan nama tabel secara langsung.

Catatan

Katalog data Hologres hanya didukung pada versi engine berikut: esr-4.9.0 atau lebih baru.

Parameter	Description
Catalog Name	Nama untuk katalog data Hologres. Nama ini, yang harus unik dalam ruang kerja, digunakan untuk mereferensikan katalog dalam SQL.
Normal Network Connection	Koneksi jaringan ke VPC tempat instans Hologres berada. Pilih koneksi jaringan yang sudah ada dari daftar drop-down. Untuk informasi lebih lanjut, lihat Step 1: Add a network connection. Catatan Semua katalog data yang ditambahkan harus menggunakan koneksi jaringan yang sama. Koneksi yang dipilih untuk katalog pertama akan otomatis digunakan untuk semua katalog berikutnya. Koneksi jaringan ini menjadi default untuk semua sumber daya komputasi yang diluncurkan di ruang kerja dan digunakan untuk menguji konektivitas ke katalog data. Untuk menggunakan koneksi jaringan berbeda untuk katalog data tertentu, Anda harus menentukannya saat mengirim pekerjaan atau membuat session. Koneksi yang ditentukan secara manual memiliki prioritas lebih tinggi.
Endpoint	Alamat akses untuk instans Hologres. Anda dapat menemukannya di halaman detail instans di Konsol Hologres.
Query Port	Port untuk instans Hologres. Biasanya, nilainya adalah 80.
Username	Username untuk mengakses Hologres. Pekerjaan Spark menggunakan username ini untuk otentikasi saat membaca atau menulis data Hologres. Untuk akun kustom, gunakan username dalam format `BASIC$<user_name>`. Untuk Akun Alibaba Cloud atau Pengguna RAM, gunakan ID AccessKey.
Password	Password untuk username yang ditentukan. Untuk akun kustom, gunakan password akun tersebut. Untuk Akun Alibaba Cloud atau Pengguna RAM, gunakan AccessKey Secret.

Untuk mempelajari cara membaca dan menulis data Hologres dalam task Anda, lihat Read from and write to Hologres.

Lihat database dan tabel

Pada halaman Catalog, klik ID katalog data.
Semua database dalam katalog data akan ditampilkan.
Pada kolom Actions, klik Table.
Semua tabel dalam database yang dipilih akan ditampilkan.
Pada kolom Actions, klik Field.
Skema dan detail kolom untuk tabel yang dipilih akan ditampilkan.