Katalog data menyediakan antarmuka terpadu untuk mengelola metadata Hive. Topik ini menjelaskan cara membuat dan mengelola objek tabel di katalog data.
Buka halaman Hive katalog data
Buka halaman Ruang Kerja di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan, lalu pilih di kolom Actions.
Di panel navigasi sebelah kiri, klik ikon
. Di pohon Data Catalog, klik Hive untuk membuka halaman manajemen katalog data Hive.
Buat katalog data Hive
Di halaman manajemen katalog data Hive, Anda dapat menambahkan sumber data Hive yang sudah ada ke katalog data sebagai set data.
Di sebelah kanan katalog data Hive, klik ikon
untuk membuka halaman Tambah Instans.Di tab DataWorks Data Source, tambahkan sumber data Hive ke katalog data.
Untuk mengelola sumber daya komputasi EMR yang disambungkan untuk Data Studio baru di ruang kerja saat ini, temukan sumber data kluster EMR yang sesuai di tab DataWorks Data Source, lalu klik Add di kolom Actions.
Atau, di tab DataWorks Data Source, Anda dapat memilih beberapa sumber data Hive, lalu klik Batch Add di bawah daftar.
Kelola katalog data Hive
Anda dapat menambahkan dan mengelola tabel Hive di katalog data Hive.
Buat tabel
Klik ikon
di sebelah katalog data Hive untuk menemukan Tables di bawah database.Di sebelah kanan Tables, klik ikon
untuk membuka halaman Create Table.Anda dapat menghasilkan informasi dasar tabel dan bidang dengan salah satu cara berikut.
Buat tabel menggunakan Copilot:
Di bilah alat di bagian atas halaman, klik Create Table With Copilot untuk membuka antarmuka obrolan Copilot.
Masukkan instruksi dalam bahasa alami untuk membuat tabel. Misalnya,
Create a user table.Klik Generate And Replace. Sistem akan menghasilkan nama tabel dan informasi bidang default berdasarkan instruksi Anda.
Jika nama tabel dan bidang sesuai harapan Anda, klik Accept.
CatatanUntuk memodifikasi informasi tabel, Anda dapat mengedit secara manual informasi yang dihasilkan sistem setelah mengklik Accept.
Buat tabel secara manual:
Anda dapat membuat tabel berdasarkan deskripsi parameter.
Parameter
Deskripsi
Informasi Dasar
Tentukan Table Name, Table Description, dan informasi lainnya secara kustom.
Informasi Bidang
Edit bidang dan anotasi bidang.
Edit secara manual: Di atas daftar informasi bidang, klik Insert. Tentukan jumlah baris yang akan dimasukkan, lalu edit Field Name, Field Type, dan informasi lainnya.
Edit dengan Copilot: Di atas daftar informasi bidang, klik Generate Fields atau Generate Field Descriptions. Sistem akan menghasilkan bidang dan deskripsi terkait berdasarkan nama dan deskripsi tabel yang Anda tetapkan.
(Opsional) Konfigurasi informasi partisi.
Untuk membuat tabel partisi, di bagian Partition Fields, tentukan jumlah bidang partisi untuk Rows, lalu klik Insert. Beberapa partisi didukung. Di daftar bidang partisi, konfigurasikan Field Name, Field Type, dan parameter lainnya sesuai kebutuhan.
(Opsional) Konfigurasi pengaturan lanjutan.
Parameter
Deskripsi
Tipe Tabel
Hanya Internal Table yang didukung.
Lokasi Penyimpanan
Anda dapat menentukan folder penyimpanan kustom untuk tabel tersebut. Contoh:
/user/hive/warehouse/hive_work.Format Penyimpanan
Anda dapat mengatur format penyimpanan menjadi CSV, PARQUET, ORC, AVRO, JSON, atau SELF_DEFINE. Sistem secara otomatis menentukan format input data, format output, serta metode serialisasi dan deserialisasi berdasarkan format penyimpanan yang dipilih.
CSV: Berkas teks yang dipisahkan koma, cocok untuk struktur data sederhana.
PARQUET: Format penyimpanan kolom dengan rasio kompresi tinggi, cocok untuk analisis data besar.
ORC: Format penyimpanan kolom yang dioptimalkan dengan performa unggul yang mendukung tipe data kompleks.
AVRO: Format biner yang mendukung evolusi skema, cocok untuk struktur data dinamis.
JSON: Mendukung struktur bersarang, cocok untuk data semi-terstruktur.
SELF_DEFINE: Memungkinkan Anda menentukan logika serialisasi dan deserialisasi kustom.
Setelah menyelesaikan konfigurasi, klik Publish di bilah alat atas untuk membuat tabel.
Kelola tabel
Setelah membuat tabel di katalog data Hive, klik ikon
di sebelah kiri katalog data Hive, lalu klik Tables untuk membuka halaman Tables.
Lihat tabel.
Di halaman Tables, Anda dapat melihat informasi dasar semua tabel. Anda juga dapat mengklik nama tabel tertentu untuk melihat informasi Details, Basic Information, dan DDL-nya.
Hapus tabel.
Di halaman Tables, temukan tabel yang ingin dihapus, lalu klik Delete di kolom Actions.
PentingOperasi ini tidak dapat dibatalkan. Lakukan dengan hati-hati.
Lihat dan hapus katalog data Hive
Jika Anda tidak lagi memerlukan katalog data Hive, Anda dapat melihat dan menghapusnya.
Lihat katalog data.
Setelah menambahkan sumber data Hive ke katalog data Hive, Anda dapat mengklik ikon
di sebelah kiri katalog data Hive untuk melihat sumber data Hive yang telah ditambahkan.Klik sumber data Hive untuk melihat semua Databases di instans Hive tersebut.
Anda dapat melepas sambungan proyek.
Jika Anda tidak lagi perlu mengelola katalog data Hive, klik kanan katalog tersebut, lalu pilih Detach Data Catalog dari menu yang muncul.