Manajemen metadata adalah elemen penting dalam membangun data lake. Manajemen metadata terpusat yang efektif dapat meningkatkan nilai aset data. Topik ini menjelaskan operasi terkait database, tabel, dan fungsi dalam pembentukan data lake.
Database
Buat database
Masuk ke Konsol Pembentukan Data Lake.
Di panel navigasi sebelah kiri, pilih .
Klik tab Database, pilih Catalog List target, lalu klik Create Database.
Konfigurasikan informasi database berikut, lalu klik OK.
Parameter
Deskripsi
Catalog
Pilih katalog data.
Database Name
Masukkan nama database.
Database Description
Opsional. Masukkan deskripsi database.
Select Path
Tentukan jalur Object Storage Service (OSS). Anda dapat menyimpan metadata di OSS untuk memastikan keamanan dan keandalan metadata. Ini memungkinkan Anda mengelola dan memelihara metadata secara terpusat.
CatatanHanya Bucket OSS dengan kelas penyimpanan Standar yang didukung. Jika Bucket OSS dengan kelas penyimpanan Standar belum dibuat di wilayah saat ini, buat Bucket OSS di Konsol OSS.
Lihat detail database
Klik tab Database.
Dalam daftar database, klik nama database target untuk melihat Basic Information dari database tersebut.
Klik tab yang sesuai untuk melihat Table List, Functions, Data Permission, Data Overview, dan Storage Rule dari database.
Edit database
Klik tab Database, lalu pilih Catalog List target.
Temukan database target, lalu klik Edit di kolom Actions.
Ubah informasi berikut, lalu klik Update.
Database Description: Masukkan deskripsi database.
Select Path: Masukkan lokasi database.
Hapus database
Klik tab Database, lalu pilih Catalog List target.
Temukan database target, lalu klik Delete di kolom Actions.
Di kotak dialog pop-up, klik Delete.
Database default dibuat secara otomatis di DLF dan tidak dapat dihapus. Kami menyarankan menggunakan database lain dalam lingkungan produksi.
Menghapus database di halaman DLF tidak akan menghapus data yang disimpan di OSS. Untuk menghapus data, eksekusi operasi Drop Database dari sisi E-MapReduce/MaxCompute.
Tabel
Buat tabel
Setelah membuat database, klik tab Table, pilih Catalog List target dan Database Name, lalu klik Create Table.
Konfigurasikan informasi tabel berikut, lalu klik OK.
Parameter
Deskripsi
Table Name
Masukkan nama tabel.
Catalog
Pilih katalog data.
Database
Pilih database di bawah katalog data.
Table Description
Opsional. Masukkan deskripsi tabel.
Data Storage Location
Pilih lokasi tempat data dalam tabel disimpan.
Kami merekomendasikan lokasi penyimpanan default adalah
oss://[Lokasi Penyimpanan Database]/[Nama Tabel].Format and Serialization
Pilih format data tabel. Format Avro, CSV, JSON, Parquet, dan ORC didukung.
Delimiter
Opsional. Saat format data adalah CSV, pilih pemisah untuk tabel.
Common Column
Tentukan kolom umum dan kolom kunci partisi tabel secara manual. Tentukan informasi kolom, termasuk nama kolom, tipe data, dan deskripsi.
Partition Key Column
Lihat detail tabel
Klik tab Table.
Dalam daftar tabel, klik nama tabel target untuk melihat Basic Information dari tabel tersebut.
Klik tab yang sesuai untuk melihat Data Permission, Data Overview, Version Management, dan Storage Rule dari tabel.
Untuk detail tentang Data Overview dari tabel, lihat Ikhtisar Data Tabel.
Edit tabel
Klik tab Table, lalu pilih Catalog List target dan Database Name.
Temukan tabel target, lalu klik Edit di kolom Actions.
Ubah informasi tabel, lalu klik Update.
Hapus tabel
Klik tab Table, lalu pilih Catalog List target dan Database Name.
Temukan tabel target, lalu klik Delete di kolom Actions.
Di kotak dialog pop-up, klik Delete.
Menghapus tabel di halaman DLF tidak akan menghapus data yang disimpan di OSS. Untuk menghapus data, eksekusi operasi Drop Table dari sisi E-MapReduce/MaxCompute.
Fungsi
Buat fungsi
Di panel navigasi sebelah kiri, pilih .
Klik tab Function, pilih Catalog List target dan Database Name, lalu klik Create Function.
Konfigurasikan informasi fungsi berikut, lalu klik OK.
Parameter
Deskripsi
Function Name
Masukkan nama fungsi.
Function Type
Atur parameter ini ke JAVA.
Catalog
Pilih katalog data.
Database
Pilih database di bawah katalog data.
Class Name
Opsional. Masukkan nama kelas.
Resource URI
Opsional. Klik Add Column, dan masukkan Type dan URI. Jenis sumber daya mendukung JAR, FILE, dan ARCHIVE.
Lihat detail fungsi
Klik tab Function, lalu pilih Catalog List target dan Database Name.
Dalam daftar fungsi, klik nama fungsi target untuk melihat informasi dasar fungsi tersebut.
Edit fungsi
Klik tab Function, lalu pilih Catalog List target dan Database Name.
Temukan fungsi target, lalu klik Edit di kolom Actions.
Konfigurasikan informasi Class Name, lalu klik OK.
Hapus fungsi
Klik tab Function, lalu pilih Catalog List target dan Database Name.
Temukan fungsi target, lalu klik Delete di kolom Actions.
Di kotak konfirmasi pop-up, klik Delete.