Manajemen metadata merupakan bagian kritis dalam membangun data lake. Manajemen metadata terpusat yang efektif membantu Anda memaksimalkan nilai aset data Anda. Topik ini menjelaskan cara mengelola database, tabel, dan fungsi di Data Lake Formation (DLF).
Database
Create a database
Masuk ke Konsol Data Lake Formation (DLF).
Pada panel navigasi kiri, pilih .
Klik tab Database, pilih Catalogs yang dituju, lalu klik Create Database.
Konfigurasikan parameter database tersebut, lalu klik OK.
Parameter
Description
Catalog
Pilih data catalog tempat Anda ingin membuat database.
Name
Masukkan nama untuk database.
Description
Opsional. Masukkan deskripsi untuk database.
Select the path.
Tentukan path Object Storage Service (OSS) untuk menyimpan metadata. Menyimpan metadata di OSS menjamin keamanan dan keandalan data, serta menyederhanakan manajemen dan maintenance.
CatatanHanya bucket OSS yang menggunakan Standard storage yang didukung. Jika tidak ada bucket Standard storage di wilayah saat ini, buat satu di Konsol OSS.
View database details
Klik tab Database.
Pada daftar database, klik nama database untuk melihat Basic Information-nya.
Klik tab yang sesuai untuk melihat Tables, Functions, Data Permission, Overview, dan Storage Rule untuk database tersebut.
Edit a database
Klik tab Database dan pilih Catalogs yang dituju.
Pada kolom Actions untuk database tersebut, klik Modify.
Ubah informasi yang diperlukan, lalu klik Update.
Description: Masukkan deskripsi untuk database.
Select the path.: Masukkan lokasi database.
Delete a database
Klik tab Database dan pilih Catalogs yang dituju.
Pada kolom Actions untuk database tersebut, klik Delete.
Pada kotak dialog konfirmasi, klik Delete.
DLF membuat database
defaultyang tidak dapat dihapus. Disarankan menggunakan database lain untuk lingkungan produksi.Menghapus database di Konsol DLF hanya menghapus metadatanya, bukan data yang tersimpan di OSS. Untuk menghapus data dasarnya, Anda harus menjalankan operasi
Drop Databasedari E-MapReduce atau MaxCompute.
Tables
Create a table
Setelah membuat database, klik tab Data Table. Pilih Catalogs dan Database Name yang dituju, lalu klik Create Table.
Konfigurasikan parameter tabel tersebut, lalu klik OK.
Parameter
Description
Table Name
Masukkan nama untuk tabel.
Catalog
Pilih data catalog untuk tabel tersebut.
Database:
Pilih database dalam data catalog tersebut.
Table Description
Opsional. Masukkan deskripsi untuk tabel.
Data Storage Location
Pilih lokasi penyimpanan untuk data tabel.
Lokasi penyimpanan default yang direkomendasikan adalah
oss://[database_location]/[table_name].Format and Serialization
Pilih format data tabel. Format yang didukung mencakup Avro, CSV, JSON, Parquet, dan ORC.
Delimiter
Opsional. Jika Anda memilih format CSV, tentukan delimiter.
Common Column
Definisikan secara manual kolom dan kunci partisi tabel. Tentukan nama, tipe data, dan deskripsi untuk masing-masing.
Partition Key Column
View table details
Klik tab Data Table.
Pada daftar tabel, klik nama tabel untuk melihat Basic Information-nya.
Klik tab yang sesuai untuk melihat Data Permission, Overview, Version Management, dan Storage Rule untuk tabel tersebut.
Untuk informasi selengkapnya tentang Overview tabel, lihat Tabel - ikhtisar data.
Edit a table
Klik tab Data Table, lalu pilih Catalogs dan Database Name yang dituju.
Pada kolom Actions untuk tabel tersebut, klik Modify.
Ubah informasi tabel tersebut, lalu klik Update.
Delete a table
Klik tab Data Table, lalu pilih Catalogs dan Database Name yang dituju.
Pada kolom Actions untuk tabel tersebut, klik Delete.
Pada kotak dialog konfirmasi, klik Delete.
Menghapus tabel di Konsol DLF hanya menghapus metadatanya, bukan data yang tersimpan di OSS. Untuk menghapus data dasarnya, Anda harus menjalankan operasi Drop Table dari E-MapReduce atau MaxCompute.
Functions
Create a function
Pada panel navigasi kiri, pilih .
Klik tab Function. Pilih Catalogs dan Database Name yang dituju, lalu klik Create Function.
Konfigurasikan parameter fungsi tersebut, lalu klik OK.
Parameter
Description
Function Name
Masukkan nama untuk fungsi.
Function Type
Hanya JAVA yang didukung.
Catalog
Pilih data catalog untuk fungsi tersebut.
Database:
Pilih database dalam data catalog tersebut.
Class Name
Opsional. Masukkan nama kelas.
Resource URI
Opsional. Klik Add, lalu masukkan Type dan URI. Jenis resource yang didukung adalah JAR, FILE, dan ARCHIVE.
View function details
Klik tab Function, lalu pilih Catalogs dan Database Name yang dituju.
Pada daftar fungsi, klik nama fungsi untuk melihat Basic Information-nya.
Edit a function
Klik tab Function, lalu pilih Catalogs dan Database Name yang dituju.
Pada kolom Actions untuk fungsi tersebut, klik Modify.
Ubah Class Name, lalu klik OK.
Delete a function
Klik tab Function, lalu pilih Catalogs dan Database Name yang dituju.
Pada kolom Actions untuk fungsi tersebut, klik Delete.
Pada kotak dialog konfirmasi, klik Delete.