DataWorks mendukung konfigurasi sumber data Paimon Catalog untuk mengumpulkan dan mengelola metadata tabel Paimon yang tidak dikelola oleh Data Lake Formation (DLF). Sumber data khusus ini membantu Anda menyatukan tata kelola aset data lake Paimon di Data Map. Topik ini menjelaskan cara mengonfigurasi sumber data tersebut.
Pendahuluan
Seiring meningkatnya adopsi arsitektur lakehouse di perusahaan, format tabel terbuka seperti Paimon, Iceberg, dan Delta Lake telah menjadi fondasi utama dalam membangun gudang data real-time serta mendukung skenario pemrosesan aliran-Batch terpadu. Di ekosistem pemrosesan aliran Flink, Paimon Catalog banyak digunakan berkat kompatibilitas natifnya.
DataWorks terintegrasi secara mendalam dengan Data Lake Formation, sehingga mendukung manajemen dan akses terpadu ke tabel data lake melalui sumber data DLF. Misalnya, pengguna dapat mendefinisikan Katalog Paimon menggunakan mesin Flink, dengan metadata dan datanya disimpan di OSS Alibaba Cloud.
Sistem sumber data yang ada belum mampu menemukan atau mengelola secara efektif metadata format lake native seperti ini jika tidak dikelola oleh DLF. Untuk mengatasi hal tersebut, DataWorks memperkenalkan sumber data Paimon Catalog guna mendukung pengumpulan dan tata kelola metadata untuk format data lake native. Fitur ini menutup celah manajemen pada katalog yang dideklarasikan sendiri, sehingga data lakehouse end-to-end menjadi terlihat, dapat dikelola, dan siap digunakan.
Batasan
Konektivitas jaringan: Hanya kelompok sumber daya serverless yang didukung.
Skenario: Katalog Paimon saat ini hanya digunakan untuk Collect Metadata dan tata kelola. Fitur ini tidak mendukung tugas integrasi dan sinkronisasi data. Untuk membaca dan menulis ke tabel Paimon demi keperluan sinkronisasi data, gunakan sumber data lain, seperti DLF atau OSS.
Prosedur
1. Buka halaman Data Sources
Masuk ke Konsol DataWorks dan beralih ke wilayah target. Di bilah navigasi kiri, klik Workspace, lalu klik Manage di kolom Actions workspace target untuk membuka halaman manajemen.
Di halaman pusat manajemen workspace, klik Data Sources di bilah navigasi kiri untuk membuka halaman Data Source.
2. Tambahkan sumber data Paimon Catalog
Di halaman Data Sources, klik Add Data Source.
Di kotak dialog Add Data Source, cari dan pilih Paimon Catalog.
3. Konfigurasikan parameter
Konfigurasikan parameter berikut:
Parameter | Deskripsi |
Data Source Name | Tentukan nama sumber data kustom, misalnya |
Catalog | Nama katalog untuk koneksi, misalnya |
MetaStore | Jenis penyimpanan katalog. Saat ini, hanya Filesystem yang didukung. |
Filesystem | Jenis penyimpanan file. Saat ini, hanya OSS yang didukung. |
Access Mode |
|
Region | Pilih bucket di wilayah yang sama dengan workspace untuk performa optimal. Untuk sumber data cross-region, buat Koneksi peering VPC. Untuk detailnya, lihat Connect to a data source in a different region under the same Alibaba Cloud account. Atau, hubungkan menggunakan titik akhir publik. |
Endpoint | Untuk informasi konfigurasi endpoint, lihat Access domain names and data centers. |
Warehouse | Warehouse path: Path penyimpanan Katalog Paimon di OSS.
|
di sebelah kanan kotak input untuk memilih path dari daftar.4. Uji konektivitas
Setelah mengonfigurasi sumber data, jalankan uji konektivitas untuk memverifikasi koneksi antara sumber data dan kelompok sumber daya.
Jika ditampilkan Connected, konfigurasi sudah benar.
Jika ditampilkan Connection failed., tool diagnostik akan terbuka untuk membantu Anda melakukan troubleshooting. Penyebab umum meliputi kredensial salah, masalah konektivitas jaringan seperti daftar putih alamat IP yang belum dikonfigurasi, atau gerbang NAT yang tidak tersedia.
Dalam mode standar, Anda harus memastikan bahwa baik lingkungan pengembangan maupun lingkungan produksi berstatus Connected. Jika tidak, kesalahan akan terjadi selama operasi berikutnya seperti pengumpulan metadata.
Langkah berikutnya
Setelah menambahkan sumber data, buka modul Data Map untuk mengumpulkan metadata. Anda kemudian dapat melihat dan mengelola metadata tersebut.