OpenLake：Akuisisi metadata

DLF Default Crawler

DLF Default Crawler mengumpulkan metadata dari Data Lake Formation (DLF) dalam akun Anda.

1. Di bagian Built-in pada halaman pengumpulan metadata, temukan kartu DLF Default Crawler dan klik Details untuk melihat informasi dasar.

2. Klik tab Data Scope untuk melihat daftar Katalog DLF yang termasuk dalam cakupan pengumpulan beserta jumlah tabelnya.

   Secara default, semua Katalog yang dapat diakses (termasuk versi DLF dan DLF-Legacy) dikumpulkan.

Buat crawler kustom

1. Di bagian daftar crawler kustom pada halaman pengumpulan metadata, klik Create Metadata Collection.

2. Pilih jenis pengumpulan: Pada halaman pemilihan jenis, pilih jenis sumber data target yang akan dikumpulkan, misalnya Hologres atau StarRocks.

3. Konfigurasikan informasi dasar dan kelompok sumber daya:

   • Basic Configurations:

     • Select Workspace: Pilih ruang kerja yang berisi sumber data.

     • Select Data Source: Pilih sumber data target yang telah dibuat dari daftar drop-down. Setelah dipilih, sistem akan menampilkan detail sumber data secara otomatis.

     • Name: Masukkan nama crawler untuk identifikasi di masa depan. Nama default sama dengan nama sumber data.

   • Resource Group Configuration:

     • Resource Group: Pilih kelompok sumber daya untuk menjalankan tugas pengumpulan.

     • Test Network Connectivity: Langkah ini sangat penting. Klik Test Network Connectivity untuk memastikan kelompok sumber daya dapat mengakses sumber data dengan sukses.

       Penting

       • Periksa apakah sumber data memiliki pembatasan daftar putih. Jika Anda perlu mengumpulkan metadata dengan kontrol akses daftar putih yang diaktifkan, lihat Overview of network connectivity solutions dan Configure a whitelist untuk mengonfigurasi izin daftar putih.

       • Jika sumber data tidak memiliki pembatasan daftar putih, lihat Network connectivity and operations on resource groups untuk konfigurasi konektivitas jaringan.

       • Jika uji konektivitas gagal dengan error: backend service call failed: test connectivity failed.not support data type, hubungi dukungan teknis untuk meningkatkan kelompok sumber daya.

4. Konfigurasikan pengumpulan metadata:

   • Collection Scope: Tentukan database (Database/Schema) yang akan dikumpulkan. Jika sumber data bersifat granular berbasis database, database yang sesuai akan dipilih secara default. Anda dapat memilih database tambahan di luar sumber data tersebut.

     Penting

     • Satu database hanya dapat dikonfigurasi dalam satu crawler. Jika database tidak dapat dipilih, artinya database tersebut sedang dikumpulkan oleh crawler lain.

     • Jika Anda mempersempit cakupan pengumpulan, metadata di luar cakupan tersebut tidak dapat dicari di Data Map.

5. Konfigurasikan Pengaturan Peningkatan Cerdas dan Rencana Pengumpulan:

   • Intelligent Enhancement Settings (Beta):

     • AI Collection Description: Saat diaktifkan, sistem menggunakan LLM untuk secara otomatis menghasilkan deskripsi bisnis untuk tabel dan bidang Anda setelah pengumpulan metadata, sehingga sangat meningkatkan keterbacaan dan kegunaan metadata. Setelah pengumpulan selesai, Anda dapat melihat informasi yang dihasilkan AI (seperti keterangan tabel dan deskripsi bidang) pada halaman detail objek tabel di Data Map.

   • Collection Plan:

     • Trigger Mode: Pilih Manual atau Periodic.

       • Manual: Crawler hanya berjalan saat dipicu secara manual. Cocok untuk pengumpulan satu kali atau sesuai permintaan.

       • Periodic: Konfigurasikan tugas terjadwal (misalnya bulanan, harian, mingguan, atau per jam). Sistem akan secara otomatis memperbarui metadata secara berkala.

         Untuk mengonfigurasi tugas terjadwal dengan interval per menit, pilih pengumpulan per jam dan centang semua opsi menit untuk mencapai interval tugas 5 menit.

         Penting

         Pengumpulan periodik hanya didukung untuk sumber data di lingkungan produksi.

6. Simpan konfigurasi: Klik Save atau Save and Run untuk menyelesaikan pembuatan crawler.

Kelola crawler kustom

Setelah crawler dibuat, crawler tersebut akan muncul di daftar kustom. Anda dapat melakukan operasi manajemen berikut:

• Operasi daftar: Di daftar, Anda dapat langsung Run, Stop, atau Delete crawler tersebut. Gunakan fitur Filter dan Search di bagian atas untuk menemukan crawler target dengan cepat.

  Penting

  Menghapus crawler metadata akan menghapus objek metadata yang telah dikumpulkannya dari Data Map. Pengguna tidak dapat mencari atau melihat objek-objek tersebut. Peringatan: Tindakan ini tidak dapat dikembalikan.

• Lihat detail dan log: Klik nama crawler untuk melihat detailnya.

  • Basic Information: Lihat semua item konfigurasi crawler.

  • Data Scope: Lihat atau Modify Data Scope.

    Jika dilihat sebelum pengumpulan, jumlah tabel dan waktu pembaruan terakhir akan kosong.

    Sumber data berikut tidak mendukung modifikasi cakupan: EMR Hive, CDH Hive, Lindorm, ElasticSearch, Tablestore (OTS), MongoDB, dan AnalyticDB for Spark dalam AnalyticDB for MySQL.

  • Run Logs: Lacak riwayat eksekusi setiap tugas pengumpulan. Anda dapat melihat waktu mulai, durasi, status, dan volume data yang dikumpulkan. Saat tugas gagal, klik View Logs sebagai titik masuk utama untuk menemukan dan menyelesaikan masalah.

• Jalankan pengumpulan secara manual: Di pojok kanan atas, klik Collect Metadata untuk segera memicu tugas pengumpulan. Gunakan ini untuk segera melihat tabel baru yang dibuat di Data Map.