DataWorks：Pengumpulan metadata

Crawler default MaxCompute

Crawler ini mengumpulkan metadata dari proyek MaxCompute dalam akun Anda. Di halaman detail, gunakan Modify Data Scope untuk memilih proyek dan Permission Configurations untuk mengatur visibilitas metadata dalam penyewa.

1. Di bagian Built-in pada halaman pengumpulan metadata, temukan kartu MaxCompute Default Crawler dan klik Details.

2. Halaman detail MaxCompute Default Crawler berisi tab Basic Information dan Data Scope.

   • Basic Information: Menampilkan atribut dasar crawler, seperti jenis dan mode pengumpulan. Informasi ini hanya bisa dibaca.

   • Data Scope: Mengelola proyek MaxCompute mana yang akan dikumpulkan.

3. Ubah cakupan pengumpulan:

   1. Klik Data Scope lalu klik Modify Data Scope.

   2. Pada kotak dialog, pilih atau hapus centang proyek MaxCompute yang ingin dikumpulkan.

      Penting

      Cakupan default mencakup semua proyek MaxCompute yang terikat ke ruang kerja dalam wilayah saat ini di bawah penyewa saat ini. Setelah cakupan diubah, hanya objek metadata dalam cakupan tersebut yang akan terlihat di Data Map. Metadata yang tidak dipilih akan menjadi tidak terlihat.

   3. Klik OK untuk menyimpan perubahan.

4. Konfigurasi visibilitas metadata:

   • Di daftar Data Scope, temukan proyek target dan klik Actions di kolom Permission Configurations.

   • Pilih kebijakan visibilitas sesuai kebutuhan tata kelola data Anda:

     • Public Within Tenant: Semua anggota dalam penyewa dapat mencari dan melihat metadata proyek ini.

     • Only members in the associated workspace can search and view.: Hanya anggota ruang kerja tertentu yang dapat mengakses metadata proyek ini, sehingga memastikan isolasi data.

DLF Default Crawler

Crawler default DLF mengumpulkan metadata dari Data Lake Formation (DLF) dalam akun Anda.

1. Di bagian Built-in pada halaman pengumpulan metadata, temukan kartu DLF Default Crawler dan klik Details untuk melihat informasi dasar.

2. Klik tab Data Scope untuk melihat daftar Catalog DLF yang termasuk dalam cakupan pengumpulan beserta jumlah tabelnya.

   Secara default, semua Catalog yang dapat diakses (termasuk versi DLF dan DLF-Legacy) akan dikumpulkan.

Buat crawler kustom

1. Di bagian daftar crawler kustom pada halaman pengumpulan metadata, klik Create Metadata Collection.

2. Pilih jenis pengumpulan: Di halaman pemilihan jenis, pilih jenis sumber data target yang ingin dikumpulkan, misalnya Hologres atau StarRocks.

3. Konfigurasi informasi dasar dan kelompok sumber daya:

   • Basic Configurations:

     • Select Workspace: Pilih ruang kerja yang berisi sumber data.

     • Select Data Source: Pilih sumber data target yang telah dibuat dari daftar drop-down. Setelah dipilih, sistem akan menampilkan detail sumber data secara otomatis.

     • Name: Masukkan nama crawler untuk identifikasi di masa depan. Nama default sama dengan nama sumber data.

   • Resource Group Configuration:

     • Resource Group: Pilih kelompok sumber daya untuk menjalankan tugas pengumpulan.

     • Test Network Connectivity: Langkah ini sangat penting. Klik Test Network Connectivity untuk memastikan kelompok sumber daya dapat mengakses sumber data dengan sukses.

       Penting

       • Periksa apakah sumber data memiliki pembatasan daftar putih. Jika Anda perlu mengumpulkan metadata dengan kontrol akses daftar putih yang diaktifkan, lihat Overview of network connectivity solutions dan Configure a whitelist untuk mengonfigurasi izin daftar putih.

       • Jika sumber data tidak memiliki pembatasan daftar putih, lihat Network connectivity and operations on resource groups untuk konfigurasi konektivitas jaringan.

       • Jika uji konektivitas gagal dengan error: backend service call failed: test connectivity failed.not support data type, hubungi dukungan teknis untuk meningkatkan kelompok sumber daya.

4. Konfigurasi pengumpulan metadata:

   • Collection Scope: Tentukan database (Database/Schema) yang akan dikumpulkan. Jika sumber data bersifat granular berbasis database, database yang sesuai akan dipilih secara default. Anda dapat memilih database tambahan di luar sumber data tersebut.

     Penting

     • Satu database hanya dapat dikonfigurasi dalam satu crawler. Jika database tidak dapat dipilih, artinya database tersebut sedang dikumpulkan oleh crawler lain.

     • Jika Anda mempersempit cakupan pengumpulan, metadata di luar cakupan tersebut tidak akan dapat dicari di Data Map.

5. Konfigurasi Pengaturan Peningkatan Cerdas dan Rencana Pengumpulan:

   • Intelligent Enhancement Settings (Beta):

     • AI Collection Description: Saat diaktifkan, sistem menggunakan LLM untuk secara otomatis menghasilkan deskripsi bisnis untuk tabel dan field Anda setelah pengumpulan metadata, sehingga sangat meningkatkan keterbacaan dan kegunaan metadata. Setelah pengumpulan selesai, Anda dapat melihat informasi yang dihasilkan AI (seperti keterangan tabel dan deskripsi field) di halaman detail objek tabel di Data Map.

   • Collection Plan:

     • Trigger Mode: Pilih Manual atau Periodic.

       • Manual: Crawler hanya berjalan saat dipicu secara manual. Ini berlaku untuk pengumpulan sekali pakai atau berdasarkan permintaan.

       • Periodic: Konfigurasikan tugas terjadwal (misalnya bulanan, harian, mingguan, atau per jam). Sistem akan memperbarui metadata secara berkala.

         Untuk mengonfigurasi tugas terjadwal tingkat menit, pilih pengumpulan per jam dan centang semua opsi menit untuk mencapai interval tugas 5 menit.

         Penting

         Pengumpulan periodik hanya didukung untuk sumber data lingkungan produksi.

6. Simpan konfigurasi: Klik Save atau Save and Run untuk menyelesaikan pembuatan crawler.

Kelola crawler kustom

Setelah crawler dibuat, crawler tersebut akan muncul di daftar kustom. Anda dapat melakukan operasi manajemen berikut:

• Operasi daftar: Di daftar, Anda dapat langsung Run, Stop, atau Delete crawler tersebut. Gunakan fitur Filter dan Search di bagian atas untuk menemukan crawler target dengan cepat.

  Penting

  Menghapus crawler metadata akan menghapus objek metadata yang dikumpulkannya dari Data Map. Pengguna tidak dapat mencari atau melihat objek tersebut lagi. Peringatan: Tindakan ini tidak dapat dikembalikan.

• Lihat detail dan log: Klik nama crawler untuk melihat detailnya.

  • Basic Information: Lihat semua item konfigurasi crawler.

  • Data Scope: Lihat atau Modify Data Scope.

    Jika dilihat sebelum pengumpulan, jumlah tabel dan waktu pembaruan terakhir akan kosong.

    Sumber data berikut tidak mendukung modifikasi cakupan: EMR Hive, CDH Hive, Lindorm, ElasticSearch, Tablestore (OTS), MongoDB, dan AnalyticDB for Spark dalam AnalyticDB for MySQL.

  • Run Logs: Lacak riwayat eksekusi setiap tugas pengumpulan. Anda dapat melihat waktu mulai, durasi, status, dan volume data yang dikumpulkan. Saat tugas gagal, mengklik View Logs merupakan titik masuk utama untuk menemukan dan menyelesaikan masalah.

• Jalankan pengumpulan secara manual: Di pojok kanan atas, klik Collect Metadata untuk segera memicu tugas pengumpulan. Gunakan ini untuk segera melihat tabel yang baru dibuat di Data Map.

Tabel data

Kode tugas

Data Map mendukung pencarian kode dan lokasi cepat. Tabel berikut menjelaskan cakupan yang didukung.

Aset API

Data Map mendukung penayangan metadata API DataService Studio:

Aset AI

Data Map mendukung penayangan dan pengelolaan aset AI, serta menyediakan alur data aset AI untuk melacak asal, penggunaan, dan evolusi data serta model. Tabel berikut menjelaskan dukungan untuk aset AI.

Workspace

Data Map mendukung penayangan metadata ruang kerja: