DataWorks:Pengumpulan metadata

MaxCompute default crawler

Crawler ini mengumpulkan metadata dari proyek MaxCompute di bawah akun Anda. Anda dapat membuka halaman detail, klik Modify Data Scope untuk memilih proyek yang akan dikumpulkan, dan klik Permission Configurations untuk mengonfigurasi visibilitas metadata dalam penyewa.

1. Di bagian Built-in pada halaman pengumpulan metadata, temukan kartu MaxCompute Default Crawler dan klik Details.

2. Halaman detail MaxCompute Default Crawler terdiri dari dua tab: Basic Information dan Data Scope.

   • Basic Information: Menampilkan properti dasar crawler, seperti jenis dan metode pengumpulan. Informasi ini hanya bisa dibaca.

   • Data Scope: Mengelola proyek MaxCompute mana saja yang dikumpulkan metadata-nya oleh crawler ini.

3. Ubah cakupan pengumpulan:

   1. Beralih ke tab Data Scope dan klik tombol Modify Data Scope.

   2. Pada dialog yang muncul, pilih atau hapus centang proyek MaxCompute yang ingin Anda kumpulkan metadata-nya.

      Penting

      Secara default, cakupan mencakup semua proyek MaxCompute yang terkait dengan ruang kerja di wilayah saat ini di bawah penyewa Anda. Setelah Anda mengubah cakupan data, objek metadata yang dikumpulkan di Data Map akan sesuai dengan cakupan terbaru. Metadata dari proyek yang dihapus tidak akan terlihat.

   3. Klik OK untuk menyimpan perubahan.

4. Konfigurasi visibilitas metadata:

   • Di daftar Data Scope, temukan proyek target dan klik Permission Configurations di kolom Actions.

   • Pilih kebijakan visibilitas sesuai kebutuhan tata kelola data Anda:

     • Public Within Tenant: Semua anggota dalam penyewa dapat mencari dan melihat metadata proyek ini.

     • Only members in the associated workspace can search and view.: Hanya anggota ruang kerja tertentu yang dapat mengakses metadata proyek ini, sehingga menjamin isolasi data.

DLF default crawler

Untuk mengaktifkan pengumpulan metadata DLF secara real-time, Anda harus memberikan izin Data Reader kepada peran terkait layanan AliyunServiceRoleForDataworksOnEmr di konsol DLF.

DLF Default Crawler mengumpulkan metadata dari Data Lake Formation (DLF) di bawah akun Anda.

1. Di bagian Built-in pada halaman pengumpulan metadata, temukan kartu DLF Default Crawler dan klik Details untuk melihat informasi dasar.

2. Beralih ke tab Data Scope untuk melihat daftar Katalog DLF yang termasuk dalam cakupan pengumpulan dan jumlah tabel yang dikandungnya.

   Secara default, semua katalog yang dapat diakses (termasuk DLF dan DLF-Legacy) dikumpulkan.

Create Custom Crawler

1. Di bagian daftar crawler kustom pada halaman pengumpulan metadata, klik Create Metadata Crawler.

2. Pilih jenis pengumpulan: Di halaman pemilihan jenis, pilih jenis sumber data target yang akan dikumpulkan, misalnya Hologres atau StarRocks.

3. Konfigurasi pengaturan dasar dan kelompok sumber daya:

   • Basic Configurations:

     • Select a workspace: Pilih ruang kerja yang berisi sumber data.

     • Select Data Source: Pilih sumber data target yang telah dibuat sebelumnya dari daftar drop-down. Setelah dipilih, sistem secara otomatis menampilkan detail sumber data tersebut.

     • Name: Beri nama crawler agar mudah diidentifikasi nanti. Secara default, nama crawler sama dengan nama sumber data.

   • Resource Group Configuration:

     • Resource Group: Pilih kelompok sumber daya untuk menjalankan tugas pengumpulan.

     • Test Network Connectivity: Langkah ini sangat penting. Klik Test Network Connectivity untuk memastikan kelompok sumber daya dapat mengakses sumber data.

       Penting

       • Periksa apakah sumber data memiliki pembatasan daftar izin yang diaktifkan. Jika Anda perlu mengumpulkan metadata dari sumber data dengan kontrol akses berbasis daftar izin, lihat Add resource group IP addresses to the allowlist dan Configure an allowlist for a data source untuk mengonfigurasi izin daftar izin.

       • Jika sumber data tidak memiliki pembatasan daftar izin yang diaktifkan, lihat Configure network connectivity for a data source untuk menyiapkan konektivitas jaringan sumber data.

       • Jika uji konektivitas mengembalikan error Backend service call failed: test connectivity failed.not support data type, hubungi dukungan teknis untuk meningkatkan kelompok sumber daya.

4. Konfigurasi pengumpulan metadata:

   • Collection Scope: Tentukan database (database/schema) yang akan dikumpulkan. Jika sumber data berada pada granularitas database, database yang sesuai dengan sumber data dipilih secara default. Anda dapat memilih database tambahan di luar sumber data tersebut.

     Penting

     • Setiap database hanya dapat dikonfigurasi dalam satu crawler. Jika database tampak abu-abu, artinya sudah sedang dikumpulkan oleh crawler lain.

     • Setelah Anda mempersempit cakupan pengumpulan, metadata di luar cakupan tersebut tidak lagi dapat dicari di Data Map.

5. Konfigurasi peningkatan cerdas dan rencana pengumpulan:

   • Intelligent enhancement (Beta):

     • AI-generated descriptions: Saat diaktifkan, sistem menggunakan kemampuan model bahasa besar untuk secara otomatis menghasilkan deskripsi bisnis untuk tabel dan kolom Anda setelah metadata dikumpulkan, sehingga sangat meningkatkan keterbacaan dan kegunaan metadata. Setelah pengumpulan selesai, Anda dapat melihat informasi yang dihasilkan AI (seperti deskripsi tabel dan kolom) di halaman detail objek tabel di Data Map.

   • Collection Plan:

     • Trigger Mode: Pilih manual atau periodik.

       • Manual: Crawler hanya berjalan saat Anda memicunya secara manual. Cocok untuk pengumpulan satu kali atau sesuai permintaan.

       • Periodik: Konfigurasikan tugas terjadwal (misalnya bulanan, harian, mingguan, atau per jam), dan sistem secara otomatis memperbarui metadata secara berkala.

         Untuk mengonfigurasi tugas terjadwal tingkat menit, pilih siklus pengumpulan per jam dan pilih semua granularitas tingkat menit untuk menerapkan tugas terjadwal yang berjalan setiap 5 menit.

         Penting

         Hanya sumber data di lingkungan produksi yang mendukung pengumpulan periodik.

6. Simpan konfigurasi: Klik Save atau Save and Run untuk menyelesaikan pembuatan crawler.

Manage custom crawlers

Setelah crawler dibuat, crawler tersebut muncul di daftar crawler kustom. Anda dapat melakukan operasi manajemen berikut:

• Operasi daftar: Di daftar, Anda dapat langsung Run, Stop, atau Delete crawler. Gunakan fitur Filter dan Search di bagian atas untuk menemukan crawler target dengan cepat.

  Penting

  Setelah Anda menghapus crawler metadata, objek metadata yang dikumpulkan oleh crawler tersebut di Data Map menjadi tidak valid. Anda tidak dapat lagi mencari atau melihat objek dan detailnya dari crawler tersebut. Lakukan dengan hati-hati.

• Operasi batch: Pilih beberapa crawler di daftar crawler dan gunakan Batch Run atau Batch Stop di bagian bawah daftar untuk memicu atau menghentikan beberapa tugas pengumpulan sekaligus, sehingga meningkatkan efisiensi manajemen.

• Status crawler: Daftar crawler menampilkan status terkini setiap crawler. Status umum meliputi Not Run, Waiting, Running, Successful, Failed, dan Manually Terminated.

  Catatan

  Jika sumber data yang terkait dengan crawler telah diputuskan asosiasinya atau menjadi tidak valid, crawler tersebut masuk ke status frozen. Crawler yang dibekukan tidak dapat dijalankan dan hanya dapat dihapus.

• Lihat detail dan log: Klik nama crawler target untuk membuka halaman detailnya.

  • Basic Information: Lihat semua item konfigurasi crawler.

  • Data Scope: Lihat atau Modify Data Scope.

    Jika belum ada pengumpulan yang dilakukan, jumlah tabel dan waktu pembaruan terakhir akan kosong.

    Sumber data berikut tidak mendukung modifikasi cakupan: EMR Hive, CDH Hive, Lindorm, ElasticSearch, OTS, MongoDB, dan AnalyticDB for Spark di AnalyticDB MySQL.

  • Run Logs: Lacak riwayat eksekusi setiap tugas pengumpulan. Anda dapat melihat waktu mulai, durasi, status, dan volume data yang dikumpulkan untuk setiap tugas. Saat tugas gagal, klik View Logs sebagai titik masuk utama untuk menemukan dan menyelesaikan masalah.

• Picu pengumpulan secara manual: Di pojok kanan atas halaman detail, klik tombol Collect Metadata untuk segera memicu tugas pengumpulan. Ini berguna ketika Anda ingin segera melihat tabel yang baru dibuat di Data Map.

Data source

• "Depends on the collection cycle" dalam tabel berarti metadata diperbarui secara berkala berdasarkan rencana pengumpulan yang Anda konfigurasi untuk crawler (misalnya bulanan, harian, mingguan, atau per jam).

• AnalyticDB for Spark dan AnalyticDB for MySQL menggunakan titik masuk pengumpulan metadata yang sama.

Task code

Data Map mendukung pencarian dan navigasi cepat kode tugas. Berikut ini menjelaskan cakupan kode yang dapat dicari.

API assets

Data Map mendukung penayangan metadata API Data Service, sebagaimana dijelaskan di bawah ini:

AI assets

Data Map mendukung penayangan dan pengelolaan aset AI, serta menyediakan alur data aset AI untuk melacak asal, penggunaan, dan evolusi data serta model. Berikut ini menjelaskan dukungan untuk setiap jenis aset AI.

Workspace

Data Map mendukung penayangan metadata ruang kerja, sebagaimana dijelaskan di bawah ini: