DataWorks:Ikhtisar Data Map

Batasan

• Pencarian kode dan analisis alur data hanya tersedia di DataWorks Edisi Standar dan versi yang lebih tinggi.

• Album data hanya tersedia di DataWorks Edisi Profesional dan versi yang lebih tinggi.

Kumpulkan metadata

• Metadata MaxCompute & metadata DLF: Data Map secara otomatis mengumpulkan metadata MaxCompute dan DLF melalui kolektor bawaan.

• Jenis metadata lainnya: Gunakan pengumpulan metadata kustom untuk mengimpor metadata dari sumber data lain, termasuk Hologres, E-MapReduce, CDH Hive, StarRocks, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Elasticsearch, Tablestore, Lindorm, dan OSS. Kumpulkan metadata. Pengumpulan metadata untuk Hudi tidak didukung.

Konektivitas jaringan

Untuk mengimpor metadata, pastikan kolektor metadata Data Map dapat mengakses database Anda. Jika database Anda menggunakan daftar putih untuk kontrol akses, tambahkan Blok CIDR untuk wilayah ruang kerja DataWorks Anda ke daftar putih tersebut. Konfigurasi daftar putih yang diperlukan untuk pengumpulan metadata dari sumber data dengan kontrol akses.

Ikhtisar

• Halaman Ikhtisar menampilkan metrik resource MaxCompute untuk wilayah saat ini: jumlah proyek, jumlah tabel, penggunaan penyimpanan, jumlah API, tren penyimpanan, proyek teratas berdasarkan penyimpanan, tabel teratas berdasarkan penyimpanan, dan tabel populer.

• Lihat jumlah database, tabel, dan API untuk sumber data seperti AnalyticDB for MySQL 3.0, MySQL, Hologres, AnalyticDB for PostgreSQL, dan OTS setelah pengumpulan metadata selesai.

Ikhtisar.

Pengambilan metadata

Data Map mengumpulkan metadata untuk tabel, kode, indeks, API, dataset, model AI, tugas algoritma, layanan model, dan ruang kerja. Lakukan pencarian dalam wilayah saat ini berdasarkan jenis, ruang kerja, pemilik, lingkungan, tag, dan kategori. Pengambilan metadata.

Di halaman pencarian Data Map, panel kiri memungkinkan Anda memfilter berdasarkan sumber data (MaxCompute, EMR Hive, Data Lake Formation, Oracle, Hologres, dan lainnya). Pencarian mendukung tiga mode: Tables only, Columns only, dan Tables and columns. Di hasil pencarian, Anda dapat Request Permissions atau View Lineage untuk setiap tabel.

Anda juga dapat menjelajahi tabel dan dataset dalam format direktori data.

Detail metadata

Klik nama objek untuk membuka halaman detailnya.

• Untuk tabel, lihat Basic Information, Output information, dan Lineage Information. Lihat detail tabel.

  Tab Lineage Information berisi sub-tab Table Lineage, Column Lineage, dan Impact Analysis. Di sub-tab Table Lineage, klik node tabel pada graf alur data untuk melihat jenis entitas, nama, jenis sumber data, ukuran penyimpanan, siklus hidup, dan properti lainnya di panel detail sisi kanan. Anda juga dapat mengklik Request Permissions untuk mengajukan permintaan izin.

  Catatan

  Di halaman Data Lineage , lihat alur data internal dari node mesin. Jenis node mesin yang didukung bergantung pada halaman produk. MaxCompute juga mendukung alur data end-to-end berdasarkan sinkronisasi offline, memungkinkan Anda memperluas hierarki alur data untuk melacak alur hulu dan hilir suatu tabel hingga ke sumber asli dan tujuan akhirnya.

• Untuk API, lihat Parameter Information, Sample Response, Lineage Information, dan Usage Instructions. Lihat detail API.

  Halaman detail API menampilkan Basic Information (jumlah tampilan, jumlah panggilan, ID API, path API, ruang kerja, pemilik, dan lainnya) serta Technical Information (jenis API, metode permintaan, jenis respons, jenis dan nama sumber data, nama tabel) di sisi kiri.

• Untuk dataset, lihat Attribute Information, Lineage, dan Usage Instructions.

  Tab Property Information menampilkan hal-hal berikut:

  • Properti dasar: Entity Type, Source, Data Type, Owner, Name, Workspace, Storage Type, Visibility, Created At, dan Updated At.

  • Informasi versi dataset: Version, URI, Bucket, Path, Region, dan Default Mount Path. Anda dapat mengklik View in OSS untuk menuju penyimpanan yang sesuai.

Anda juga dapat mencari kode. Mengklik hasil pencarian akan mengarahkan Anda ke node sumber atau resource-nya. detail metadata.

Atur dan kelola tabel

Gunakan kategori untuk mengatur tabel dan filter berdasarkan kategori saat melakukan pencarian. Manage Configurations.

• Album data: Kelompokkan data terkait ke dalam album data yang dikelola dari perspektif bisnis agar lebih mudah dilihat dan dikelola.

• Categories

  1. Tambahkan tabel secara batch ke kategori tertentu dari halaman Manage Configurations > Manage Categories.

     Setelah mengonfigurasi navigasi kategori, pilih kategori tingkat terakhir untuk menambahkan tabel secara batch dari proyek tertentu. Manage Configurations.

  2. Tambahkan tabel secara batch ke kategori tertentu dari halaman My Data.

     Tambahkan tabel secara batch ke kategori dari halaman My Data (Owned by Me dan Managed by Me). My Data.

• Manajemen tabel: Untuk tabel MaxCompute, ubah nama tampilan secara batch, atur siklus hidup, hapus tabel development atau production, atau transfer kepemilikan. My Data.

• Favorit: Tambahkan tabel yang sering diakses ke Favorit. Di halaman My Data, lihat tabel favorit di grup My Favorites. My Data.

  • Tambahkan tabel ke My Favorites: Di halaman detail tabel, klik Favorite untuk menambahkan tabel ke My Favorites. Lihat detail tabel. Lihat tabel tersebut di halaman My Data di bawah grup My Favorites. Tambahkan tabel ke favorit.

  • Hapus tabel dari daftar My Favorites:

    • Di halaman My Data, buka grup My Favorites dan hapus tabel dari favorit.

    • Di halaman detail tabel yang difavoritkan, gunakan entri Remove from Favorites untuk menghapusnya.

Kelola izin tabel

• Minta izin untuk mengoperasikan tabel

  Di ruang kerja mode standar, Pengguna RAM tidak dapat menjalankan perintah SQL pada tabel production secara default. Untuk mengakses tabel production atau melakukan kueri lintas akun, klik Apply for Permissions. Tindakan ini akan mengarahkan Anda ke Security Center. Minta izin pada tabel.

  Catatan

  Secara default, Pengguna RAM tanpa izin kueri tabel tidak dapat menggunakan pratinjau data di halaman detail tabel.

• Kontrol izin pratinjau data untuk tabel MaxCompute

  Di halaman Manage Configurations > Manage Workspaces, aktifkan izin pratinjau untuk tabel development atau production MaxCompute di ruang kerja tertentu. Semua anggota ruang kerja kemudian dapat melihat pratinjau tabel tanpa mengajukan akses. Manage Workspaces.

  Catatan

  • Operasi ini dapat mengekspos data sensitif. Evaluasi risiko secara hati-hati sebelum melanjutkan.

  • Pemilik proyek atau administrator ruang kerja dapat melakukan operasi ini.

  • Izin ini hanya mengontrol fitur Data Preview di halaman detail tabel pada Data Map.

• Sembunyikan tabel: Tabel yang disembunyikan tidak muncul di hasil pencarian. Sembunyikan tabel dari semua pengguna atau batasi visibilitas hanya untuk anggota ruang kerja. My Data.

  • Sembunyikan satu tabel: Di halaman My Data > Owned by Me, perbarui pengaturan visibilitas tabel.

    Catatan

    Secara default, pemilik tabel dan administrator ruang kerja tidak terikat oleh kontrol izin ini.

    Klik Update Table Info di kolom Actions. Di kotak dialog, opsi Visibility mencakup:

    • Visible to all tenant members

    • Visible only to members of the associated workspace

    • Private

  • Penyembunyian massal di tingkat proyek: Di Manage Configurations > Manage Workspaces, pilih Workspace, lalu konfigurasikan properti penyembunyian untuk semua tabel dalam proyek tersebut.

    Di tabel MaxCompute Engine Configuration, aktifkan toggle Default Project-only Visibility untuk menyembunyikan semua tabel di bawah mesin komputasi yang sesuai secara massal.

Segarkan metadata tabel

Segarkan metadata tabel ketika tabel tersebut tidak muncul di hasil pencarian atau perubahan terbaru belum tercermin.

1. Di halaman hasil pencarian, klik Refresh Table Metadata.

2. Buka halaman My Data > Refresh Table Metadata di Data Map.

   Pilih Data Type (MaxCompute, EMR Hive, atau Data Lake Formation), masukkan GUID tabel di kolom GUID (misalnya, project.schema.table atau odps.project.schema.table), lalu klik Refresh.

3. Di halaman detail tabel MaxCompute atau Data Lake Formation (DLF), klik More > Refresh Metadata untuk menyegarkan metadata tabel secara manual. Di tabel MaxCompute, menu More juga menyediakan opsi Generate API, dan tab detail mencakup Data Insights, Data Health, dan Usage History.

Setelah disegarkan, cari kembali tabel tersebut di Data Map.