Cara menemukan, mengeksplorasi, dan memahami aset data - Data Map - Alibaba Cloud - DataWorks

DataWorks Data Map adalah platform terpusat untuk mengelola dan menemukan aset data. Platform ini membantu Anda memperoleh gambaran menyeluruh mengenai lanskap data perusahaan serta menemukan data yang dibutuhkan secara cepat dan akurat, layaknya menggunakan mesin pencari. Fitur utamanya meliputi:

Data Overview: Menyediakan statistik mengenai aset data Anda untuk memberikan gambaran cepat mengenai kondisi terkininya.
Global keyword search: Memungkinkan Anda menemukan tabel, bidang, atau istilah bisnis yang diminati dari satu titik masuk.
Multi-dimensional filtering and browsing: Memungkinkan penemuan data yang lebih terarah dan eksploratif dengan menggabungkan berbagai kondisi.

Limits

Penyewa yang memiliki PAI workspace yang sudah ada dapat mencari dan melihat aset AI terkait, seperti dataset, model AI, tugas algoritma, dan layanan model.
Pencarian kode hanya tersedia bagi pengguna DataWorks Edisi Standar atau versi yang lebih baru.

Akses Peta Data

Masuk ke DataWorks console. Di wilayah target, klik Data Governance > Data Map di panel navigasi sebelah kiri. Pada halaman yang muncul, klik Go to Data Map.

Data overview

Halaman Data Overview menyajikan ringkasan tingkat tinggi mengenai cara sumber data Anda digunakan.

Di Homepage Data Map, klik Data Overview di samping Metadata Collection.

Di halaman Data Overview, lihat semua resource engine di wilayah saat ini.

MaxCompute key metrics:

Name	Description
Total Number of Projects	Jumlah total proyek MaxCompute di wilayah saat ini. Data ini diperbarui secara near-real-time.
Total Tables	Jumlah total tabel MaxCompute di wilayah saat ini. Data ini dikumpulkan secara offline dan memiliki latensi T+1.
Storage	Total ukuran penyimpanan logis semua tabel di wilayah saat ini. Ini mencakup file temporary dari tugas terjadwal dan storage space yang belum dilepas setelah tabel dihapus. Data ini dikumpulkan secara offline dan memiliki latensi T+1.
Total APIs	Jumlah total API bertipe MaxCompute yang dipublikasikan ke API Gateway di wilayah saat ini.
Storage Trend Chart	Grafik tren yang menunjukkan total penyimpanan logis proyek MaxCompute di wilayah saat ini. Ini mencakup file temporary dari tugas terjadwal dan storage space yang belum dilepas setelah tabel dihapus. Data ini dikumpulkan secara offline dan memiliki latensi T+1.
Top projects by storage	Peringkat proyek MaxCompute berdasarkan ukuran penyimpanan logis di wilayah saat ini. Data ini dikumpulkan secara offline dan memiliki latensi T+1. Anda dapat mengklik proyek untuk melihat metadatanya. Penting Penyimpanan proyek tidak hanya mencakup penyimpanan tabel, tetapi juga penyimpanan resource, penyimpanan Keranjang daur ulang, dan penyimpanan file sistem lainnya, sehingga nilainya lebih besar daripada penyimpanan tabel saja.
Top tables by storage	Peringkat tabel MaxCompute berdasarkan ukuran. Data ini dikumpulkan secara offline dan memiliki latensi T+1. Anda dapat mengklik tabel untuk melihat metadatanya. Penting Penyimpanan tabel dihitung berdasarkan penyimpanan logis, bukan penyimpanan fisik.
Most Frequently Viewed Tables	Tabel yang paling sering dilihat dalam 30 hari terakhir, diurutkan berdasarkan jumlah tayangan halaman (PV) pada halaman detail tabel di Data Map. Data ini diperbarui secara near-real-time.

Other engine metrics: Menampilkan informasi seperti jumlah total database, tabel, dan kluster.

Temukan data

Data Map menyediakan dua metode pencarian komplementer untuk memenuhi berbagai kebutuhan penemuan data Anda.

Global keyword search

Saat Anda memiliki gambaran jelas mengenai data yang dicari, global keyword search merupakan metode paling efisien. Halaman utama juga menyediakan akses cepat ke Recently Viewed, Followed Collections, dan Managed Collections.

Buka bilah pencarian: Bilah pencarian terletak di bagian atas halaman utama Data Map.
Masukkan kata kunci: Pilih jenis metadata dan masukkan Keyword, seperti nama tabel, nama bidang, atau komentar. Misalnya, masukkan "user", "order", atau "user_info".
Jalankan pencarian: Tekan Enter. Sistem akan menampilkan daftar semua aset data yang cocok. Klik aset untuk melihat detailnya.

Multi-dimensional filtering and browsing

Saat Anda perlu mempersempit pencarian atau menjelajahi data berdasarkan kategori bisnis, Anda dapat melakukan pencarian lanjutan di halaman pencarian. Bilah pencarian global tetap tersedia di bagian atas halaman.

Buka halaman pencarian: Klik ikon pencarian di panel navigasi sebelah kiri untuk membuka halaman pencarian lanjutan.
Gabungkan kondisi filter: Di sisi kiri halaman, pilih berbagai kondisi filter untuk mempersempit hasil secara bertahap:
- Type: Pilih jenis metadata. Jenis yang didukung meliputi table, code, Index, API, dataset, Workspace, dan lainnya.
- Data source: Saat Anda memilih Table, Anda dapat membatasi pencarian ke engine tertentu, seperti MaxCompute, EMR Hive, atau Hologres.
  
  Penting
  Jika jumlah sumber data melebihi batas tampilan, klik tombol More di pojok kanan atas untuk menampilkan sumber data yang disembunyikan.
- Filter conditions: Anda dapat memfilter berdasarkan proyek, pemilik, lingkungan, kluster, Data Catalog, database, dan lainnya.
  
  Kondisi filter yang tersedia bervariasi tergantung pada jenis metadata.
  Catatan
  Selain atribut dasar, objek tabel dapat difilter berdasarkan tag dan kategori, sedangkan workspace dan dataset mendukung pemfilteran berdasarkan atribut kustom.
  - Tags: Anda dapat memfilter berdasarkan tag yang diterapkan selama tata kelola data. Untuk informasi selengkapnya, lihat Tags.
  - Category: Anda dapat memfilter berdasarkan kategori bisnis. Untuk informasi selengkapnya, lihat Category configuration.
  - Custom attributes: Anda dapat memfilter berdasarkan atribut kustom bertipe enumerasi. Untuk informasi selengkapnya, lihat Custom attributes.

Contoh:

Saya ingin menemukan semua tabel di lingkungan produksi MaxCompute yang dimiliki oleh "John Doe".Tindakan: Di "Data source", pilih MaxCompute → Di "Owner", masukkan John Doe → Di "Environment", pilih Production.

AI Search

Saat sulit menggambarkan apa yang Anda cari dengan satu kata kunci, atau saat Anda menginginkan rekomendasi berdasarkan skenario bisnis, gunakan AI Search untuk menemukan aset, merekomendasikan tabel terkait, dan menjelaskan alasannya melalui percakapan berbasis bahasa alami.

Dari halaman pencarian: Di pojok kanan atas halaman pencarian Data Map, beralihlah ke tab AI Search untuk memasuki pengalaman pencarian percakapan.
Dari halaman utama: Kotak pencarian di halaman utama Data Map dapat dialihkan ke mode pertanyaan cerdas. Setelah Anda mengirimkan pertanyaan, sistem akan langsung menuju halaman sesi AI search untuk melanjutkan percakapan.

Cara menggunakan: Jelaskan kebutuhan Anda dalam bahasa alami di kotak input, misalnya:

Temukan tabel fakta yang terkait dengan bisnis perdagangan; kueri dataset yang ditambahkan dalam 7 hari terakhir; daftar proyek MaxCompute yang termasuk dalam unit bisnis "Data Governance".

Manajemen sesi: Pertanyaan yang diajukan dari halaman utama akan membuat sesi baru. Saat Anda membuka halaman AI search secara langsung, sesi terakhir akan dilanjutkan secara default jika tidak ada sesi spesifik yang ditentukan. Anda dapat membuat sesi baru atau kembali ke sesi riwayat sesuai kebutuhan.

Templat pertanyaan cepat: Templat pertanyaan umum disediakan di bagian bawah halaman sesi AI search. Klik templat untuk mengirimkannya langsung.
Hubungan dengan pencarian global: Pencarian global mencocokkan metadata secara tepat berdasarkan kata kunci dan filter; AI search memahami maksud berdasarkan bahasa alami dan konteks semantik serta memberikan rekomendasi. Keduanya saling melengkapi—gunakan pencarian global saat Anda mengetahui objek target, dan gunakan AI search saat Anda menggambarkan kebutuhan bisnis.

Catatan

AI search saat ini diluncurkan secara bertahap berdasarkan penyewa (gray release). Fitur ini hanya terlihat jika penyewa Anda telah mengaktifkan kemampuan tersebut. Untuk mengajukan permintaan, hubungi administrator Anda atau buat tiket.

FAQ

Q: Mengapa saya tidak dapat menemukan tabel yang saya cari?

A: Jika Anda tidak dapat menemukan tabel di DataWorks Data Map, periksa penyebab dan solusi potensial berikut.
- Ketidaksesuaian kata kunci pencarian: Pencarian mendukung pengambilan data berdasarkan nama tabel, deskripsi, dan nama bidang. Coba gunakan kata kunci yang lebih tepat atau sebagian.
- Metadata belum disinkronkan: DataWorks secara otomatis mengumpulkan metadata setelah Anda mengaitkannya dengan MaxCompute atau DLF, tetapi mungkin terjadi penundaan sinkronisasi setelah Anda membuat atau mengubah tabel.
  Solusi: Buka My Data > My Tools > Refresh Table Metadata. Setelah operasi berhasil, cari kembali tabel tersebut.
- Tabel disembunyikan: Tabel tersebut mungkin diatur sebagai Hidden, sehingga tidak dapat ditemukan dalam pencarian. Saat status tabel adalah Hidden, tabel tersebut tidak terlihat oleh siapa pun. Saat statusnya Project Only, tabel hanya terlihat oleh anggota ruang kerja.
- Izin tidak mencukupi: Secara default, pencarian hanya mencakup ruang kerja saat ini dan proyek yang telah diizinkan. Jika tabel target milik akun lain atau ruang kerja yang tidak diizinkan, tabel tersebut tidak dapat ditemukan. Selain itu, jika Anda tidak memiliki izin kueri untuk suatu tabel, tabel tersebut tidak terlihat di Data Map secara default. Hal ini terutama berlaku di ruang kerja mode standar.
  
  Solusi: Hubungi pemilik tabel atau administrator untuk meminta izin, atau pastikan Anda merupakan anggota proyek yang sesuai.