DataWorks Open Data menyediakan kumpulan metadata terpusat dan terpadu dari platform DataWorks. Tanpa konfigurasi rumit, Anda dapat dengan cepat memperoleh metadata yang distandarisasi dan dapat dilacak dengan memberikan otorisasi akses melalui tampilan MaxCompute Package. Layanan ini menyediakan metadata terperinci untuk tabel, node task, instance, workspace, anggota, proyek, Data Quality, serta aset data guna mendukung tata kelola data dan analisis.
Kasus Penggunaan
DataWorks Open Data merupakan versi publik yang telah ditingkatkan sepenuhnya dari Open Data sebelumnya yang hanya tersedia berdasarkan undangan. Versi baru ini menggantikan metode command-line sebelumnya dengan antarmuka visual sehingga Anda dapat mengelola metadata secara lebih intuitif dan efisien.
Anda dapat menggunakan Open Data untuk hal-hal berikut:
-
Inventarisasi data: Peroleh statistik jelas mengenai objek data, seperti tabel dan task, yang dikelola oleh workspace beserta pemiliknya. Pahami struktur data, sumber, frekuensi pembaruan, dan dependensinya untuk menghilangkan kotak hitam data.
-
Pelacakan alur data end-to-end: Kueri metadata alur data untuk melacak jalur hulu dan hilir dari tabel tertentu. Hal ini memungkinkan Anda melacak aliran data lengkap dari sumber ke aplikasi, membantu Anda dengan cepat menemukan masalah atau menganalisis dampaknya.
-
Analisis metadata kustom: Selain OpenAPI yang sudah tersedia, Anda dapat langsung mengakses dan mengkueri metadata menggunakan SQL. Hal ini menyederhanakan proses analisis dan memperpendek siklus hidup tata kelola data.
Prasyarat
Anda harus memiliki workspace DataWorks yang terikat ke sumber daya komputasi MaxCompute.
Batasan
-
Persyaratan Edisi: Hanya DataWorks Enterprise Edition dan versi setelahnya yang didukung.
-
Batasan izin: Hanya pengguna dengan peran pemilik tenant, administrator tenant, atau administrator tata kelola data, atau Pengguna RAM yang diberikan izin
DataWorksFullAccess, yang dapat menginstal dan menguninstal DataWorks Open Data. -
Batasan otorisasi: Otorisasi untuk tampilan metadata hanya dapat diberikan melalui MaxCompute. Jenis resource lain tidak didukung.
-
Latensi pembaruan data: Metadata diperbarui dengan latensi T+1. Artinya, Anda dapat mengkueri statistik dari hari sebelumnya.
Manage Open Data
Anda dapat melihat, menginstal, dan menggunakan DataWorks Open Data.
Lihat Open Data
Pahami metadata dan kasus penggunaan paket dalam Open Data untuk memilih yang sesuai dengan kebutuhan Anda.
-
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pada halaman yang muncul, klik Go to Data Map.
-
Di panel navigasi sebelah kiri halaman Data Map, klik ikon
untuk menuju halaman Data Catalog. -
Dalam daftar katalog, klik DataWorks Open Data untuk menuju halaman DataWorks Open Data.
-
Beralih ke tab Package List, lalu klik Details untuk paket yang diinginkan. Di Table List, Anda dapat melihat tabel metadata beserta deskripsinya.
-
Perbedaan antara metadata MetaData dan Examples:
Nama paket
Open Data
Kasus Penggunaan
MetaData
Informasi tabel, seperti skema tabel, deskripsi bidang, dan alur data.
Node penjadwalan dan instance, seperti status eksekusi task dan dependensinya.
Metadata manajemen, seperti workspace, anggota, dan proyek.
Metadata seperti detail Data Quality dan detail tata kelola data.
Cocok untuk inventarisasi aset data, analisis alur data, dan manajemen dependensi.
Examples
Kumpulan data metrik metadata.
CatatanPaket Examples disediakan oleh DataWorks dan berisi kumpulan tabel metrik contoh yang dihasilkan dari metadata. Data aktual dapat berubah sesuai kebutuhan bisnis spesifik. Data yang ditampilkan pada UI yang berlaku.
Digabungkan dengan data mentah dari paket MetaData, Anda dapat dengan cepat membangun skenario analisis umum, seperti analisis pemanfaatan sumber daya dan penilaian kesehatan task.
PentingUntuk detail skema dan bidang tabel metadata, lihat Detail skema tabel Open Data.
-
-
Untuk mempelajari lebih lanjut tentang tabel metadata, klik Details untuk tabel tersebut. Di halaman detail tabel, Anda dapat melihat Fields dan Description untuk dengan cepat memahami hubungan antar tabel metadata Open Data.
Instal Open Data
Berdasarkan kebutuhan bisnis Anda, Anda dapat menginstal tampilan data terkait dalam tenant Anda sebagai paket. Proses ini memberikan otorisasi kepada sumber daya komputasi MaxCompute dari workspace tertentu untuk mengakses tampilan tersebut.
-
Buka halaman Open Data. Di tab Package List, pilih paket target (Metadata atau Examples) dan klik Details di kolom Actions.
-
Di halaman paket, instal paket yang ingin Anda gunakan.
-
Instalasi pertama kali: Di pojok kanan atas halaman paket, klik Load.
-
Jika sudah ada catatan instalasi: Di tab Installation History halaman paket, klik Load.
-
-
Di kotak dialog Install DataWorks Metadata, pilih workspace target dan proyek MaxCompute yang ingin Anda berikan izin.
Catatan-
Proyek MaxCompute yang diberi otorisasi adalah mesin komputasi yang terikat ke workspace target.
-
Jika mesin komputasi MaxCompute yang terikat ke workspace target berada dalam status Installed, Anda tidak perlu menginstalnya lagi.
-
Untuk workspace dalam mode standar, kami menyarankan menginstal dan memberikan izin ke mesin komputasi MaxCompute untuk lingkungan pengembangan maupun produksi.
-
-
Baca catatan instalasi, centang kotak konfirmasi, lalu klik Confirm Installation. Setelah instalasi berhasil, Anda dapat melihat catatan instalasi baru di tab Installation History.
Untuk menggunakan metadata dari paket lain di mesin komputasi MaxCompute workspace target, Anda dapat mengikuti langkah-langkah di atas untuk menginstal dan memberikan izin.
Gunakan Open Data
Setelah Anda menginstal Open Data untuk sumber daya komputasi MaxCompute workspace target, Anda dapat langsung mengakses tampilan metadata yang telah diberi otorisasi di Data Studio atau DataAnalysis menggunakan mesin komputasi workspace tersebut.
-
Di panel navigasi sebelah kiri halaman Data Map, klik ikon
untuk menuju halaman Data Catalog. -
Dalam daftar katalog, klik MaxCompute, lalu klik paket yang namanya diawali dengan
u_metadan diakhiri dengan nama wilayah. -
Di halaman detail, klik atau untuk menuju modul terkait guna mengkueri dan menggunakan tampilan metadata yang telah diberi otorisasi.
-
Gunakan di Data Studio:
-
Di bilah menu atas Data Studio, beralihlah ke wilayah dan workspace tempat Open Data diinstal.
-
Buat node MaxCompute. Di halaman pengeditan node, Anda dapat menggunakan Open Data untuk mengembangkan task.
-
Anda dapat menggunakan kode contoh berikut untuk memverifikasi keberhasilan instalasi.
SELECT dt ,COUNT(*) AS database_count FROM u_meta_hangzhou.databases GROUP BY dt ORDER BY dt ASC LIMIT 32 ;Penting-
Saat menguji kode, Anda harus menggunakan sumber daya komputasi MaxCompute yang telah diberi otorisasi.
-
Ganti
u_meta_hangzhoudengan nama paket di katalog data MaxCompute Anda. Nama paket diawali denganu_metadan diakhiri dengan nama wilayah.
-
-
-
Penggunaan dalam Analisis Data:
-
Halaman kueri SQL di DataAnalysis menyediakan skrip analisis metadata contoh yang dapat Anda modifikasi sesuai kebutuhan.
-
Klik ikon
di pojok kanan atas halaman kueri SQL. Pilih workspace yang telah diberi otorisasi dan sumber data yang dibuat secara otomatis saat Anda mengikat sumber daya komputasi MaxCompute. Sumber data tersebut memiliki nama yang sama dengan mesin komputasi. Kemudian, Anda dapat menjalankan kueri terhadap metadata yang telah diberi otorisasi di DataAnalysis.CatatanSebelum menjalankan skrip contoh, ganti parameter
REPLACE_WITH_WORKSPACE_IDdengan ID workspace yang ingin Anda kueri. Jika tidak, akan terjadi error. Untuk informasi cara memperoleh ID workspace, lihat Konfigurasi workspace.
-
-
Hapus Instalan Open Data
Jika Anda tidak lagi memerlukan Open Data atau ingin mencabut otorisasi dari proyek MaxCompute di suatu workspace, Anda dapat menguninstal paket Open Data terkait.
-
Di panel navigasi sebelah kiri halaman Data Map, klik ikon
untuk menuju halaman Data Catalog. -
Dalam daftar katalog, pilih MaxCompute, lalu klik paket yang namanya diawali dengan
u_metadan diakhiri dengan nama wilayah. -
Di tab Accessible Projects halaman detail, temukan proyek target dan klik Uninstall di kolom Actions. Di kotak dialog Confirm Uninstallation of DataWorks Metadata yang muncul, baca catatan uninstalasi, centang kotak konfirmasi, lalu klik Confirm Uninstallation.
PentingMenguninstal akan mencabut izin dan menyebabkan task yang bergantung padanya gagal. Pastikan tidak ada task aktif yang mengandalkan tampilan ini sebelum melanjutkan.
FAQ
-
T: Bagaimana latensi pembaruan metadata memengaruhi penggunaan?
J: Metadata dihasilkan dengan latensi T+1, artinya mencerminkan aktivitas dari hari sebelumnya. Untuk metadata real-time, kami menyarankan menggunakan DataWorks OpenAPI.
-
T: Apakah saya dapat menguninstal DataWorks Open Data setelah diinstal?
J: Ya. Menguninstal akan mencabut otorisasi untuk tampilan tersebut. Pastikan tidak ada task aktif yang bergantung pada tampilan ini agar tidak terjadi gangguan.
-
T: Bagaimana cara memastikan keamanan metadata?
J: Gunakan kontrol akses data MaxCompute untuk mengelola cakupan akses dan mencegah metadata sensitif dibagikan ke tim yang tidak berwenang.