全部产品
Search
文档中心

DataWorks:Kelola OpenData

更新时间:Dec 14, 2025

DataWorks OpenData menyediakan koleksi metadata terpusat, terpadu, dan mudah digunakan untuk platform DataWorks. Anda dapat memperoleh metadata yang distandardisasi dan dapat dilacak secara cepat melalui otorisasi tampilan MaxCompute Package tanpa konfigurasi kompleks. Metadata ini mencakup informasi terperinci mengenai berbagai objek, seperti tabel, node task, instans, ruang kerja, anggota, proyek, Data Quality, serta aset data, guna mendukung tata kelola data dan analisis.

Kasus Penggunaan

DataWorks OpenData merupakan versi publik yang ditingkatkan dari OpenData undangan eksklusif sebelumnya. Berbeda dengan versi sebelumnya yang mengharuskan penggunaan command line, versi baru ini menyediakan antarmuka visual yang memungkinkan pengelolaan dan pemanfaatan metadata secara lebih intuitif dan efisien.

Anda dapat menggunakan OpenData pada platform DataWorks untuk aplikasi berikut:

  • Inventarisasi data: Peroleh statistik objek data, seperti tabel dan task, yang dikelola oleh ruang kerja dan pemiliknya. Anda juga dapat memahami struktur data, sumber data, frekuensi pembaruan, dan dependensi untuk menghilangkan kotak hitam data.

  • Pelacakan alur data end-to-end: Gunakan metadata, seperti tabel dan alur data, untuk menjalankan kueri kustom pada jalur alur hulu dan hilir dari tabel tertentu. Hal ini memungkinkan pelacakan seluruh aliran data dari sumber hingga aplikasi hilir serta mempercepat identifikasi masalah atau analisis cakupan dampaknya.

  • Analisis metadata kustom: Selain menggunakan OpenAPI yang tersedia, Anda dapat langsung mengakses dan menganalisis metadata menggunakan SQL. Pendekatan ini menyederhanakan proses analisis dan memperpendek siklus hidup tata kelola data.

Prasyarat

Ruang kerja DataWorks telah dibuat dan terikat ke sumber daya komputasi MaxCompute.

Batasan

  • Persyaratan Edisi: Hanya DataWorks Enterprise Edition dan versi yang lebih baru yang didukung. Edisi lain tidak didukung.

  • Batasan izin: Hanya pemilik penyewa, administrator penyewa, administrator tata kelola data, atau pengguna Resource Access Management (RAM) dengan izin DataWorksFullAccess yang dapat menginstal dan menguninstall DataWorks OpenData.

  • Batasan otorisasi: Otorisasi untuk tampilan metadata hanya dapat diberikan melalui MaxCompute. Jenis resource lain tidak didukung.

  • Latensi pembaruan data: Metadata diperbarui dengan latensi T+1, artinya Anda hanya dapat mengkueri metadata dari hari sebelumnya.

Kelola OpenData

Bagian ini menjelaskan cara melihat, menginstal, dan menggunakan DataWorks OpenData.

Lihat OpenData

Anda dapat melihat informasi berikut untuk memahami metadata dan skenario paket-paket berbeda dalam OpenData, sehingga dapat memilih dan menggunakan paket sesuai kebutuhan.

  1. Masuk ke Konsol DataWorks. Pada bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Governance > Data Map. Pada halaman yang muncul, klik Go to Data Map.

  2. Di panel navigasi kiri halaman Data Map, klik ikon image untuk menuju halaman Data Catalog.

  3. Dalam daftar katalog, klik DataWorks OpenData untuk membuka halaman DataWorks OpenData.

  4. Beralih ke tab Package List. Klik Details untuk suatu paket. Pada tab Table List, Anda dapat melihat tabel metadata dan deskripsinya dalam paket tersebut.

    • Perbedaan antara metadata MetaData dan Examples:

      Package name

      OpenData

      Scenarios

      MetaData

      Informasi tabel, seperti skema tabel, deskripsi bidang, dan alur data.

      Node penjadwalan dan instans, seperti status eksekusi task dan dependensi.

      Metadata management, seperti ruang kerja, anggota, dan Proyek.

      Metadata, seperti detail Kualitas Data dan detail Tata kelola data.

      Digunakan untuk inventaris aset data, analisis alur data, dan manajemen dependensi.

      Examples

      Kumpulan metrik metadata.

      Catatan

      Paket Examples disediakan oleh DataWorks dan berisi kumpulan tabel metrik contoh yang dihasilkan dari metadata. Data aktual bervariasi sesuai kebutuhan. Data yang ditampilkan di UI yang berlaku.

      Dikombinasikan dengan data mentah dari paket MetaData, Anda dapat dengan cepat membangun skenario analisis umum, seperti analisis pemanfaatan resource dan penilaian kesehatan task.

      Penting

      Untuk informasi selengkapnya, lihat Detail skema tabel OpenData.

  5. Untuk mempelajari lebih lanjut tentang tabel metadata, klik Details untuk tabel tersebut. Pada halaman detail tabel, Anda dapat melihat Fields dan Descriptions-nya, yang membantu memahami hubungan antar tabel metadata OpenData.

Instal OpenData

Anda dapat menginstal semua tampilan data terkait dalam penyewa Anda sebagai satu paket. Tindakan ini memberikan otorisasi ke mesin komputasi MaxCompute dari ruang kerja tujuan tertentu.

  1. Buka halaman OpenData. Pada tab Package List, pilih paket target (MetaData atau Examples) dan klik Details di kolom Actions.

  2. Pada halaman paket, instal paket yang ingin Anda gunakan.

    • Instalasi pertama kali: Di pojok kanan atas halaman paket, klik Install.

    • Jika sudah ada catatan instalasi: Pada tab Installation History halaman paket, klik Install.

    image

  3. Pada dialog Install DataWorks Metadata, pilih ruang kerja tujuan dan proyek MaxCompute yang ingin Anda berikan izin.

    Catatan
    • Proyek MaxCompute yang diberikan izin adalah mesin komputasi yang terikat ke ruang kerja tujuan.

    • Jika mesin komputasi MaxCompute yang terikat ke ruang kerja tujuan berada dalam status Installed, Anda tidak perlu menginstalnya lagi.

    • Untuk menggunakan metadata di OpenData pada ruang kerja dalam mode standar, kami menyarankan agar Anda menginstal dan memberikan izin untuk mesin komputasi MaxCompute yang terikat ke lingkungan pengembangan dan produksi.

  4. Baca catatan instalasi, centang kotak konfirmasi, lalu klik Confirm Installation. Setelah instalasi berhasil, Anda dapat melihat catatan instalasi baru pada tab Installation History.

Untuk menggunakan metadata dari paket lain pada mesin komputasi MaxCompute ruang kerja tujuan, ikuti langkah-langkah di atas untuk menginstal dan memberikan izin.

Gunakan OpenData

Setelah Anda menginstal OpenData ke mesin komputasi MaxCompute ruang kerja tujuan, Anda dapat langsung mengakses tampilan metadata yang diotorisasi di modul Data Development atau DataAnalysis menggunakan mesin komputasi MaxCompute.

  1. Di panel navigasi kiri halaman Data Map, klik ikon image untuk menuju halaman Data Catalog.

  2. Dalam daftar katalog, klik MaxCompute, lalu klik paket yang diawali dengan u_meta dan diakhiri dengan nama wilayah.

    image

  3. Pada halaman detail, pilih Use Now > Data Studio atau Use Now > DataAnalysis. Anda akan diarahkan ke modul yang sesuai untuk mengkueri dan menggunakan tampilan metadata yang diotorisasi.

    • Gunakan di Data Studio:

      1. Pada bilah menu atas Data Studio, alihkan ke wilayah dan ruang kerja tempat OpenData diinstal.

      2. Buat node MaxCompute. Pada halaman pengeditan node, Anda dapat menggunakan OpenData untuk mengembangkan task.

      3. Anda dapat menggunakan kode contoh berikut untuk memverifikasi dan menguji apakah instalasi berhasil.

        SELECT  dt
                ,COUNT(*) AS database_count
        FROM    u_meta_hangzhou.databases
        GROUP BY dt
        ORDER BY dt ASC
        LIMIT   32
        ;
        Penting
        • Saat menguji kode, Anda harus menggunakan mesin komputasi MaxCompute yang diotorisasi.

        • Ganti u_meta_hangzhou dengan nama paket di katalog data MaxCompute Anda. Nama paket diawali dengan u_meta dan diakhiri dengan nama wilayah.

    • Gunakan di DataAnalysis:

      1. Setelah masuk ke halaman kueri SQL DataAnalysis, sistem menyediakan skrip analisis metadata contoh. Anda dapat memodifikasi skrip tersebut sesuai kebutuhan.

      2. Klik ikon image di pojok kanan atas halaman kueri SQL, pilih ruang kerja yang diotorisasi, lalu ikat sumber data yang memiliki nama sama dengan yang dihasilkan sistem saat Anda mengikat mesin komputasi MaxCompute. Dengan demikian, Anda dapat mengkueri metadata yang diotorisasi di DataAnalysis.

        Catatan

        Sebelum menjalankan skrip contoh, ganti parameter REPLACE_WITH_WORKSPACE_ID dengan ID ruang kerja yang ingin Anda kueri. Jika tidak, akan muncul error. Untuk informasi cara memperoleh ID ruang kerja, lihat Konfigurasi ruang kerja.

Uninstal OpenData

Jika Anda tidak lagi memerlukan OpenData atau perlu mencabut otorisasi proyek MaxCompute di suatu ruang kerja, Anda dapat menguninstal OpenData.

  1. Di panel navigasi kiri halaman Data Map, klik ikon image untuk menuju halaman katalog data.

  2. Dalam daftar katalog, pilih MaxCompute, lalu klik paket yang diawali dengan u_meta dan diakhiri dengan nama wilayah.

  3. Pada tab Accessible Projects halaman detail, temukan proyek tujuan dan klik Uninstall di kolom Actions. Pada dialog Confirm Uninstall DataWorks Metadata, baca catatan uninstalasi, centang kotak konfirmasi, lalu klik Confirm Uninstall.

    Penting

    Uninstalasi mencabut izin dan menghentikan task yang bergantung pada data ini. Pastikan tidak ada dependensi aktif sebelum melanjutkan.

FAQ

  • T: Apa dampak latensi pembaruan metadata terhadap penggunaan?

    J: Metadata dihasilkan dengan latensi T+1, artinya mencerminkan aktivitas dari hari sebelumnya. Untuk metadata real-time, gunakan DataWorks OpenAPI.

  • T: Bisakah saya menguninstal OpenData setelah menginstalnya?

    J: Ya, bisa. Uninstalasi mencabut izin. Pastikan tidak ada task aktif yang bergantung pada tampilan ini untuk menghindari gangguan.

  • T: Bagaimana cara mengamankan metadata?

    J: Anda dapat menggunakan kontrol akses data MaxCompute untuk membatasi siapa yang dapat mengakses metadata sensitif.