Setelah menginstal paket pembukaan data DataWorks, Anda dapat menggunakan fitur ini untuk mengumpulkan metadata di DataWorks dan memanfaatkannya untuk tata kelola serta operasi & pemeliharaan (O&M) data. Topik ini menjelaskan skenario penggunaan fitur pembukaan data beserta perintah yang diperlukan.
Prasyarat
Paket pembukaan data telah terinstal. Untuk informasi lebih lanjut, lihat Instal dan Hapus Paket Pembukaan Data.
Petunjuk
Berikut adalah penjelasan perintah yang digunakan untuk mendapatkan berbagai jenis metadata dari node MaxCompute DataWorks. Sebelum menjalankan perintah-perintah ini, buka halaman pengeditan kode dari node MaxCompute.
- Buka halaman DataStudio.
- Masuk ke Konsol DataWorks
- Di panel navigasi kiri, klik Workspaces.
- Pada halaman Workspaces, temukan workspace yang diinginkan dan klik Data Analytics di kolom Actions.
- Buka halaman pengeditan kode dari node MaxCompute.Di panel navigasi kiri, klik Business Flow, temukan alur kerja Anda, lalu klik nama alur kerja tersebut. Kemudian, klik kanan MaxCompute dan pilih Create > ODPS SQL. Di kotak dialog Create Node, konfigurasikan parameter yang diperlukan untuk membuat node SQL MaxCompute.
Lihat database yang dibuat dalam Proyek MaxCompute
Tampilan raw_v_meta_database yang disediakan oleh fitur pembukaan data dapat digunakan untuk menanyakan database yang dibuat dalam Proyek MaxCompute. Jalankan perintah berikut untuk melakukan operasi tersebut:
Untuk informasi lebih lanjut tentang bidang dalam hasil query, lihat Detail Metadata Database (Proyek MaxCompute): raw_v_meta_database.
SELECT * FROM u_meta_hangzhou.raw_v_meta_database_Version('Tanggal bisnis');- Versi: Menentukan versi paket pembukaan data yang Anda instal dan gunakan. Format versi mirip dengan v1_1. Anda dapat menjalankan perintah DESCRIBE PACKAGE untuk menanyakan versi aktual dari paket pembukaan data yang Anda gunakan. Untuk informasi lebih lanjut, lihat Lihat Tabel atau Tampilan yang Disediakan oleh Paket Pembukaan Data.
- Tanggal bisnis: Mewakili tanggal bisnis spesifik pada mana Anda ingin melihat informasi metadata. Tanggal ditampilkan dalam format yyyymmdd. Jika tidak menentukan tanggal bisnis tertentu, informasi metadata pada semua tanggal bisnis akan ditanyakan.
-- Tanyakan database yang dibuat pada 9 Januari 2021.
SELECT * FROM u_meta_hangzhou.raw_v_meta_database_v1_1('20210109');Lihat tabel dalam Proyek MaxCompute
Tampilan raw_v_meta_table yang disediakan oleh fitur pembukaan data dapat digunakan untuk menanyakan tabel dalam Proyek MaxCompute. Jalankan perintah berikut untuk melakukan operasi tersebut:
Untuk informasi lebih lanjut tentang bidang dalam hasil query, lihat Detail Metadata Tabel: raw_v_meta_table.
SELECT *
FROM u_meta_hangzhou.raw_v_meta_table_Version('Tanggal bisnis')
WHERE catalog_name = 'nama_katalog_anda'
AND database_name = 'nama_database_anda'
AND table_name = 'nama_tabel_anda'
;- Versi: Menentukan versi paket pembukaan data yang Anda instal dan gunakan. Format versi mirip dengan v1_1. Anda dapat menjalankan perintah DESCRIBE PACKAGE untuk menanyakan versi aktual dari paket pembukaan data yang Anda gunakan. Untuk informasi lebih lanjut, lihat Lihat Tabel atau Tampilan yang Disediakan oleh Paket Pembukaan Data.
- Tanggal bisnis: Mewakili tanggal bisnis spesifik pada mana Anda ingin melihat informasi metadata. Tanggal ditampilkan dalam format yyyymmdd. Jika tidak menentukan tanggal bisnis tertentu, informasi metadata pada semua tanggal bisnis akan ditanyakan.
- nama_katalog_anda: Menentukan mesin komputasi yang metadata-nya ingin Anda lihat. Atur nilainya menjadi odps.
- nama_database_anda: Menentukan nama proyek di mana Anda ingin melihat informasi metadata. Tentukan parameter ini sesuai kebutuhan bisnis Anda.
- nama_tabel_anda: Menentukan nama tabel yang metadata-nya ingin Anda lihat. Tentukan parameter ini sesuai kebutuhan bisnis Anda.
-- Tanyakan data dari tabel ods_user_info_d di bawah Proyek MaxCompute isv2 pada 9 Januari 2021.
SELECT *
FROM u_meta_hangzhou.raw_v_meta_table_v1_1('20210109')
WHERE catalog_name = 'odps'
AND database_name = 'isv2'
AND table_name = 'ods_user_info_d'
;Lihat informasi statistik dari sebuah tabel
Tampilan rpt_v_meta_ind_table_core dan rpt_v_meta_ind_table_extra yang disediakan oleh fitur pembukaan data dapat digunakan untuk menanyakan informasi statistik dari sebuah tabel, seperti ID penyewa dan siklus hidup. Jalankan perintah berikut untuk melakukan operasi tersebut:
Untuk informasi lebih lanjut tentang bidang dalam hasil query, lihat Metrik Inti Tabel: rpt_v_meta_ind_table_core dan Metrik Tambahan Tabel: rpt_v_meta_ind_table_extra.
SELECT c.tenant_id, c.table_uuid, c.dim_life_cycle, c.is_partition_table, c.entity_type, c.categories, c.last_access_time, c.partition_count, c.favorite_count, e.output_task_count
FROM u_meta_hangzhou.rpt_v_meta_ind_table_core_Version('Tanggal bisnis') c
LEFT OUTER JOIN u_meta_hangzhou.rpt_v_meta_ind_table_extra_Version('Tanggal bisnis') e
ON c.table_uuid = e.table_uuid AND c.tenant_id = e.tenant_id
WHERE c.catalog_name = 'nama_katalog_anda'
AND c.database_name = 'nama_database_anda'
AND c.table_name = 'nama_tabel_anda'
;- Versi: Menentukan versi paket pembukaan data yang Anda instal dan gunakan. Format versi mirip dengan v1_1. Anda dapat menjalankan perintah DESCRIBE PACKAGE untuk menanyakan versi aktual dari paket pembukaan data yang Anda gunakan. Untuk informasi lebih lanjut, lihat Lihat Tabel atau Tampilan yang Disediakan oleh Paket Pembukaan Data.
- Tanggal bisnis: Mewakili tanggal bisnis spesifik pada mana Anda ingin melihat informasi metadata. Tanggal ditampilkan dalam format yyyymmdd. Jika tidak menentukan tanggal bisnis tertentu, informasi metadata pada semua tanggal bisnis akan ditanyakan.
- nama_katalog_anda: Menentukan mesin komputasi yang metadata-nya ingin Anda lihat. Atur nilainya menjadi odps.
- nama_database_anda: Menentukan nama proyek di mana Anda ingin melihat informasi metadata. Tentukan parameter ini sesuai kebutuhan bisnis Anda.
- nama_tabel_anda: Menentukan nama tabel yang metadata-nya ingin Anda lihat. Tentukan parameter ini sesuai kebutuhan bisnis Anda.
-- Tanyakan informasi statistik dari tabel ods_user_info_d di bawah Proyek MaxCompute isv2 pada 9 Januari 2021.
SELECT c.tenant_id, c.table_uuid, c.dim_life_cycle, c.is_partition_table, c.entity_type, c.categories, c.last_access_time, c.partition_count, c.favorite_count, e.output_task_count
FROM u_meta_hangzhou.rpt_v_meta_ind_table_core_v1_1('20210109') c
LEFT OUTER JOIN u_meta_hangzhou.rpt_v_meta_ind_table_extra_v1_1('20210109') e
ON c.table_uuid = e.table_uuid AND c.tenant_id = e.tenant_id
WHERE c.catalog_name = 'odps'
AND c.database_name = 'isv2'
AND c.table_name = 'ods_user_info_d'
;Lihat detail node dari tabel output
Tampilan raw_v_meta_table_output dan raw_v_schedule_node yang disediakan oleh fitur pembukaan data dapat digunakan untuk menanyakan detail node dari tabel output. Jalankan perintah berikut untuk melakukan operasi tersebut:
Untuk informasi lebih lanjut tentang bidang dalam hasil query, lihat Detail Metadata Tugas Output Tabel: raw_v_meta_table_output dan Detail Node Penjadwalan: raw_v_schedule_node.
SELECT s.*, o.schedule_instance_id, execute_time
FROM u_meta_hangzhou.raw_v_meta_table_output_Version('Tanggal bisnis') o
LEFT OUTER JOIN u_meta_hangzhou.raw_v_schedule_node_Version('Tanggal bisnis') s
ON o.schedule_task_id = s.node_id
WHERE o.type = 'jenis_tabel_anda'
AND o.database = 'nama_database_anda'
AND o.table = 'nama_tabel_anda'
AND s.project_env = 'lingkungan_proyek_anda'
;- Versi: Menentukan versi paket pembukaan data yang Anda instal dan gunakan. Format versi mirip dengan v1_1. Anda dapat menjalankan perintah DESCRIBE PACKAGE untuk menanyakan versi aktual dari paket pembukaan data yang Anda gunakan. Untuk informasi lebih lanjut, lihat Lihat Tabel atau Tampilan yang Disediakan oleh Paket Pembukaan Data.
- Tanggal bisnis: Mewakili tanggal bisnis spesifik pada mana Anda ingin melihat informasi metadata. Tanggal ditampilkan dalam format yyyymmdd. Jika tidak menentukan tanggal bisnis tertentu, informasi metadata pada semua tanggal bisnis akan ditanyakan.
- jenis_tabel_anda: Menentukan jenis tabel output yang metadata-nya ingin Anda lihat. Anda hanya dapat menentukan jenis MaxCompute. Atur nilainya menjadi odps.
- nama_database_anda: Menentukan nama proyek di mana Anda ingin melihat informasi metadata. Tentukan parameter ini sesuai kebutuhan bisnis Anda.
- nama_tabel_anda: Menentukan nama tabel yang metadata-nya ingin Anda lihat. Tentukan parameter ini sesuai kebutuhan bisnis Anda.
- lingkungan_proyek_anda: Menentukan lingkungan Proyek MaxCompute yang metadata-nya ingin Anda lihat. Untuk melihat metadata dalam lingkungan pengembangan, atur nilainya menjadi DEV. Untuk melihat metadata dalam lingkungan produksi, atur nilainya menjadi PROD.
-- Tanyakan detail dari tabel MaxCompute ods_user_info_d di bawah proyek xc_simple_e1 pada 9 Januari 2021.
SELECT s.*, o.schedule_instance_id, execute_time
FROM u_meta_hangzhou.raw_v_meta_table_output_v1_1('20210109') o
LEFT OUTER JOIN u_meta_hangzhou.raw_v_schedule_node_v1_1('20210109') s
ON o.schedule_task_id = s.node_id
WHERE o.type = 'odps'
AND o.database = 'xc_simple_e1'
AND o.table = 'ods_user_info_d'
AND s.project_env = 'PROD'
;Lihat node leluhur dan keturunan dari sebuah node
Tampilan raw_v_schedule_node dan raw_v_schedule_node_relation yang disediakan oleh fitur pembukaan data dapat digunakan untuk menanyakan node leluhur dan keturunan dari sebuah node. Jalankan perintah berikut untuk melakukan operasi tersebut:
-- Tanyakan node leluhur dari sebuah node.
SELECT *
FROM u_meta_hangzhou.raw_v_schedule_node_Version('Tanggal bisnis') t
WHERE t.project_env = 'lingkungan_proyek_anda'
AND t.node_id IN (
SELECT parent_node_id
FROM u_meta_hangzhou.raw_v_schedule_node_relation_Version('Tanggal bisnis') r
WHERE r.child_node_id = your_child_node_id
AND r.project_env = 'lingkungan_proyek_anda'
)
;
-- Tanyakan node keturunan dari sebuah node.
SELECT *
FROM u_meta_hangzhou.raw_v_schedule_node_Version('Tanggal bisnis') t
WHERE t.project_env = 'lingkungan_proyek_anda'
AND t.node_id IN (
SELECT child_node_id
FROM u_meta_hangzhou.raw_v_schedule_node_relation_Version('Tanggal bisnis') r
WHERE r.child_node_id = your_child_node_id
AND r.project_env = 'lingkungan_proyek_anda'
)
;- Versi: Menentukan versi paket pembukaan data yang Anda instal dan gunakan. Format versi mirip dengan v1_1. Anda dapat menjalankan perintah DESCRIBE PACKAGE untuk menanyakan versi aktual dari paket pembukaan data yang Anda gunakan. Untuk informasi lebih lanjut, lihat Lihat Tabel atau Tampilan yang Disediakan oleh Paket Pembukaan Data.
- Tanggal bisnis: Mewakili tanggal bisnis spesifik pada mana Anda ingin melihat informasi metadata. Tanggal ditampilkan dalam format yyyymmdd. Jika tidak menentukan tanggal bisnis tertentu, informasi metadata pada semua tanggal bisnis akan ditanyakan.
- lingkungan_proyek_anda: Menentukan lingkungan Proyek MaxCompute yang metadata-nya ingin Anda lihat. Untuk melihat metadata dalam lingkungan pengembangan, atur nilainya menjadi DEV. Untuk melihat metadata dalam lingkungan produksi, atur nilainya menjadi PROD.
- your_child_node_id: Menentukan ID dari node yang metadata-nya ingin Anda lihat.
- Tanyakan node leluhur dari sebuah node dalam proyek dalam lingkungan produksi.
Gambar berikut menunjukkan hasil query.-- Tanyakan node leluhur dari node 1000550985 di bawah proyek dalam lingkungan produksi pada 9 Januari 2021. SELECT * FROM u_meta_hangzhou.raw_v_schedule_node_v1_1('20210109') t WHERE t.project_env = 'PROD' AND t.node_id IN ( SELECT parent_node_id FROM u_meta_hangzhou.raw_v_schedule_node_relation_v1_1('20210109') r WHERE r.child_node_id = 1000550985 AND r.project_env = 'PROD' ) ;
- Tanyakan node keturunan dari sebuah node dalam proyek dalam lingkungan produksi.
Gambar berikut menunjukkan hasil query.-- Tanyakan node keturunan dari node 1000550985 di bawah proyek dalam lingkungan produksi pada 9 Januari 2021. SELECT * FROM u_meta_hangzhou.raw_v_schedule_node_v1_1('20210109') t WHERE t.project_env = 'PROD' AND t.node_id IN ( SELECT child_node_id FROM u_meta_hangzhou.raw_v_schedule_node_relation_v1_1('20210109') r WHERE r.parent_node_id = 1000550985 AND r.project_env = 'PROD' ) ;
Tanyakan detail pemilik dari sebuah tabel atau node
Tampilan raw_v_meta_table dan raw_v_tenant_user yang disediakan oleh fitur pembukaan data dapat digunakan untuk menanyakan detail pemilik dari sebuah tabel atau node. Jalankan perintah berikut untuk melakukan operasi tersebut:
- Tanyakan detail pemilik dari sebuah tabel.
Dalam perintah sebelumnya:SELECT c.catalog_name, c.database_name, c.table_name, c.owner_name, u.account_name, u.nick FROM u_meta_hangzhou.raw_v_meta_table_Version('Tanggal bisnis') c LEFT OUTER JOIN u_meta_hangzhou.raw_v_tenant_user_Version('Tanggal bisnis') u ON c.owner_name = TOLOWER(u.yun_account) WHERE c.catalog_name = 'nama_katalog_anda' AND c.database_name = 'nama_database_anda' AND c.table_name = 'nama_tabel_anda' ;- Versi: Menentukan versi paket pembukaan data yang Anda instal dan gunakan. Format versi mirip dengan v1_1. Anda dapat menjalankan perintah DESCRIBE PACKAGE untuk menanyakan versi aktual dari paket pembukaan data yang Anda gunakan. Untuk informasi lebih lanjut, lihat Lihat Tabel atau Tampilan yang Disediakan oleh Paket Pembukaan Data.
- Tanggal bisnis: Mewakan tanggal bisnis spesifik pada mana Anda ingin melihat informasi metadata. Tanggal ditampilkan dalam format yyyymmdd. Jika tidak menentukan tanggal bisnis tertentu, informasi metadata pada semua tanggal bisnis akan ditanyakan.
- nama_katalog_anda: Menentukan mesin komputasi yang metadata-nya ingin Anda lihat. Atur nilainya menjadi odps.
- nama_database_anda: Menentukan nama proyek di mana Anda ingin melihat informasi metadata. Tentukan parameter ini sesuai kebutuhan bisnis Anda.
- nama_tabel_anda: Menentukan nama tabel yang metadata-nya ingin Anda lihat. Tentukan parameter ini sesuai kebutuhan bisnis Anda.
- Tanyakan detail pemilik dari sebuah node.
Dalam perintah sebelumnya:SELECT t.project_id, t.node_id, t.node_name, t.create_user, u.account_name AS create_user_name, u.nick as create_user_nick, t.modify_user, m.account_name AS modify_user_name, m.nick as modify_user_nick FROM u_meta_hangzhou.raw_v_schedule_node_Version('Tanggal bisnis') t LEFT OUTER JOIN u_meta_hangzhou.raw_v_tenant_user_Version('Tanggal bisnis') u ON t.create_user = u.yun_account LEFT OUTER JOIN u_meta_hangzhou.raw_v_tenant_user_Version('Tanggal bisnis') m ON t.modify_user = m.yun_account WHERE t.node_id = your_node_id AND t.project_env = 'lingkungan_proyek_anda' ;- Versi: Menentukan versi paket pembukaan data yang Anda instal dan gunakan. Format versi mirip dengan v1_1. Anda dapat menjalankan perintah DESCRIBE PACKAGE untuk menanyakan versi aktual dari paket pembukaan data yang Anda gunakan. Untuk informasi lebih lanjut, lihat Lihat Tabel atau Tampilan yang Disediakan oleh Paket Pembukaan Data.
- Tanggal bisnis: Mewakili tanggal bisnis spesifik pada mana Anda ingin melihat informasi metadata. Tanggal ditampilkan dalam format yyyymmdd. Jika tidak menentukan tanggal bisnis tertentu, informasi metadata pada semua tanggal bisnis akan ditanyakan.
- lingkungan_proyek_anda: Menentukan lingkungan Proyek MaxCompute yang metadata-nya ingin Anda lihat. Untuk melihat metadata dalam lingkungan pengembangan, atur nilainya menjadi DEV. Untuk melihat metadata dalam lingkungan produksi, atur nilainya menjadi PROD.
- your_node_id: Menentukan ID dari node yang metadata-nya ingin Anda lihat.
Kode berikut memberikan contoh perintah:
- Tanyakan detail pemilik dari sebuah tabel pada 9 Januari 2021.
Gambar berikut menunjukkan hasil query.SELECT c.catalog_name, c.database_name, c.table_name, c.owner_name, u.account_name, u.nick FROM u_meta_hangzhou.raw_v_meta_table_v1_1('20210109') c LEFT OUTER JOIN u_meta_hangzhou.raw_v_tenant_user_v1_1('20210109') u ON c.owner_name = TOLOWER(u.yun_account) WHERE c.catalog_name = 'odps' AND c.database_name = 'isv2' AND c.table_name = 'ods_user_info_d' ;
- Tanyakan detail pemilik dari node pemicu otomatis dan detail pengguna yang memodifikasi node pemicu otomatis pada 9 Januari 2021.
Gambar berikut menunjukkan hasil query.SELECT t.project_id, t.node_id, t.node_name, t.create_user, u.account_name AS create_user_name, u.nick as create_user_nick, t.modify_user, m.account_name AS modify_user_name, m.nick as modify_user_nick FROM u_meta_hangzhou.raw_v_schedule_node_v1_1('20210109') t LEFT OUTER JOIN u_meta_hangzhou.raw_v_tenant_user_v1_1('20210109') u ON t.create_user = u.yun_account LEFT OUTER JOIN u_meta_hangzhou.raw_v_tenant_user_v1_1('20210109') m ON t.modify_user = m.yun_account WHERE t.node_id = 1000454827 AND t.project_env = 'PROD' ;
Apa yang harus dilakukan selanjutnya
Tampilan yang disediakan oleh fitur pembukaan data mendukung parameter tanggal dalam format yyyyMMdd. Anda dapat membuat partisi berdasarkan tanggal dan menanyakan data historis hingga 30 hari terakhir. Jika memiliki kebutuhan seperti analisis tren metrik, Anda dapat menanyakan data berdasarkan tanggal bisnis. Kemudian, simpan data tersebut ke dalam proyek dan gunakan sebagai data historis yang diperlukan untuk melakukan analisis metrik.