Instal atau uninstall paket Open Data (Versi pratinjau undangan akan segera dihentikan publikasinya) -

Untuk menggunakan Open Data guna pengumpulan metadata, Anda harus terlebih dahulu menginstal paket Open Data di Proyek Anda. Topik ini menjelaskan proses instalasi dan verifikasi.

Penting

DataWorks telah meluncurkan fitur Open Data baru yang mendukung visualisasi untuk manajemen metadata yang intuitif dan efisien. Untuk informasi selengkapnya, lihat Manage Open Data.

Rekomendasi

Fitur Open Data DataWorks telah beralih dari fase undangan awal ke rilis stabil yang tersedia secara umum (GA). Versi GA menyediakan visualisasi untuk memudahkan penelusuran dan manajemen metadata. Dokumen ini akan segera dihentikan. Kami menyarankan Anda menggunakan versi GA. Untuk petunjuknya, lihat Manage Open Data.

Batasan

Fitur Open Data hanya tersedia di DataWorks Enterprise Edition. Dengan versi undangan ini, Anda hanya dapat menginstal paket Open Data dari command line.
Open Data hanya didukung di mesin komputasi MaxCompute.

Instal paket Open Data

Dapatkan otorisasi.
Sebelum menginstal paket Open Data, Anda harus mendapatkan otorisasi. Anda dapat submit a ticket untuk memberikan informasi Proyek Anda kepada tim dukungan teknis DataWorks. Setelah tim dukungan teknis DataWorks memberikan otorisasi pada Proyek Anda, Anda dapat menginstal paket tersebut untuk mengumpulkan metadata.

Catatan
Saat mengirimkan Tiket, sertakan ID akun Alibaba Cloud, nama ruang kerja, ID ruang kerja, dan Wilayah tempat ruang kerja tersebut berada.

Kami merekomendasikan agar Proyek memenuhi persyaratan berikut untuk otorisasi:
- Proyek memiliki sistem Pengelolaan izin yang kuat untuk mencegah kebocoran data akibat pembagian metadata yang tidak sah.
- Proyek dapat dibagikan dalam perusahaan atau tim Anda. Hal ini memungkinkan metadata dari DataWorks dibagikan di antara berbagai tim pengembangan data.
Instal paket Open Data sebagai Pemilik proyek.
Contoh ini menunjukkan cara menginstal paket di DataStudio. Masuk ke halaman DataStudio dari Proyek yang telah diotorisasi dan jalankan perintah instalasi pada node MaxCompute.
Catatan
- Jika Proyek yang diotorisasi berada dalam mode standar, di mana lingkungan pengembangan dan lingkungan produksi terisolasi, Anda harus menginstal paket DataWorks Open Data di kedua lingkungan tersebut.
- Pada perintah instalasi, ganti nama proyek u_meta dan nama paket Open Data sesuai dengan Wilayah instalasi. Perintah berikut menunjukkan cara menginstal paket Open Data untuk Wilayah Tiongkok (Hangzhou).
```
-- Install the Open Data package for the China (Hangzhou) region in the development environment (work_test_2_dev).
INSTALL PACKAGE u_meta_hangzhou.systables;

-- Install the Open Data package for the China (Hangzhou) region in the production environment (work_test_2).
USE work_test_2;
INSTALL PACKAGE u_meta_hangzhou.systables;
```
Parameter:
- u_meta_hangzhou: Nama proyek u_meta untuk paket Open Data di Wilayah Tiongkok (Hangzhou).
- systables: Nama paket Open Data. Setelah diinstal, Anda dapat menggunakan tabel dan Tampilannya untuk mengumpulkan berbagai jenis metadata, termasuk metadata partisi dan lineage tabel.
Alibaba Cloud menyediakan paket Open Data untuk beberapa Wilayah. Nama proyek u_meta berbeda-beda tergantung Wilayahnya. Untuk daftar nama proyek u_meta di setiap Wilayah, lihat Appendix 2: List of available projects. Anda harus menginstal paket Open Data yang sesuai dengan Wilayah tempat Anda ingin menggunakan Open Data. Ganti nama proyek u_meta dengan yang sesuai untuk Wilayah Anda.

Verifikasi instalasi.

Pada daftar paket yang telah diinstal, temukan paket yang PackageName dan SourceProject-nya sesuai dengan langkah sebelumnya. Jika Status bernilai OK, berarti paket Open Data berhasil diinstal.

-- Check if u_meta_hangzhou.systables is in the list of installed packages for the project.
SHOW PACKAGES;

-- Sample output
+-------------+-----------------+--------------------------+--------+
| PackageName | SourceProject   | InstallTime              | Status |
+-------------+-----------------+--------------------------+--------+
| systables   | u_meta_hangzhou | 2020-11-26T15:25:22+0800 | OK     |
+-------------+-----------------+--------------------------+--------+

Lihat tabel dan Tampilan Open Data

Saat menggunakan Open Data, Anda harus memasukkan nama lengkap tabel atau Tampilan tersebut. Nama-nama tersebut dapat berbeda antarversi paket Open Data.

Jalankan perintah berikut untuk mencantumkan tabel dan Tampilan dalam instalasi Open Data Anda, beserta nama dan izinnya.

DESCRIBE PACKAGE u_meta_hangzhou.systables;

Contoh berikut menunjukkan cara menjalankan perintah kueri di DataStudio dan output yang dihasilkan.

Catatan

Nama tabel dan Tampilan dalam Open Data mencakup informasi versi, yang berubah seiring iterasi fitur. Nomor versi yang Anda gunakan harus didasarkan pada yang ada di paket systables, karena merupakan sumber resmi. Misalnya, dalam nama Tampilan raw_v_tenant_user_v1_1, v1_1 adalah nomor versinya.

-- View the tables or views contained in the u_meta_hangzhou.systables package.
DESCRIBE PACKAGE u_meta_hangzhou.systables;

-- Sample output
CreateTime:        2020-11-18T20:17:24+0800
PackageName:        systables
SourceProject:      u_meta_hangzhou
Object List
+------------+-----------------------------------+------------------+
| ObjectType | ObjectName                        | ObjectPrivileges |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_biz_table_wiki_v1_1    | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_column_usage_v1_1      | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_column_v1_1            | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_database_v1_1          | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_partition_v1_1         | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_detail_log_v1_1  | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_join_map_v1_1    | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_lineage_v1_1     | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_output_v1_1      | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_usage_v1_1       | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_v1_1             | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_view_v1_1              | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_schedule_di_resgroup_v1_1   | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_schedule_node_relation_v1_1 | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_schedule_node_v1_1          | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_schedule_task_v1_1          | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_tenant_res_group_v1_1       | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_tenant_user_v1_1            | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_tenant_workspace_user_v1_1  | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_tenant_workspace_v1_1       | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | rpt_v_meta_ind_table_core_v1_1    | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | rpt_v_meta_ind_table_extra_v1_1   | Describe,Select  |
+------------+-----------------------------------+------------------+

Lihat skema dan deskripsi bidang

Jalankan perintah berikut untuk melihat skema dan deskripsi bidang dari tabel atau Tampilan tertentu.

DESCRIBE u_meta_hangzhou.rpt_v_meta_ind_table_core_v1_1;

Di sini, rpt_v_meta_ind_table_core_v1_0 adalah nama tabel atau Tampilan yang ingin Anda lihat. Anda dapat memperoleh nama aktual tabel atau Tampilan tersebut dari Tabel atau Tampilan yang disediakan oleh DataWorks Open Data.

Catatan

DataWorks menyediakan data dalam berbagai dimensi, termasuk namun tidak terbatas pada data detail, data metrik, dan data dimensi. Anda dapat memilih untuk mengambil dan menyimpan data ke Proyek DataWorks Anda sesuai kebutuhan. Data ini dapat digunakan sebagai data historis untuk tata kelola data atau O&M guna menghindari konsumsi penyimpanan yang tidak perlu.

Contoh berikut menunjukkan cara menggunakan DataStudio untuk melihat Tampilan rpt_v_meta_ind_table_core, menampilkan perintah dan outputnya.

-- View the field descriptions for the rpt_v_meta_ind_table_core view.
DESCRIBE u_meta_hangzhou.rpt_v_meta_ind_table_core_v1_1;

-- Sample output
+------------------------------------------------------------------------------------+
| Owner: ALIYUN$dataworks-datagovernance | Project: u_meta_hangzhou                             |
| TableComment: Core metrics for tables in the metadata module                               |
+------------------------------------------------------------------------------------+
| CreateTime:               2020-12-07 20:02:53                                      |
| LastDDLTime:              2020-12-07 20:02:53                                      |
| LastModifiedTime:         2020-12-07 20:02:53                                      |
+------------------------------------------------------------------------------------+
| VirtualView  : YES  | ViewText: CREATE OR REPLACE VIEW rpt_v_meta_ind_table_core_v1_1 (@param_biz_date STRING)
RETURNS @ret_result TABLE (
    tenant_id            BIGINT           COMMENT     'Dimension: DataWorks tenant ID',
    project_id           BIGINT           COMMENT     'Dimension: DataWorks project (workspace) ID',
    catalog_name         STRING           COMMENT     'Dimension: Catalog. For MaxCompute projects, the value is odps.',
    database_name        STRING           COMMENT     'Dimension: Database or MaxCompute project name',
    table_name           STRING           COMMENT     'Dimension: Table name',
    table_uuid           STRING           COMMENT     'Dimension: Unique table identifier',
    owner_yun_acct       STRING           COMMENT     'Dimension: Alibaba Cloud account of the table owner',
    dim_life_cycle       BIGINT           COMMENT     'Dimension: Lifecycle period. 0 indicates that no lifecycle is set; other values represent specific periods.',
    is_partition_table   BOOLEAN          COMMENT     'Dimension: Specifies whether the table is partitioned. true indicates a partitioned table.',
    entity_type          BIGINT           COMMENT     'Dimension: Entity type. 0: table, 1: view.',
    categories           STRING           COMMENT     'Dimension: Category information',
    last_access_time     BIGINT           COMMENT     'Dimension: Last access time of the table (10-digit UNIX timestamp).',
    `size`               BIGINT           COMMENT     'Table size. This refers to the logical storage size of the data. The value is NULL for a view.',
    column_count         BIGINT           COMMENT     'The column count, including partition columns.',
    partition_count      BIGINT           COMMENT     'The partition count. This value is NULL for non-partitioned tables.',
    detail_view_count    BIGINT           COMMENT     'The number of times the table details were viewed in the UI.',
    favorite_count       BIGINT           COMMENT     'The number of times the table has been added to favorites.',
    biz_date             STRING           COMMENT     'The business date of the data.'
) COMMENT 'Core metrics for tables in the metadata module' AS
SELECT * FROM u_meta_hangzhou.rpt_v_meta_ind_table_core_proxy(@param_biz_date) |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| tenant_id       | bigint     |       | Dimension: DataWorks tenant ID                            |
| project_id      | bigint     |       | Dimension: DataWorks project (workspace) ID                      |
| catalog_name    | string     |       | Dimension: Catalog. For MaxCompute projects, the value is odps.          |
| database_name   | string     |       | Dimension: Database or MaxCompute project name                             |
| table_name      | string     |       | Dimension: Table name                                      |
| table_uuid      | string     |       | Dimension: Unique table identifier                                    |
| owner_yun_acct  | string     |       | Dimension: Alibaba Cloud account of the table owner                                |
| dim_life_cycle  | bigint     |       | Dimension: Lifecycle period. 0 indicates that no lifecycle is set; other values represent specific periods.              |
| is_partition_table | boolean    |       | Dimension: Specifies whether the table is partitioned. true indicates a partitioned table.                        |
| entity_type     | bigint     |       | Dimension: Entity type. 0: table, 1: view.                    |
| categories      | string     |       | Dimension: Category information                                     |
| last_access_time | bigint     |       | Dimension: Last access time of the table (10-digit UNIX timestamp).               |
| size            | bigint     |       | Table size. This refers to the logical storage size of the data. The value is NULL for a view.              |
| column_count    | bigint     |       | The column count, including partition columns.                                  |
| partition_count | bigint     |       | The partition count. This value is NULL for non-partitioned tables.                          |
| detail_view_count | bigint     |       | The number of times the table details were viewed in the UI.                                |
| favorite_count  | bigint     |       | The number of times the table has been added to favorites.                                  |
| biz_date        | string     |       | The business date of the data.                                      |
+------------------------------------------------------------------------------------+

Untuk detail lebih lanjut mengenai skema tabel dan Tampilan, lihat Appendix 1: Lists and structure details of metadata tables.

Uninstal paket Open Data

Contoh ini menunjukkan cara menguninstal paket Open Data di DataStudio.

Catatan

Jika Proyek yang diotorisasi berada dalam mode standar, di mana lingkungan pengembangan dan lingkungan produksi terisolasi, Anda harus menguninstal paket DataWorks Open Data dari kedua lingkungan tersebut.

-- Uninstall from the development project (work_test_2_dev).
UNINSTALL PACKAGE u_meta_hangzhou.systables;

-- Uninstall from the production project (work_test_2).
USE work_test_2;
UNINSTALL PACKAGE u_meta_hangzhou.systables;

Langkah berikutnya

Setelah menginstal paket Open Data, Anda dapat menggunakan Open Data untuk mengumpulkan metadata guna mendukung tata kelola data atau O&M. Untuk informasi selengkapnya tentang cara menggunakan Open Data, lihat Use Open Data.