Instal atau uninstall paket Open Data (Versi pratinjau undangan akan segera dihentikan publikasinya) -

DataWorks menyediakan fitur Open Data. Sebelum Anda dapat menggunakan fitur ini untuk mengumpulkan metadata, Anda harus menginstal paket Open Data di proyek Anda. Topik ini menjelaskan cara menginstal paket Open Data dan melihat hasil instalasi.

Rekomendasi

Fitur Open Data DataWorks telah beralih dari pratinjau undangan ke rilis resmi. Versi resmi menyediakan antarmuka visual yang memudahkan Anda menjelajahi dan mengelola metadata. Dokumen ini akan segera ditinggalkan. Kami menyarankan Anda menggunakan versi resmi. Untuk informasi selengkapnya, lihat Kelola open data.

Batasan

Fitur Open Data hanya tersedia di DataWorks Edisi Perusahaan. Versi ini hanya mendukung penginstalan paket Open Data melalui baris perintah.
Penting
DataWorks telah merilis fitur Open Data baru yang memungkinkan Anda melihat dan mengelola metadata secara efisien melalui antarmuka visual. Untuk informasi selengkapnya, lihat Kelola open data.
Fitur Open Data hanya dapat digunakan bersama mesin komputasi MaxCompute. Fitur ini tidak mendukung pengumpulan metadata dari mesin komputasi lainnya.

Instal paket Open Data

Dapatkan izin.
Sebelum menginstal paket Open Data, Anda harus mendapatkan otorisasi yang diperlukan. Kirim Tiket dan berikan informasi proyek Anda kepada dukungan teknis DataWorks. Setelah otorisasi diberikan, Anda dapat menginstal paket tersebut di proyek Anda dan menggunakan fitur Open Data untuk mengumpulkan metadata.
Catatan
Saat mengirim tiket, sertakan UID Alibaba Cloud Anda, nama ruang kerja, ID ruang kerja, dan Wilayah tempat ruang kerja tersebut berada.
Proyek harus memenuhi persyaratan berikut:
- Proyek harus memiliki mekanisme pengelolaan izin yang kuat untuk mencegah kebocoran data akibat berbagi metadata yang dikumpulkan tanpa batasan.
- Proyek harus dapat dibagikan dalam perusahaan atau tim Anda agar metadata yang dikumpulkan dapat digunakan lintas tim pengembangan data.
Instal paket Open Data sebagai Pemilik proyek.
Contoh berikut menunjukkan cara menginstal paket di DataStudio. Masuk ke halaman DataStudio dari proyek yang telah diberi otorisasi, lalu jalankan perintah instalasi pada node ODPS.
Catatan
- Jika proyek yang diberi otorisasi berada dalam mode standar, Anda harus menginstal paket Open Data baik di lingkungan produksi maupun pengembangan karena kedua lingkungan tersebut terisolasi dalam mode standar.
- Dalam perintah instalasi, ganti nama proyek u_meta dan nama paket Open Data sesuai dengan Wilayah tempat Anda menginstal paket tersebut. Contoh berikut menunjukkan cara menginstal paket Open Data di Wilayah Tiongkok (Hangzhou).
```
-- Instal paket Open Data untuk Wilayah Tiongkok (Hangzhou) di lingkungan pengembangan (work_test_2_dev).
INSTALL PACKAGE u_meta_hangzhou.systables;

-- Instal paket Open Data untuk Wilayah Tiongkok (Hangzhou) di lingkungan produksi (work_test_2).
USE work_test_2;
INSTALL PACKAGE u_meta_hangzhou.systables;
```
Parameter:
- u_meta_hangzhou: Nama proyek u_meta untuk paket Open Data di Wilayah Tiongkok (Hangzhou).
- systables: Nama paket Open Data. Setelah instalasi, Anda dapat menggunakan tabel atau Tampilan untuk mengumpulkan metadata dari berbagai dimensi, seperti metadata partisi dan metadata lineage tabel.
Alibaba Cloud menyediakan paket Open Data untuk beberapa Wilayah. Nama proyek u_meta bervariasi tergantung Wilayahnya. Untuk informasi selengkapnya tentang nama proyek u_meta di setiap Wilayah, lihat Lampiran 2: Daftar proyek terbuka. Saat menggunakan fitur Open Data di suatu Wilayah, Anda harus menginstal paket Open Data yang sesuai dan mengganti nama proyek u_meta dengan nama proyek aktual.

Lihat hasil instalasi.

Dalam daftar paket yang diinstal, temukan paket yang PackageName dan SourceProject-nya sesuai dengan langkah sebelumnya. Jika Status paket tersebut adalah OK, berarti paket Open Data telah berhasil diinstal.

-- Periksa apakah paket u_meta_hangzhou.systables telah diinstal di proyek.
SHOW PACKAGES;

-- Contoh keluaran
+-------------+-----------------+--------------------------+--------+
| PackageName | SourceProject   | InstallTime              | Status |
+-------------+-----------------+--------------------------+--------+
| systables   | u_meta_hangzhou | 2020-11-26T15:25:22+0800 | OK     |
+-------------+-----------------+--------------------------+--------+

Lihat tabel atau Tampilan yang disediakan oleh fitur Open Data

Saat menggunakan fitur Open Data, Anda harus menggunakan nama lengkap tabel atau Tampilan karena nama-nama tersebut dapat berbeda di berbagai versi paket.

Jalankan perintah berikut untuk melihat daftar tabel dan Tampilan yang disediakan oleh fitur Open Data saat ini serta mendapatkan nama dan izinnya.

DESCRIBE PACKAGE u_meta_hangzhou.systables;

Contoh berikut menunjukkan cara menjalankan perintah kueri di DataStudio dan menampilkan hasilnya.

Catatan

Nama tabel dan Tampilan dalam paket Open Data mencakup informasi versi yang berubah seiring pembaruan fitur. Versi yang Anda gunakan ditentukan oleh versi dalam paket systables. Misalnya, dalam Tampilan raw_v_tenant_user_v1_1, v1_1 adalah nomor versinya.

-- Lihat tabel atau Tampilan yang termasuk dalam paket u_meta_hangzhou.systables.
DESCRIBE PACKAGE u_meta_hangzhou.systables;

-- Contoh keluaran
CreateTime:         2020-11-18T20:17:24+0800
PackageName:        systables
SourceProject:      u_meta_hangzhou
Object List
+------------+-----------------------------------+------------------+
| ObjectType | ObjectName                        | ObjectPrivileges |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_biz_table_wiki_v1_1    | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_column_usage_v1_1      | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_column_v1_1            | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_database_v1_1          | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_partition_v1_1         | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_detail_log_v1_1  | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_join_map_v1_1    | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_lineage_v1_1     | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_output_v1_1      | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_usage_v1_1       | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_table_v1_1             | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_meta_view_v1_1              | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_schedule_di_resgroup_v1_1   | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_schedule_node_relation_v1_1 | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_schedule_node_v1_1          | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_schedule_task_v1_1          | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_tenant_res_group_v1_1       | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_tenant_user_v1_1            | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_tenant_workspace_user_v1_1  | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | raw_v_tenant_workspace_v1_1       | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | rpt_v_meta_ind_table_core_v1_1    | Describe,Select  |
+------------+-----------------------------------+------------------+
| TABLE      | rpt_v_meta_ind_table_extra_v1_1   | Describe,Select  |
+------------+-----------------------------------+------------------+

Lihat struktur dan deskripsi bidang tabel atau Tampilan

Jalankan perintah berikut untuk melihat struktur dan deskripsi bidang dari tabel atau Tampilan tertentu.

DESCRIBE u_meta_hangzhou.rpt_v_meta_ind_table_core_v1_0;

Dalam perintah tersebut, rpt_v_meta_ind_table_core_v1_0 adalah nama tabel atau Tampilan yang akan dikueri. Anda dapat memperoleh nama aktual tabel atau Tampilan tersebut seperti yang dijelaskan dalam Lihat tabel atau Tampilan yang disediakan oleh fitur Open Data.

Catatan

DataWorks menyediakan data dari berbagai dimensi, seperti data detail, data metrik, dan data dimensi. Anda dapat memilih untuk mengambil dan menyimpan data tersebut ke proyek DataWorks Anda sesuai kebutuhan. Data ini dapat digunakan sebagai data historis untuk tata kelola data atau O&M, sehingga membantu Anda menghindari penggunaan ruang penyimpanan yang tidak perlu.

Contoh berikut menunjukkan perintah dan hasil kueri untuk melihat Tampilan rpt_v_meta_ind_table_core di DataStudio.

-- Lihat deskripsi bidang dari Tampilan rpt_v_meta_ind_table_core.
DESCRIBE u_meta_hangzhou.rpt_v_meta_ind_table_core_v1_0;

-- Contoh keluaran
+------------------------------------------------------------------------------------+
| Owner: ALIYUN$dataworks-datagovernance | Project: u_meta_hangzhou                             |
| TableComment: Core metrics of the table in the metadata module                                                       |
+------------------------------------------------------------------------------------+
| CreateTime:               2020-12-07 20:02:53                                      |
| LastDDLTime:              2020-12-07 20:02:53                                      |
| LastModifiedTime:         2020-12-07 20:02:53                                      |
+------------------------------------------------------------------------------------+
| VirtualView  : YES  | ViewText: CREATE OR REPLACE VIEW rpt_v_meta_ind_table_core_v1_1 (@param_biz_date STRING)
RETURNS @ret_result TABLE (
    tenant_id            BIGINT           COMMENT     'Dimension: DataWorks tenant ID',
    project_id           BIGINT           COMMENT     'Dimension: DataWorks project (workspace) ID',
    catalog_name         STRING           COMMENT     'Dimension: The catalog to which the table belongs. The value for a MaxCompute project is odps.',
    database_name        STRING           COMMENT     'Dimension: Database or MaxCompute project name',
    table_name           STRING           COMMENT     'Dimension: Table name',
    table_uuid           STRING           COMMENT     'Dimension: Unique identifier of the table',
    owner_yun_acct       STRING           COMMENT     'Dimension: Alibaba Cloud account of the table owner',
    dim_life_cycle       BIGINT           COMMENT     'Dimension: Lifecycle. 0 indicates that no lifecycle is set. Other values indicate the specific lifecycle value.',
    is_partition_table   BOOLEAN          COMMENT     'Dimension: Indicates whether the table is a partitioned table. true indicates that it is a partitioned table.',
    entity_type          BIGINT           COMMENT     'Dimension: Entity type. 0 indicates a table, and 1 indicates a view.',
    categories           STRING           COMMENT     'Dimension: Category information',
    last_access_time     BIGINT           COMMENT     'Dimension: The last time the table was accessed (10-digit UNIX timestamp)',
    `size`               BIGINT           COMMENT     'Table size. This refers to the logical storage value occupied by the data. The storage amount for a view is NULL.',
    column_count         BIGINT           COMMENT     'Number of fields (including partition key columns)',
    partition_count      BIGINT           COMMENT     'Number of partitions. This value is NULL for a non-partitioned table.',
    detail_view_count    BIGINT           COMMENT     'The number of times the table details were viewed on the page',
    favorite_count       BIGINT           COMMENT     'The number of times the table was added to favorites',
    biz_date             STRING           COMMENT     'Business data date'
) COMMENT 'Core metrics of the table in the metadata module' AS
SELECT * FROM u_meta_hangzhou.rpt_v_meta_ind_table_core_proxy(@param_biz_date) |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| tenant_id       | bigint     |       | Dimension: DataWorks tenant ID                            |
| project_id      | bigint     |       | Dimension: DataWorks project (workspace) ID                      |
| catalog_name    | string     |       | Dimension: The catalog to which the table belongs. The value for a MaxCompute project is odps.          |
| database_name   | string     |       | Dimension: Database or MaxCompute project name                             |
| table_name      | string     |       | Dimension: Table name                                      |
| table_uuid      | string     |       | Dimension: Unique identifier of the table                                    |
| owner_yun_acct  | string     |       | Dimension: Alibaba Cloud account of the table owner                                |
| dim_life_cycle  | bigint     |       | Dimension: Lifecycle. 0 indicates that no lifecycle is set. Other values indicate the specific lifecycle value.              |
| is_partition_table | boolean    |       | Dimension: Indicates whether the table is a partitioned table. true indicates that it is a partitioned table.                        |
| entity_type     | bigint     |       | Dimension: Entity type. 0 indicates a table, and 1 indicates a view.                    |
| categories      | string     |       | Dimension: Category information                                     |
| last_access_time | bigint     |       | Dimension: The last time the table was accessed (10-digit UNIX timestamp)               |
| size            | bigint     |       | Table size. This refers to the logical storage value occupied by the data. The storage amount for a view is NULL.              |
| column_count    | bigint     |       | Number of fields (including partition key columns)                                  |
| partition_count | bigint     |       | Number of partitions. This value is NULL for a non-partitioned table.                          |
| detail_view_count | bigint     |       | The number of times the table details were viewed on the page                                |
| favorite_count  | bigint     |       | The number of times the table was added to favorites                                  |
| biz_date        | string     |       | Business data date                                      |
+------------------------------------------------------------------------------------+

Untuk informasi selengkapnya tentang struktur tabel atau Tampilan, lihat Lampiran 1: Daftar dan detail struktur Tampilan.

Uninstall paket Open Data

Contoh berikut menunjukkan cara meng-uninstall paket Open Data di DataStudio. Perintah uninstall-nya adalah sebagai berikut.

Catatan

Jika proyek yang diberi otorisasi berada dalam mode standar, Anda harus meng-uninstall paket Open Data dari lingkungan pengembangan maupun produksi karena kedua lingkungan tersebut terisolasi dalam mode standar.

-- Uninstall dari proyek pengembangan (work_test_2_dev).
UNINSTALL PACKAGE u_meta_hangzhou.systables;

-- Uninstall dari proyek produksi (work_test_2).
USE work_test_2;
UNINSTALL PACKAGE u_meta_hangzhou.systables;

Apa yang harus dilakukan selanjutnya

Setelah menginstal paket Open Data, Anda dapat menggunakan fitur Open Data untuk mengumpulkan metadata guna tata kelola data atau O&M. Untuk informasi selengkapnya tentang cara menggunakan fitur Open Data, lihat Gunakan fitur Open Data.