DataWorks開放資料為您提供各維度表或視圖,便於您採集中繼資料。本文為您介紹當前DataWorks開放資料提供的表和視圖列表,及其結構明細。
開放資料所提供的中繼資料,如無特殊說明,中繼資料僅包含MaxCompute引擎下的中繼資料。
META中繼資料
RPT指標
RAW明細
調度中繼資料
租戶中繼資料
Table核心指標rpt_v_meta_ind_table_core
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案(工作空間)ID |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_name | string | 表名稱 |
table_uuid | string | 表唯一標識 |
owner_yun_acct | string | 表Owner雲帳號 |
dim_life_cycle | bigint | 生命週期,單位為天。
|
is_partition_table | boolean | 是否為分區表。
|
entity_type | bigint | 實體類型。
|
categories | string | 類目資訊 |
last_access_time | bigint | 表最後訪問時間(10位UNIX_TIMESTAMP) |
size | bigint | 表大小,此處指資料佔用的邏輯儲存值,單位為Byte,視圖對應儲存量為NULL。 |
column_count | bigint | 欄位數量(含分區列) |
partition_count | bigint | 分區數量,對於非分區表該值為NULL。 |
detail_view_count | bigint | 通過頁面查看錶詳情的次數 |
favorite_count | bigint | 添加表到收藏的次數 |
Table額外指標rpt_v_meta_ind_table_extra
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
table_uuid | string | 表唯一標識 |
read_count | bigint | 讀取次數(通過SQL讀取次數,包含非調度任務) |
read_count_30d | bigint | 30天讀取次數(通過SQL讀取次數,包含非調度任務) |
write_count | bigint | 寫入次數(通過SQL寫入次數,包含非調度任務) |
join_count | bigint | 關聯次數,即作為join運算的參與方的次數。 |
direct_upstream_count | bigint | 血緣關係中,其直接上遊表的數量。 |
direct_downstream_count | bigint | 血緣關係中,其直接下遊表的數量。 |
output_task_count | bigint | 產出當前表的任務數量 |
資料庫(ODPS專案)中繼資料明細raw_v_meta_database
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID |
env_type | bigint | 環境類型。
|
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
database_comment | string | 資料庫或ODPS專案描述 |
owner_name | string | 所有者名稱 |
created_time_ts | bigint | 建立時間戳記(13位元字時間戳記) |
last_modified_time_ts | bigint | 最後修改時間(13位元字時間戳記) |
location | string | 資料庫儲存路徑 |
extras | string | 資料庫額外屬性資訊,為JSON字元格式設定。 MaxCompute專案如果設定了預覽和表可見範圍屬性,可以通過KEY:allowDataPreview和projectVisibility擷取。
|
biz_date | string | 業務資料日期 |
表(table)中繼資料明細raw_v_meta_table
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | string | DataWorks專案ID |
table_uuid | string | 表唯一標識 |
table_name | string | 表名稱 |
table_type | string | 表類型 |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
partition_keys | string | 表的分區鍵。多級分區使用英文逗號(,)分隔,非分區表該值為空白字串。 |
table_comment | string | 表描述資訊 |
table_biz_comment | string | 表業務描述資訊 |
visibility_scope | bigint | 表可見範圍。
|
owner_name | string | 所有者名稱 |
created_time_ts | bigint | 建立時間(13位元字時間戳記) |
last_modified_time_ts | bigint | 資料最後修改時間(13位元字時間戳記) |
last_meta_modified_time_ts | bigint | 表中繼資料最後變更時間(13位元字時間戳記) |
location | string | 表格儲存體路徑 |
life_cycle | bigint | 表生命週期,單位為天。 |
data_size | bigint | 表的邏輯儲存量,單位為Byte。當表為分區表時,該值為NULL,需要根據其分區列表統計儲存量。 |
biz_date | string | 業務資料日期 |
視圖(view)中繼資料明細raw_v_meta_view
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | string | DataWorks專案ID |
table_uuid | string | 表唯一標識 |
table_name | string | 表名稱 |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_comment | string | 表描述資訊 |
table_biz_comment | string | 表業務描述資訊 |
visibility_scope | bigint | 表可見範圍。
|
owner_name | string | 所有者名稱 |
created_time_ts | bigint | 建立時間(13位元字時間戳記) |
last_ddl_time_ts | bigint | DDL最後修改時間(13位元字時間戳記) |
view_text | string | 建立視圖的SQL語句 |
biz_date | string | 業務資料日期 |
列(column)中繼資料明細raw_v_meta_column
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_name | string | 表名稱 |
column_name | string | 欄位名稱 |
column_comment | string | 欄位描述資訊 |
column_biz_comment | string | 欄位業務描述資訊 |
column_type | string | 欄位類型 |
column_sequence | bigint | 欄位順序(從1開始) |
is_partition_key | boolean | 是否為分區鍵 |
is_primary_key | boolean | 是否為主鍵 |
biz_date | string | 業務資料日期 |
分區(partition)中繼資料明細 raw_v_meta_partition
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_name | string | 表名稱 |
partition_name | string | 分區名稱 |
size | bigint | 分區大小(邏輯大小),單位為Byte |
record_number | bigint | 分區記錄數量 |
created_time_ts | bigint | 建立時間(13位元字時間戳記) |
last_modified_time_ts | bigint | 最後修改時間(13位元字時間戳記) |
biz_date | string | 業務資料日期 |
表血緣(table-lineage)中繼資料明細raw_v_meta_table_lineage
因為SQL語言與使用者代碼等本身的複雜性,血緣功能做不到100%的完整性與準確性。請不要用此功能支援需要保證完整性與正確性的業務。
表血緣資料包含MaxCompute引擎產生的血緣關係和Data Integration離線同步任務產生的血緣關係。
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID |
src_type | string | 來源資料源類型 |
src_data_source_id | string | 來源資料源標識 |
src_database | string | 來源資料庫 |
src_table | string | 源表 |
dest_type | string | 目標資料來源類型 |
dest_data_source_id | string | 目標資料來源標識 |
dest_database | string | 目標資料庫 |
dest_table | string | 目標表 |
schedule_task_id | string | 調度任務ID |
schedule_instance_id | string | 調度任務執行個體ID |
schedule_task_owner | string | 調度任務Owner |
job_start_time_ts | bigint | 任務開始時間(13位元字時間戳記) |
job_end_time_ts | bigint | 任務結束時間(13位元字時間戳記) |
execute_time | bigint | 任務耗時,單位為秒 |
input_record_number | bigint | 源表輸入記錄數 |
biz_date | string | 業務資料日期 |
表產出任務(table-output)中繼資料明細raw_v_meta_table_output
資料地圖頁面透出的產出任務只有ODPS表,此處產出表類型是大血緣支援的表類型。
產出資訊基於血緣計算。
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID,此處指運行調度任務的專案。 |
type | string | 資料來源類型 |
data_source_id | string | 資料來源標識 |
database | string | 資料庫 |
table | string | 表名稱 |
schedule_task_id | string | 調度任務ID |
schedule_instance_id | string | 調度任務執行個體ID |
schedule_task_owner | string | 調度任務Owner |
job_start_time_ts | bigint | 任務開始時間(13位元字時間戳記) |
job_end_time_ts | bigint | 任務結束時間(13位元字時間戳記) |
execute_time | bigint | 任務耗時,單位為秒。 |
biz_date | string | 業務資料日期 |
表使用(table-usage)資訊中繼資料明細raw_v_meta_table_usage
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID,此處指運行調度任務的專案。 |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_name | string | 表名稱 |
schedule_task_id | string | 調度任務ID |
schedule_task_owner | string | 調度任務的負責人,如果當前任務未經DataWorks調度,該值為NULL |
job_id | string | 任務標識(此處不一定是DataWorks調度任務執行個體),可以基於此來統計表讀取,寫入次數等 |
op_type | string | 操作類型,如READ、WRITE、UNKNOWN等 |
extras | string | 額外資訊,格式為JSON字串格式。 動作表的任務為ODPS任務時,可以通過KEY為task_name擷取ODPS任務名稱。若DataWorks調度任務ID不為空白,可以通過schedule_task_name屬性擷取調度任務名稱。例如 |
biz_date | string | 業務資料日期 |
欄位使用(column-usage)資訊中繼資料明細raw_v_meta_column_usage
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID,此處指運行調度任務的專案。 |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_name | string | 表名稱 |
column_name | string | 欄位名稱 |
schedule_task_id | string | 調度任務ID |
schedule_task_owner | string | 調度任務的負責人,如果當前任務未經DataWorks調度,該值為NULL |
inst_id | string | 任務標識(此處不一定是DataWorks調度任務執行個體) |
op_type | string | 操作類型,如select、join、groupby、where等 |
extras | string | 額外資訊,JSON字串。 動作表的任務為ODPS任務時,可以通過KEY為task_name擷取ODPS任務名稱。若DataWorks調度任務ID不為空白,可以通過schedule_task_name屬性擷取調度任務名稱。例如 |
biz_date | string | 業務資料日期 |
表WIKI(table-wiki)資訊中繼資料明細raw_v_meta_biz_table_wiki
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID,此處指運行調度任務的專案。 |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_name | string | 表名稱 |
version | string | wiki版本號碼 |
operator | string | 最後操作人,可能是某一任的表owner。 |
content | string | 以Markdown格式編寫的wiki |
update_time_ts | bigint | 修改時間(13位元字時間戳記) |
biz_date | string | 業務資料日期 |
表頻繁關聯(table-join)資訊中繼資料明細raw_v_meta_table_join_map
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_name | string | 表名稱 |
column_name | string | 欄位名稱 |
join_database_name | string | 關聯資料庫或ODPS專案名稱 |
join_table_name | string | 關聯表名稱 |
join_column_name | string | 關聯欄位名稱 |
join_type | string | JOIN類型,比如:left,right,inner |
schedule_task_id | string | 調度任務ID |
schedule_task_owner | string | 調度任務的負責人 |
job_id | string | 引擎層的任務標識 |
extras | string | 額外資訊,格式為JSON字串格式。動作表的任務為ODPS任務時,可以通過KEY為task_name擷取ODPS任務名稱。 |
biz_date | string | 業務資料日期 |
中繼資料表詳情查看記錄明細raw_v_meta_table_detail_log
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
catalog_name | string | 所屬catalog。MaxCompute專案對應值為odps。 |
database_name | string | 資料庫或ODPS專案名稱 |
table_name | string | 表名稱 |
operator | string | 表詳情查看者 |
view_time_ts | bigint | 查看錶詳情時間(13位元字時間戳記) |
biz_date | string | 業務資料日期 |
中繼資料類目明細raw_v_meta_category
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
category_id | bigint | 類目ID |
category_name | string | 類目名稱 |
category_pid | bigint | 父類目ID(為0或NULL代表是頂級類目) |
depth | bigint | 類目層級(深度),一級類目為1 |
sort_field | double | 排序欄位 |
creator_account | string | 類目建立人帳號 |
created_time_ts | bigint | 建立時間戳記(13位元字時間戳記) |
last_modified_time_ts | bigint | 最後修改時間(13位元字時間戳記) |
biz_date | string | 業務資料日期 |
調度節點明細raw_v_schedule_node
名稱 | 類型 | 描述 |
tenant_id | bigint | 租戶ID |
project_id | bigint | 專案空間ID |
node_id | bigint | 節點ID |
node_name | string | 節點名稱 |
node_type | bigint | 節點調度類型。
|
prg_type | bigint | 節點類型,可參見支援的節點類型。
|
flow_id | bigint | 工作流程ID |
project_env | string | 環境標識。
|
create_time | bigint | 建立時間戳記(13位元字時間戳記) |
create_user | string | 建立人 |
modify_time | bigint | 最後修改時間(13位元字時間戳記) |
modify_user | string | 修改人 |
prg_name | string | 節點類型名稱 |
para_value | string | 執行參數 |
file_id | bigint | 對應的檔案ID |
file_version | bigint | 對應檔案版本 |
owner | string | 節點Owner |
resgroup_id | bigint | 資源群組ID |
baseline_id | bigint | 基準ID |
cycle_type | bigint | 調度周期。
|
repeatable | bigint | 重跑標識。
|
connection | string | 資料來源串連串 |
dqc_type | bigint | DQC類型。
|
dqc_description | string | DQC規則串 |
task_rerun_time | bigint | 任務可重跑次數 |
task_rerun_interval | bigint | 重跑間隔,單位為毫秒 |
cron_express | string | 節點的調度頻率CRON運算式 |
priority | bigint | 任務優先順序,取值為:1、3、5、7、8。數值越大優先順序越高。 |
start_effect_date | bigint | 節點的生效日期(13位元字時間戳記) |
end_effect_date | bigint | 節點的失效日期(13位元字時間戳記) |
biz_date | string | 業務資料日期 |
調度任務明細raw_v_schedule_task
名稱 | 類型 | 描述 |
tenant_id | bigint | 租戶ID |
project_id | bigint | 專案空間ID |
node_id | bigint | 節點ID |
node_name | string | 節點名稱 |
task_id | bigint | 任務名稱 |
dag_id | bigint | 工作流程的DAGID |
task_type | bigint | 任務調度類型。
|
dag_type | bigint | DAG類型。
|
prg_type | bigint | 節點類型,可參見支援的節點類型。
|
flow_id | bigint | 工作流程ID |
create_time | bigint | 建立時間戳記(13位元字時間戳記) |
modify_time | bigint | 最後修改時間(13位元字時間戳記) |
cycle_time | bigint | 調度時間(13位元字時間戳記) |
in_group_id | bigint | 任務序號 |
prg_name | string | 節點類型名稱 |
para_value | string | 執行參數 |
file_id | bigint | 對應的檔案ID |
file_version | bigint | 對應檔案版本 |
owner | string | 節點Owner |
resgroup_id | bigint | 資源群組ID |
baseline_id | bigint | 基準ID |
cycle_type | bigint | 調度周期
|
repeatable | bigint | 重跑標識。
|
connection | string | 資料來源串連串 |
dqc_type | bigint | DQC類型。
|
dqc_description | string | DQC規則串 |
task_rerun_time | bigint | 任務可重跑次數 |
task_rerun_interval | bigint | 重跑間隔,單位為毫秒 |
begin_waittime_time | bigint | 開始等時間的時間戳記(13位元字時間戳記) |
finish_time | bigint | 運行完成時間戳記(13位元字時間戳記) |
begin_waitres_time | bigint | 開始等資源的時間戳記(13位元字時間戳記) |
begin_run_time | bigint | 開始已耗用時間戳(13位元字時間戳記) |
rerun_times | bigint | 任務重跑次數 |
priority | bigint | 任務優先順序,取值為:1、3、5、7、8。數值越大優先順序越高。 |
task_key | string | 任務唯一標識 |
error_msg | string | 運行錯誤原因 |
status | bigint | 任務狀態。
|
biz_date | string | 業務資料日期 |
調度節點關係raw_v_schedule_node_relation
名稱 | 類型 | 描述 |
tenant_id | bigint | 租戶ID |
child_node_id | bigint | 下遊節點ID |
parent_node_id | bigint | 上遊節點ID |
step_type | bigint | 依賴關聯類型。
|
child_flow_id | bigint | 工作流程ID |
project_env | string | 環境標識。
|
create_time | bigint | 建立時間戳記(13位元字時間戳記) |
create_user | string | 建立人 |
modify_time | bigint | 最後修改時間(13位元字時間戳記) |
modify_user | string | 修改人 |
biz_date | string | 業務資料日期 |
調度任務執行個體關係raw_v_schedule_task_relation
名稱 | 類型 | 描述 |
tenant_id | bigint | 租戶ID |
child_task_id | bigint | 下遊任務執行個體ID |
parent_task_id | bigint | 上遊任務執行個體ID |
child_project_id | bigint | 下遊任務執行個體工作空間ID |
parent_project_id | bigint | 上遊任務執行個體工作空間ID |
step_type | bigint | 依賴關聯類型
|
daily_dag_id | bigint | 全域dagID |
child_dag_inst_id | bigint | 局部dagID |
biz_date | string | 業務資料日期 |
調度Data Integration資源群組明細raw_v_schedule_di_resgroup
名稱 | 類型 | 描述 |
tenant_id | bigint | 租戶ID |
project_id | bigint | 專案空間ID |
node_id | bigint | 節點ID |
project_env | string | 專案環境 |
res_group_identifier | string | Data Integration資源群組標識 |
src_type | string | 來來源資料源類型 |
dst_type | string | 去向資料來源類型 |
src_datasource | string | 來來源資料源 |
dst_datasource | string | 去向資料來源 |
config_concurrent | bigint | 並發數 |
biz_date | string | 業務資料日期 |
租戶資源群組(包含調度,Data Integration及odps資源群組)raw_v_tenant_res_group
名稱 | 類型 | 描述 |
tenant_id | bigint | 租戶ID |
res_group_id | bigint | 資源群組ID |
res_group_identifier | string | 資源群組標識 |
res_group_type | bigint | 資源群組類型。
|
res_group_mode | bigint | 資源群組類型。
|
status | bigint | 資源群組狀態。
|
biz_ext_key | string | 資源群組擴充欄位。取值為single時表示為獨享資源群組。 |
biz_date | string | 業務資料日期 |
租戶使用者資訊raw_v_tenant_user
名稱 | 類型 | 描述 |
tenant_id | bigint | 租戶ID |
yun_account | string | 雲帳號 |
account_name | string | 帳號名 |
nick | string | 帳號顯示名稱 |
full_yun_account | string | 含AccountProvider的雲帳號 |
biz_date | string | 業務資料日期 |
租戶工作空間資訊raw_v_tenant_workspace
名稱 | 類型 | 描述 |
tenant_id | bigint | 租戶ID |
project_id | bigint | 工作空間ID |
project_name | string | 工作空間名稱 |
project_identifier | string | 工作空間標識符 |
project_desc | string | 工作空間描述資訊 |
project_owner | string | 工作空間Owner |
status | bigint | 工作空間狀態。
|
biz_date | string | 業務資料日期 |
租戶工作空間使用者資訊raw_v_tenant_workspace_user
名稱 | 類型 | 描述 |
tenant_id | bigint | DataWorks租戶ID |
project_id | bigint | DataWorks專案ID |
base_id | string | 使用者baseId |
status | bigint | 使用者狀態。
|
gmt_create_ts | bigint | 建立時間(13位元字時間戳記) |
gmt_modified_ts | bigint | 修改時間(13位元字時間戳記) |
biz_date | string | 業務資料日期 |