DataWorks開放資料為您提供各維度表或視圖,便於您採集中繼資料。本文為您介紹當前DataWorks開放資料提供的表和視圖列表,及其結構明細。
DataWorks已推出全新開放資料功能,支援通過可視化介面便捷地瀏覽與管理中繼資料,當前文檔將逐步下線。推薦您使用正式版本功能,表結構詳情請參考開放資料表結構詳情。
開放資料所提供的中繼資料,如無特殊說明,中繼資料僅包含MaxCompute引擎下的中繼資料。
-
META中繼資料
-
RPT指標
-
RAW明細
-
-
調度中繼資料
-
租戶中繼資料
Table核心指標rpt_v_meta_ind_table_core
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案(工作空間)ID |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_name |
string |
表名稱 |
|
table_uuid |
string |
表唯一標識 |
|
owner_yun_acct |
string |
表Owner雲帳號 |
|
dim_life_cycle |
bigint |
生命週期,單位為天。
|
|
is_partition_table |
boolean |
是否為分區表。
|
|
entity_type |
bigint |
實體類型。
|
|
categories |
string |
類目資訊 |
|
last_access_time |
bigint |
表最後訪問時間(10位UNIX_TIMESTAMP) |
|
size |
bigint |
表大小,此處指資料佔用的邏輯儲存值,單位為Byte,視圖對應儲存量為NULL。 |
|
column_count |
bigint |
欄位數量(含分區列) |
|
partition_count |
bigint |
分區數量,對於非分區表該值為NULL。 |
|
detail_view_count |
bigint |
通過頁面查看錶詳情的次數 |
|
favorite_count |
bigint |
添加表到收藏的次數 |
Table額外指標rpt_v_meta_ind_table_extra
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
table_uuid |
string |
表唯一標識 |
|
read_count |
bigint |
讀取次數(通過SQL讀取次數,包含非調度任務) |
|
read_count_30d |
bigint |
30天讀取次數(通過SQL讀取次數,包含非調度任務) |
|
write_count |
bigint |
寫入次數(通過SQL寫入次數,包含非調度任務) |
|
join_count |
bigint |
關聯次數,即作為join運算的參與方的次數。 |
|
direct_upstream_count |
bigint |
血緣關係中,其直接上遊表的數量。 |
|
direct_downstream_count |
bigint |
血緣關係中,其直接下遊表的數量。 |
|
output_task_count |
bigint |
產出當前表的任務數量 |
資料庫(ODPS專案)中繼資料明細raw_v_meta_database
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID |
|
env_type |
bigint |
環境類型。
|
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
database_comment |
string |
資料庫或ODPS專案描述 |
|
owner_name |
string |
所有者名稱 |
|
created_time_ts |
bigint |
建立時間戳記(13位元字時間戳記) |
|
last_modified_time_ts |
bigint |
最後修改時間(13位元字時間戳記) |
|
location |
string |
資料庫儲存路徑 |
|
extras |
string |
資料庫額外屬性資訊,為JSON字元格式設定。 MaxCompute專案如果設定了預覽和表可見範圍屬性,可以通過KEY:allowDataPreview和projectVisibility擷取。
|
|
biz_date |
string |
業務資料日期 |
表(table)中繼資料明細raw_v_meta_table
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
string |
DataWorks專案ID |
|
table_uuid |
string |
表唯一標識 |
|
table_name |
string |
表名稱 |
|
table_type |
string |
表類型 |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
partition_keys |
string |
表的分區鍵。多級分區使用英文逗號(,)分隔,非分區表該值為空白字串。 |
|
table_comment |
string |
表描述資訊 |
|
table_biz_comment |
string |
表業務描述資訊 |
|
visibility_scope |
bigint |
表可見範圍。
|
|
owner_name |
string |
所有者名稱 |
|
created_time_ts |
bigint |
建立時間(13位元字時間戳記) |
|
last_modified_time_ts |
bigint |
資料最後修改時間(13位元字時間戳記) |
|
last_meta_modified_time_ts |
bigint |
表中繼資料最後變更時間(13位元字時間戳記) |
|
location |
string |
表格儲存體路徑 |
|
life_cycle |
bigint |
表生命週期,單位為天。 |
|
data_size |
bigint |
表的邏輯儲存量,單位為Byte。當表為分區表時,該值為NULL,需要根據其分區列表統計儲存量。 |
|
biz_date |
string |
業務資料日期 |
視圖(view)中繼資料明細raw_v_meta_view
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
string |
DataWorks專案ID |
|
table_uuid |
string |
表唯一標識 |
|
table_name |
string |
表名稱 |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_comment |
string |
表描述資訊 |
|
table_biz_comment |
string |
表業務描述資訊 |
|
visibility_scope |
bigint |
表可見範圍。
|
|
owner_name |
string |
所有者名稱 |
|
created_time_ts |
bigint |
建立時間(13位元字時間戳記) |
|
last_ddl_time_ts |
bigint |
DDL最後修改時間(13位元字時間戳記) |
|
view_text |
string |
建立視圖的SQL語句 |
|
biz_date |
string |
業務資料日期 |
列(column)中繼資料明細raw_v_meta_column
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_name |
string |
表名稱 |
|
column_name |
string |
欄位名稱 |
|
column_comment |
string |
欄位描述資訊 |
|
column_biz_comment |
string |
欄位業務描述資訊 |
|
column_type |
string |
欄位類型 |
|
column_sequence |
bigint |
欄位順序(從1開始) |
|
is_partition_key |
boolean |
是否為分區鍵 |
|
is_primary_key |
boolean |
是否為主鍵 |
|
biz_date |
string |
業務資料日期 |
分區(partition)中繼資料明細 raw_v_meta_partition
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_name |
string |
表名稱 |
|
partition_name |
string |
分區名稱 |
|
size |
bigint |
分區大小(邏輯大小),單位為Byte |
|
record_number |
bigint |
分區記錄數量 |
|
created_time_ts |
bigint |
建立時間(13位元字時間戳記) |
|
last_modified_time_ts |
bigint |
最後修改時間(13位元字時間戳記) |
|
biz_date |
string |
業務資料日期 |
表血緣(table-lineage)中繼資料明細raw_v_meta_table_lineage
-
因為SQL語言與使用者代碼等本身的複雜性,血緣功能做不到100%的完整性與準確性。請不要用此功能支援需要保證完整性與正確性的業務。
-
表血緣資料包含MaxCompute引擎產生的血緣關係和Data Integration離線同步任務產生的血緣關係。
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID |
|
src_type |
string |
來源資料源類型 |
|
src_data_source_id |
string |
來源資料源標識 |
|
src_database |
string |
來源資料庫 |
|
src_table |
string |
源表 |
|
dest_type |
string |
目標資料來源類型 |
|
dest_data_source_id |
string |
目標資料來源標識 |
|
dest_database |
string |
目標資料庫 |
|
dest_table |
string |
目標表 |
|
schedule_task_id |
string |
調度任務ID |
|
schedule_instance_id |
string |
調度任務執行個體ID |
|
schedule_task_owner |
string |
調度任務Owner |
|
job_start_time_ts |
bigint |
任務開始時間(13位元字時間戳記) |
|
job_end_time_ts |
bigint |
任務結束時間(13位元字時間戳記) |
|
execute_time |
bigint |
任務耗時,單位為秒 |
|
input_record_number |
bigint |
源表輸入記錄數 |
|
biz_date |
string |
業務資料日期 |
表產出任務(table-output)中繼資料明細raw_v_meta_table_output
資料地圖頁面透出的產出任務只有ODPS表,此處產出表類型是大血緣支援的表類型。
產出資訊基於血緣計算。
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID,此處指運行調度任務的專案。 |
|
type |
string |
資料來源類型 |
|
data_source_id |
string |
資料來源標識 |
|
database |
string |
資料庫 |
|
table |
string |
表名稱 |
|
schedule_task_id |
string |
調度任務ID |
|
schedule_instance_id |
string |
調度任務執行個體ID |
|
schedule_task_owner |
string |
調度任務Owner |
|
job_start_time_ts |
bigint |
任務開始時間(13位元字時間戳記) |
|
job_end_time_ts |
bigint |
任務結束時間(13位元字時間戳記) |
|
execute_time |
bigint |
任務耗時,單位為秒。 |
|
biz_date |
string |
業務資料日期 |
表使用(table-usage)資訊中繼資料明細raw_v_meta_table_usage
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID,此處指運行調度任務的專案。 |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_name |
string |
表名稱 |
|
schedule_task_id |
string |
調度任務ID |
|
schedule_task_owner |
string |
調度任務的負責人,如果當前任務未經DataWorks調度,該值為NULL |
|
job_id |
string |
任務標識(此處不一定是DataWorks調度任務執行個體),可以基於此來統計表讀取,寫入次數等 |
|
op_type |
string |
操作類型,如READ、WRITE、UNKNOWN等 |
|
extras |
string |
額外資訊,格式為JSON字串格式。 動作表的任務為ODPS任務時,可以通過KEY為task_name擷取ODPS任務名稱。若DataWorks調度任務ID不為空白,可以通過schedule_task_name屬性擷取調度任務名稱。例如 |
|
biz_date |
string |
業務資料日期 |
欄位使用(column-usage)資訊中繼資料明細raw_v_meta_column_usage
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID,此處指運行調度任務的專案。 |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_name |
string |
表名稱 |
|
column_name |
string |
欄位名稱 |
|
schedule_task_id |
string |
調度任務ID |
|
schedule_task_owner |
string |
調度任務的負責人,如果當前任務未經DataWorks調度,該值為NULL |
|
inst_id |
string |
任務標識(此處不一定是DataWorks調度任務執行個體) |
|
op_type |
string |
操作類型,如select、join、groupby、where等 |
|
extras |
string |
額外資訊,JSON字串。 動作表的任務為ODPS任務時,可以通過KEY為task_name擷取ODPS任務名稱。若DataWorks調度任務ID不為空白,可以通過schedule_task_name屬性擷取調度任務名稱。例如 |
|
biz_date |
string |
業務資料日期 |
表WIKI(table-wiki)資訊中繼資料明細raw_v_meta_biz_table_wiki
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID,此處指運行調度任務的專案。 |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_name |
string |
表名稱 |
|
version |
string |
wiki版本號碼 |
|
operator |
string |
最後操作人,可能是某一任的表owner。 |
|
content |
string |
以Markdown格式編寫的wiki |
|
update_time_ts |
bigint |
修改時間(13位元字時間戳記) |
|
biz_date |
string |
業務資料日期 |
表頻繁關聯(table-join)資訊中繼資料明細raw_v_meta_table_join_map
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_name |
string |
表名稱 |
|
column_name |
string |
欄位名稱 |
|
join_database_name |
string |
關聯資料庫或ODPS專案名稱 |
|
join_table_name |
string |
關聯表名稱 |
|
join_column_name |
string |
關聯欄位名稱 |
|
join_type |
string |
JOIN類型,比如:left,right,inner |
|
schedule_task_id |
string |
調度任務ID |
|
schedule_task_owner |
string |
調度任務的負責人 |
|
job_id |
string |
引擎層的任務標識 |
|
extras |
string |
額外資訊,格式為JSON字串格式。動作表的任務為ODPS任務時,可以通過KEY為task_name擷取ODPS任務名稱。 |
|
biz_date |
string |
業務資料日期 |
中繼資料表詳情查看記錄明細raw_v_meta_table_detail_log
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
catalog_name |
string |
所屬catalog。MaxCompute專案對應值為odps。 |
|
database_name |
string |
資料庫或ODPS專案名稱 |
|
table_name |
string |
表名稱 |
|
operator |
string |
表詳情查看者 |
|
view_time_ts |
bigint |
查看錶詳情時間(13位元字時間戳記) |
|
biz_date |
string |
業務資料日期 |
中繼資料類目明細raw_v_meta_category
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
category_id |
bigint |
類目ID |
|
category_name |
string |
類目名稱 |
|
category_pid |
bigint |
父類目ID(為0或NULL代表是頂級類目) |
|
depth |
bigint |
類目層級(深度),一級類目為1 |
|
sort_field |
double |
排序欄位 |
|
creator_account |
string |
類目建立人帳號 |
|
created_time_ts |
bigint |
建立時間戳記(13位元字時間戳記) |
|
last_modified_time_ts |
bigint |
最後修改時間(13位元字時間戳記) |
|
biz_date |
string |
業務資料日期 |
調度節點明細raw_v_schedule_node
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
租戶ID |
|
project_id |
bigint |
專案空間ID |
|
node_id |
bigint |
節點ID |
|
node_name |
string |
節點名稱 |
|
node_type |
bigint |
節點調度類型。
|
|
prg_type |
bigint |
節點類型,可參見支援的節點類型。
|
|
flow_id |
bigint |
工作流程ID |
|
project_env |
string |
環境標識。
|
|
create_time |
bigint |
建立時間戳記(13位元字時間戳記) |
|
create_user |
string |
建立人 |
|
modify_time |
bigint |
最後修改時間(13位元字時間戳記) |
|
modify_user |
string |
修改人 |
|
prg_name |
string |
節點類型名稱 |
|
para_value |
string |
執行參數 |
|
file_id |
bigint |
對應的檔案ID |
|
file_version |
bigint |
對應檔案版本 |
|
owner |
string |
節點Owner |
|
resgroup_id |
bigint |
資源群組ID |
|
baseline_id |
bigint |
基準ID |
|
cycle_type |
bigint |
調度周期。
|
|
repeatable |
bigint |
重跑標識。
|
|
connection |
string |
資料來源串連串 |
|
dqc_type |
bigint |
DQC類型。
|
|
dqc_description |
string |
DQC規則串 |
|
task_rerun_time |
bigint |
任務可重跑次數 |
|
task_rerun_interval |
bigint |
重跑間隔,單位為毫秒 |
|
cron_express |
string |
節點的調度頻率CRON運算式 |
|
priority |
bigint |
任務優先順序,取值為:1、3、5、7、8。數值越大優先順序越高。 |
|
start_effect_date |
bigint |
節點的生效日期(13位元字時間戳記) |
|
end_effect_date |
bigint |
節點的失效日期(13位元字時間戳記) |
|
biz_date |
string |
業務資料日期 |
調度任務明細raw_v_schedule_task
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
租戶ID |
|
project_id |
bigint |
專案空間ID |
|
node_id |
bigint |
節點ID |
|
node_name |
string |
節點名稱 |
|
task_id |
bigint |
任務名稱 |
|
dag_id |
bigint |
工作流程的DAGID |
|
task_type |
bigint |
任務調度類型。
|
|
dag_type |
bigint |
DAG類型。
|
|
prg_type |
bigint |
節點類型,可參見支援的節點類型。
|
|
flow_id |
bigint |
工作流程ID |
|
create_time |
bigint |
建立時間戳記(13位元字時間戳記) |
|
modify_time |
bigint |
最後修改時間(13位元字時間戳記) |
|
cycle_time |
bigint |
調度時間(13位元字時間戳記) |
|
in_group_id |
bigint |
任務序號 |
|
prg_name |
string |
節點類型名稱 |
|
para_value |
string |
執行參數 |
|
file_id |
bigint |
對應的檔案ID |
|
file_version |
bigint |
對應檔案版本 |
|
owner |
string |
節點Owner |
|
resgroup_id |
bigint |
資源群組ID |
|
baseline_id |
bigint |
基準ID |
|
cycle_type |
bigint |
調度周期
|
|
repeatable |
bigint |
重跑標識。
|
|
connection |
string |
資料來源串連串 |
|
dqc_type |
bigint |
DQC類型。
|
|
dqc_description |
string |
DQC規則串 |
|
task_rerun_time |
bigint |
任務可重跑次數 |
|
task_rerun_interval |
bigint |
重跑間隔,單位為毫秒 |
|
begin_waittime_time |
bigint |
開始等時間的時間戳記(13位元字時間戳記) |
|
finish_time |
bigint |
運行完成時間戳記(13位元字時間戳記) |
|
begin_waitres_time |
bigint |
開始等資源的時間戳記(13位元字時間戳記) |
|
begin_run_time |
bigint |
開始已耗用時間戳(13位元字時間戳記) |
|
rerun_times |
bigint |
任務重跑次數 |
|
priority |
bigint |
任務優先順序,取值為:1、3、5、7、8。數值越大優先順序越高。 |
|
task_key |
string |
任務唯一標識 |
|
error_msg |
string |
運行錯誤原因 |
|
status |
bigint |
任務狀態。
|
|
biz_date |
string |
業務資料日期 |
調度節點關係raw_v_schedule_node_relation
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
租戶ID |
|
child_node_id |
bigint |
下遊節點ID |
|
parent_node_id |
bigint |
上遊節點ID |
|
step_type |
bigint |
依賴關聯類型。
|
|
child_flow_id |
bigint |
工作流程ID |
|
project_env |
string |
環境標識。
|
|
create_time |
bigint |
建立時間戳記(13位元字時間戳記) |
|
create_user |
string |
建立人 |
|
modify_time |
bigint |
最後修改時間(13位元字時間戳記) |
|
modify_user |
string |
修改人 |
|
biz_date |
string |
業務資料日期 |
調度任務執行個體關係raw_v_schedule_task_relation
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
租戶ID |
|
child_task_id |
bigint |
下遊任務執行個體ID |
|
parent_task_id |
bigint |
上遊任務執行個體ID |
|
child_project_id |
bigint |
下遊任務執行個體工作空間ID |
|
parent_project_id |
bigint |
上遊任務執行個體工作空間ID |
|
step_type |
bigint |
依賴關聯類型
|
|
daily_dag_id |
bigint |
全域dagID |
|
child_dag_inst_id |
bigint |
局部dagID |
|
biz_date |
string |
業務資料日期 |
調度Data Integration資源群組明細raw_v_schedule_di_resgroup
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
租戶ID |
|
project_id |
bigint |
專案空間ID |
|
node_id |
bigint |
節點ID |
|
project_env |
string |
專案環境 |
|
res_group_identifier |
string |
Data Integration資源群組標識 |
|
src_type |
string |
來來源資料源類型 |
|
dst_type |
string |
去向資料來源類型 |
|
src_datasource |
string |
來來源資料源 |
|
dst_datasource |
string |
去向資料來源 |
|
config_concurrent |
bigint |
並發數 |
|
biz_date |
string |
業務資料日期 |
租戶資源群組(包含調度,Data Integration及odps資源群組)raw_v_tenant_res_group
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
租戶ID |
|
res_group_id |
bigint |
資源群組ID |
|
res_group_identifier |
string |
資源群組標識 |
|
res_group_type |
bigint |
資源群組類型。
|
|
res_group_mode |
bigint |
資源群組類型。
|
|
status |
bigint |
資源群組狀態。
|
|
biz_ext_key |
string |
資源群組擴充欄位。取值為single時表示為獨享資源群組。 |
|
biz_date |
string |
業務資料日期 |
租戶使用者資訊raw_v_tenant_user
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
租戶ID |
|
yun_account |
string |
雲帳號 |
|
account_name |
string |
帳號名 |
|
nick |
string |
帳號顯示名稱 |
|
full_yun_account |
string |
含AccountProvider的雲帳號 |
|
biz_date |
string |
業務資料日期 |
租戶工作空間資訊raw_v_tenant_workspace
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
租戶ID |
|
project_id |
bigint |
工作空間ID |
|
project_name |
string |
工作空間名稱 |
|
project_identifier |
string |
工作空間標識符 |
|
project_desc |
string |
工作空間描述資訊 |
|
project_owner |
string |
工作空間Owner |
|
status |
bigint |
工作空間狀態。
|
|
biz_date |
string |
業務資料日期 |
租戶工作空間使用者資訊raw_v_tenant_workspace_user
|
名稱 |
類型 |
描述 |
|
tenant_id |
bigint |
DataWorks租戶ID |
|
project_id |
bigint |
DataWorks專案ID |
|
base_id |
string |
使用者baseId |
|
status |
bigint |
使用者狀態。
|
|
gmt_create_ts |
bigint |
建立時間(13位元字時間戳記) |
|
gmt_modified_ts |
bigint |
修改時間(13位元字時間戳記) |
|
biz_date |
string |
業務資料日期 |