中繼資料API資料結構定義詳解-資料湖構建-阿里雲

本文為您介紹中繼資料API相關的資料結構。

GetViewResponse

名稱	類型	描述	樣本值
-	object	視圖詳情。
id	string	視圖ID。	1
name	string	視圖名稱。	view_demo
schema	ViewSchema	視圖結構。

GetTableResponse

名稱	類型	描述	樣本值
-	object	表詳情資訊。
id	string	表UUID。	1
name	string	表名稱。	table_test
path	string	表路徑。	oss://clg-paimon-xxx/db-xxx/tbl-xxxx
isExternal	string	是否外表。	true
schemaId	string	表結構資訊ID。	1
schema	Schema	表結構資訊。
owner	string	表所有者。	ALIYUN$1234567
createdAt	long	建立時間。	1741266704867
createdBy	string	建立者。	acs:ram:1234567:root
updatedAt	long	更新時間。	1741266704867
updatedBy	string	更新者。	acs:ram:1045689747920334:root

Partition

名稱	類型	描述	樣本值
-	object	分區詳情。
spec	map	分區值索引值對。	{"year":"2025"}
recordCount	long	記錄數。	1
fileSizeInBytes	long	檔案大小。	1024
fileCount	long	檔案數。	1
lastFileCreationTime	long	最新檔案建立時間。	1741762385537

TableSnapshot

名稱	類型	描述	樣本值
-	object	錶快照資訊。
snapshot	Snapshot	快照資訊。
recordCount	long	記錄數。	table_test
fileSizeInBytes	long	檔案大小。	1024
fileCount	long	檔案數。	24
lastFileCreationTime	long	最新檔案建立時間。	1741701564261

Identifier

名稱	類型	描述	樣本值
-	object	表標識符。
databaseName	string	資料庫名稱。	db_test
tableName	string	表名稱。	table_test

Schema

名稱	類型	描述	樣本值
-	object	表結構資訊。
fields	array	表欄位列表。
dataField	DataField	表欄位。
partitionKeys	array	分區鍵列表。	["partition_key1", "partition_key2"]
partitionKey	string	分區鍵。	partition_key1
primaryKeys	array	主鍵列表。	["pk1", "pk2"]
primaryKey	string	主鍵。	pk1
options	map	表配置。	{"manifest.merge-min-count": "10"}
comment	string	表描述。	test_comment

DataField

名稱	類型	描述	樣本值
-	object	表欄位。
id	integer	欄位ID。	1
name	string	表名稱。	table_test
type	DataType	資料類型。

DataType

名稱	類型	描述	樣本值
-	object	資料類型，以下具體資料類型中的其中一種。	ArrayType
primitiveType	string	基礎資料類型，包括BIGINT、BINARY、BOOLEAN、CHAR、DATE、DECIMAL、DOUBLE、FLOAT、INT、TIMESTAMP、SMALLINT、TINYINT、VARBINARY、VARCHAR、VARIANT。	BIGINT
arrayType	ArrayType	數群組類型。
multisetType	MultisetType	集合類型。
mapType	MapType	索引值對類型。
rowType	RowType	行複合類型。

SchemaChange

名稱	類型	描述	樣本值
-	object	表結構變更資訊，以下資料結構中的一種。
setOption	SetOption	更新表option。
RemoveOption	RemoveOption	刪除表option。
UpdateComment	UpdateComment	更新表描述。
AddColumn	AddColumn	新增列。
RenameColumn	RenameColumn	重新命名列。
DropColumn	DropColumn	刪除列。
UpdateColumnComment	UpdateColumnComment	更新列描述。
UpdateColumnType	UpdateColumnType	更新列類型。
UpdateColumnPosition	UpdateColumnPosition	更新列位置。
UpdateColumnNullability	UpdateColumnNullability	更新列是否可空。

ViewSchema

名稱	類型	描述	樣本值
-	object	視圖結構資訊。
fields	array	視圖欄位列表。
dataField	DataField	視圖欄位。
query	string	視圖查詢語句。
dialects	map<string, string>	方言。	{ "flink": "xxxx", "spark": "xxxx" }
comment	string	注釋。
options	map	屬性。

Snapshot

名稱	類型	是否可空	描述	樣本值
-	object		快照資訊。
version	integer	是	快照檔案版本，當前是3。	3
id	long	否	快照id。	6
schemaId	long	否	表結構資訊id。	0
baseManifestList	string	否	基礎清單列表。	manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-2
baseManifestListSize	long	是	基礎清單列表大小。	845
deltaManifestList	string	否	記錄此快照中發生的所有新變更的清單列表。	manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-3
deltaManifestListSize	long	是	記錄此快照中發生的所有新變更的清單列表大小。	759
changelogManifestList	string	是	記錄此快照中產生的所有變更日誌的清單列表。	manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-4
changelogManifestListSize	long	是	記錄此快照中產生的所有變更日誌的清單列表大小。	759
indexManifest	string	是	記錄此表所有索引檔案的清單。	index-manifest-7cbdaa47-9578-43ac-ae6e-a7ec0486bba8-0
commitUser	string	否	通常為UUID，用於恢複流式寫入。	446aac61-bd5c-4fa0-8b14-846fa8810651
commitIdentifier	long	否	流寫的事務id。	9223372036854775807
commitKind	string	否	流寫類型，包括APPEND、COMPACT、OVERWRITE、ANALYZE。	COMPACT
timeMillis	long	否	提交時間（毫秒）。	1741701564261
logOffsets	Map<Integer, Long>	是	提交日誌位點。	{0: 1L, 1: 3L}
totalRecordCount	long	是	此快照中發生的所有更改記錄計數。	1024
deltaRecordCount	long	是	此快照中發生的所有新更改記錄計數。	10
changelogRecordCount	long	是	此快照中產生的所有變更日誌的記錄計數。	100
watermark	long	是	浮水印。	-9223372036854775808
statistics	string	是	此表統計資訊的stats檔案名稱。

Instant

名稱	類型	描述	樣本值
-	object	以下資料結構中的一種。
snapshotInstant	SnapshotInstant	快照常量。	1
tagInstant	TagInstant	標籤常量。	test_tag

SnapshotInstant

名稱	類型	描述	樣本值
-	object	快照資訊常量。
snapshotId	long	快照資訊id。	1

TagInstant

名稱	類型	描述	樣本值
-	object	快照資訊常量。
tagName	string	標籤名字。	1

ArrayType

名稱	類型	描述	樣本值
-	object	數組資料類型。
type	string	模式：^ARRAY.*	ARRAY
element	DataType	資料類型。	INT

MultisetType

名稱	類型	描述	樣本值
-	object	集合資料類型。
type	string	模式：^MULTISET.*	MULTISET
element	DataType	資料類型。	BIGINT

MapType

名稱	類型	描述	樣本值
-	object	資料類型。
type	string	模式：^MAP.*	MAP
key	DataType	資料類型。	STRING
value	DataType	資料類型。	BOOLEAN

RowType

名稱	類型	描述	樣本值
-	object	行資料類型。
type	string	模式：^ROW.*	ROW
fields	array	欄位數組。
field	DataField	欄位。

SetOption

名稱	類型	描述	樣本值
-	object	設定表option。
type	string	常量：setOption。	setOption
key	string	table option索引值對中的鍵。	'manifest.delete-file-drop-stats'
value	sring	table option索引值對中的值。	'true'

RemoveOption

名稱	類型	描述	樣本值
-	object	刪除表option。
type	string	常量：removeOption。	removeOption
key	string	table option索引值對中的鍵。	'manifest.delete-file-drop-stats'

UpdateComment

名稱	類型	描述	樣本值
-	object	更新表描述。
type	string	常量：updateComment。	updateComment
comment	string	表描述。	comment_test

AddColumn

名稱	類型	描述	樣本值
-	object	增加列。
type	string	常量：addColumn。	addColumn
fieldNames	array	表欄位名稱。
dataType	DataType	資料類型。
comment	string	描述。	comment_test
move	Move	移動資訊。

RenameColumn

名稱	類型	描述	樣本值
-	object	增加列。
type	string	常量：renameColumn。	renameColumn
fieldNames	array	表欄位名稱數組。
newName	string	新欄位名稱。	new_col_test

DropColumn

名稱	類型	描述	樣本值
-	object	增加列。
type	string	常量：dropColumn。	dropColumn
fieldNames	array	表欄位名稱數組。

UpdateColumnComment

名稱	類型	描述	樣本值
-	object	增加列。
type	string	常量：updateColumnComment。	updateColumnComment
fieldNames	array	表欄位名稱數組。
newComment	string	新欄位描述。	col_comment_test

UpdateColumnType

名稱	類型	描述	樣本值
-	object	增加列。
type	string	常量：updateColumnType。	updateColumnType
fieldNames	array	表欄位名稱數組。
newDataType	DataType	新欄位資料類型。
keepNullability	boolean	是否可空。	true

UpdateColumnPosition

名稱	類型	描述	樣本值
-	object	更新表位置。
type	string	常量：updateColumnPosition。	updateColumnPosition
fieldNames	array	表欄位名稱數組。
move	Move	移動資訊。

UpdateColumnNullability

名稱	類型	描述	樣本值
-	object	更新表位置。
type	string	常量：updateColumnNullability。	updateColumnNullability
newNullability	boolean	是否可空。	true

Move

名稱	類型	描述	樣本值
-	object	增加列。
fieldName	string	欄位名。	col_test
referenceFieldName	string	引用欄位名稱。	other_col_test
type	string	移動類型，FIRST、AFTER、BEFORE、LAST。	FIRST