本文為您介紹不同資料來源的中繼資料執行不同操作是否會產生新版本以及不同中繼資料類型的對象擷取的資訊。
中繼資料版本
通用說明
修改如下資訊,中繼資料不會產生新版本。
分區定義變更:分區個數變更、分區欄位的分區類型和分區運算式發生變更。
屬性定義變更:自訂屬性變更。
採集策略配置:採集任務的採集策略配置為保留已刪除的中繼資料,且連續2次採集變更僅有刪除欄位變更時,中繼資料不會產生新版本。
修改如下資訊,中繼資料會產生新版本。
表資訊變更:包括表描述、中繼資料類型變更。
表結構變更:包括修改分區欄位、從非分區表變更為分區表(即是否分區表)、視圖DDL變更。
欄位結構變更:包括新增/更新/刪除欄位、欄位順序改變、欄位類型、欄位鍵類型變更。
欄位詳情變更:包括欄位預設值、是否可為空白、欄位描述變更。
此外,部分資料來源的特有屬性變更也會影響是否產生新版本,見下方表格。
資料來源類型 | 變更方式 |
Hologres | 分區表類型(如分區父表和分區子表互為轉變)變更、所屬分區父表的名稱變更、分區子表條件變更。 |
StarRocks | 表類型變更、物化視圖重新整理類型變更、是否失效變更、排序欄位變更、分桶方式變更、分桶欄位變更;但是分桶數個數變更不會產生新版本。 |
OceanBase、Greenplum | 分區欄位類型變更。 |
Amazon Redshift | 表格儲存體類型變更、分布鍵欄位變更、排序方式變更、排序欄位變更。 |
SelectDB、Doris | 表格儲存體類型變更、分桶方式變更、分桶欄位變更、排序欄位變更、分布欄位變更。 |
DM(達夢) | 表格儲存體類型變更。 |
DolphinDB | 排序欄位變更。 |
openGauss | 表格儲存體類型變更、分區欄位類型變更。 |
中繼資料屬性
不同資料來源所展示的相同資訊如下:
表技術屬性:包括描述、錶行數、儲存類型、儲存量資訊。
欄位列表:包括指定版本的欄位的名稱(主鍵欄位用鑰匙符號標識)、資料類型、描述、欄位是否可為空白及預設值資訊。
分區資訊:包括分區欄位及分區詳情,分區欄位包括欄位名稱、資料類型及描述資訊;分區詳情包括分區名、記錄數、儲存量、建立時間資訊。
當資料來源類型為關係型資料庫且中繼資料類型為視圖時,技術屬性僅支援查看描述資訊。
Amazon Redshift採集到的系統資料表,針對超級管理員帳號預設可擷取所有行資料(即所有中繼資料);針對普通使用者僅能查看自己的資料。如果您不希望在資料來源上配置超級管理員帳號,但又希望能採集所有資料,可使用授權語句為指定帳號授權pg_catalog的使用許可權,授權語句參見:
GRANT USAGE ON SCHEMA ${schema,如pg_catalog} TO ${username}。DM(達夢)、Oracle資料來源中配置的使用者需具有相關表的select許可權,才能採集到相關表的中繼資料,如需為使用者授權,語句參見
grant SOI to your_username;。DolphinDB通過調用函數採集相關中繼資料,根據資料來源配置的使用者帳號在DolphinDB中的角色差異決定採集的資料範圍不同:
叢集管理員:可以採集所有資料庫下的表。
DB_OWNER、有指定DB的DB_MANAGE、DB_READ許可權的帳號:可採集對應資料庫下的所有表。
其他帳號:可採集有TABLE_READ許可權的表。
SelectDB、Doris資料來源可採集非同步物化視圖中繼資料類型,系統將識別為表;暫無法採集同步物化視圖中繼資料類型。
其中,針對部分資料來源展示的差異資訊,詳見下方表格:
資料來源類型 | 表技術屬性 | 欄位列表 | 分區資訊 |
MySQL、Amazon RDS for MySQL、TDSQL for MySQL | 無法採集儲存類型。 | 視圖欄位的預設值展示為來源表欄位的預設值。 |
|
Microsoft SQL Server、Amazon RDS for SQL Server | 無法採集儲存類型。 | / |
|
AnalyticDB for MySQL 3.0 | / | 視圖欄位的預設值展示為來源表欄位的預設值。 |
|
OceanBase | 採集是否分區表、建立時間、最新動向時間(僅MySQL租戶展示)、最近DDL更新時間(僅Oracle租戶展示)資訊,針對不同的表類型所展示的資訊差異如下:
| 普通欄位展示唯一鍵、外鍵、檢查約束資訊,唯一鍵用UNI標識(僅Oracle租戶展示);外鍵用FOR標識;檢查約束用CHK標識(僅Oracle租戶展示)。 |
說明 僅OceanBase的Oracle租戶模式支援展示分區資訊。 |
PolarDB-X(原DRDS) | / | 視圖欄位的預設值展示為來源表欄位的預設值。 |
|
IBM DB2、Amazon RDS for DB2 | / | 無法採集預設值資訊 |
|
ClickHouse | 採集是否分區表、表引擎及最近DDL更新時間資訊,針對不同的表類型所展示的資訊差異如下:
| 展示採樣鍵和排序鍵資訊,採樣鍵用SMP標識;排序鍵用SOR標識。 |
|
Hive(MySQL中繼資料庫、HMS中繼資料) | 採集是否分區表、是否湖表、湖表格式、表格儲存體模式、儲存格式、建立時間、最近DDL更新時間資訊,針對不同的表類型所展示的資訊差異如下:
| 無法採集是否可為空白和預設值資訊。 |
|
Hologres | 採集是否分區表、分區父表名稱(僅分區子表展示)、分區條件(僅分區子表展示)、分區子表數量(僅分區父表展示)、儲存格式、建立時間、最新動向時間、最近DDL更新時間、生命週期資訊,針對不同的表類型所展示的資訊差異如下:
| / |
|
StarRocks | 採集表類型(僅內部表展示)、物化檢視類型(僅物化視圖展示)、是否失效(僅物化視圖展示)、是否分區表、是否湖表、湖表格式、儲存格式、建立時間、最新動向時間資訊,針對不同的表類型所展示的資訊差異如下:
| 展示分桶鍵和排序鍵資訊。 |
|
Greenplum | 採集是否分區表、Location(僅外部表格展示)資訊,針對不同的表類型所展示的資訊差異如下:
| 普通欄位展示唯一鍵、外鍵、檢查約束資訊,唯一鍵用UNI標識(僅Oracle租戶展示);外鍵用FOR標識;檢查約束用CHK標識(僅Oracle租戶展示)。 |
|
Amazon Redshift | 採集是否分區表、Location(僅外部表格展示);無法採集錶行數、儲存量資訊。針對不同的表類型所展示的資訊差異如下:
| 展示分桶鍵和排序鍵資訊,若排序鍵返回的值全為正數,則為普通排序;若為正數和負數,則為交錯排序。 | 僅外部表格展示分區資訊。
|
SelectDB、Doris | 採集是否分區表、是否湖表(僅儲存格式為Hudi、Iceberg且為是時展示)、湖表格式(是否湖表為是時展示)、儲存格式、表類型、建立時間、最近資料更新時間資訊。 針對不同的表類型所展示的資訊差異如下:
|
|
|
DM(達夢) | 採集是否分區表、儲存類型、儲存格式、Location(僅外部表格展示)、建立時間、最近DDL更新時間資訊。 針對不同的表類型所展示的資訊差異如下:
| 普通欄位展示唯一鍵、引用鍵、檢查約束資訊,唯一鍵用UNI標識;引用鍵用REF標識;檢查約束用CHK標識。 |
|
Elasticsearch | 僅表對象(即索引)支援採集文檔數和儲存量資訊。 | 僅表對象(即索引)支援採集欄位名稱和資料類型資訊。 |
|
DolphinDB | 採集是否分區表、儲存引擎、儲存格式、建立人資訊;無法採集儲存類型資訊。 |
|
|
openGauss | 採集是否分區表、儲存格式、Location(僅外部表格展示)、視圖DDL(僅視圖和物化視圖展示)資訊。 針對不同的表類型所展示的資訊差異如下:
| 普通欄位展示主鍵、檢查約束、唯一鍵約束、觸發器約束資訊。檢查約束用CHK標識;唯一鍵用UNI標識。 |
|