ApsaraDB for SelectDB的Data Integration是用於將外部資料匯入執行個體資料庫的視覺化檢視。本文介紹如何使用ApsaraDB for SelectDB的Data Integration。
前提條件
已建立ApsaraDB for SelectDB執行個體。具體操作,請參見建立執行個體。
執行個體版本大於等於3.0.7。
操作步驟
在頁面左上方,選擇執行個體所在地區。
在執行個體列表頁面,單擊目標執行個體ID,進入到執行個體詳情頁面。
單擊左側導覽列的資料開發與管理(Studio)>Data Integration。
說明首次使用資料開發與管理,系統會提示將您本地公網IP添加到執行個體白名單分組webui_whitelist中,請仔細閱讀,單擊確定。
首次使用Data Integration時,如果您還沒有登入過WebUI系統,頁面則會重新導向到WebUI登入頁面。
您可以使用admin帳號登入WebUI系統。
如果您不知道或者忘記了admin帳號的密碼,可以進行密碼重設操作。具體操作,請參見重設帳號密碼。
在整合頁面,您可以進行以下操作。
如果您尚未建立任何整合資料的任務,在上一步完成後,將進入Stage整合頁面。在該頁面,您只能選擇整合任務類型,進行建立整合任務。
建立整合任務。
範例資料
範例資料是資料分析資料庫效能的基準測試資料,您可以通過以下步驟,進行建立範例資料。
選擇範例資料類型。
單擊頁面右上方的建立,進入Stage 整合頁面,根據需求,選擇範例資料類型。
範例資料名稱
範例資料說明
ClickBench
ClickBench資料集。
TPC-H
TPC-H資料集。
Github Demo
Github Event資料集。
SSB-FLAT
SSB-FLAT資料集。
在建立整合頁面,填寫以下參數,單擊確認並匯入按鈕。
參數名稱
參數說明
樣本
整合名稱
Data Integration任務名稱。
test
注釋
Data Integration任務注釋。
test comment
叢集
指定使用哪個叢集執行Data Integration任務。
new_cluster
範例資料大小
選擇範例資料大小。
1GB等
Object Storage Service
選擇整合類型。
單擊頁面右上方的建立,進入Stage 整合頁面,單擊Object Storage Service。
配置參數。
在建立整合頁面,填寫以下參數後,單擊確定。
參數名稱
參數說明
樣本
整合名稱
Data Integration任務名稱。
test
注釋
Data Integration任務注釋。
test comment
Bucket
OSS Bucket名稱。
test_bucket_name
預設檔案路徑
檔案在OSS中的預設路徑
無
訪問授權
訪問OSS的授權方式。
Access Key
Access Key
阿里雲帳號Access Key。
akdemo
Secret Key
阿里雲帳號Secret Key。
skdemo
進階配置
設定整合檔案與匯入檔案時的預設屬性。
無
檔案設定
設定整合檔案的屬性。
無
檔案類型
OSS上檔案類型。
參數值:JSON、ORC、CSV、Parquet和系統推薦。
JSON
壓縮方式
OSS上檔案壓縮方式。
gz
資料行分隔符號
OSS上檔案中資料資料行分隔符號。
\t
行分隔字元
OSS上檔案中資料行分隔字元。
\n
檔案大小
整合OSS上檔案的大小約束。
不限
匯入設定
設定檔案整合匯入時的預設操作。
無
遇到錯誤
繼續匯入:遇到錯誤繼續匯入。
終止匯入:遇到錯誤終止匯入。
自訂:自訂遇到錯誤繼續匯入的策略。
終止匯入
strict 模式
開啟:過濾掉在列轉換中錯誤的資料。這裡的錯誤資料是指:
未經處理資料並不為 null,而在進行列類型轉換後結果為 null 的這一類資料,但不包括用Function Compute得出的 null 值。
對於匯入的某列類型包含範圍限制的,如果未經處理資料能正常通過類型轉換,但無法通過範圍限制的,strict 模式對其也不產生影響。例如:如果類型是 decimal(1,0),未經處理資料為 10,則屬於可以通過類型轉換但不在列聲明的範圍內。針對這種資料,strict 模式對其不產生影響。
關閉:不會過濾掉在列轉換中錯誤的資料。
開啟
查詢整合任務:在單擊整合頁面右上方搜尋表徵圖,在搜尋方塊中填寫目的地組成任務名稱,進行聯動查詢。
刪除整合任務:在整合頁面的整合工作清單中,找到目的地組成任務,單擊操作列的刪除表徵圖。
說明刪除整合任務不會對已經匯入的資料產生影響,但可能會對您正在匯入的資料產生影響。
刪除的整合任務無法恢複。