Microsoft SQL Server輸入組件用於讀取Microsoft SQL Server資料來源的資料。同步Microsoft SQL Server資料來源的資料至其他資料來源的情境中,您需要先配置Microsoft SQL Server輸入組件讀取的資料來源,再配置資料同步的目標資料來源。本文為您介紹如何配置Microsoft SQL Server輸入組件。
前提條件
已建立Microsoft SQL Server資料來源。具體操作,請參見建立Microsoft SQL Server資料來源。
進行Microsoft SQL Server輸入組件屬性配置的帳號,需具備該資料來源的同步讀許可權。如果沒有許可權,則需要申請資料來源許可權。具體操作,請參見申請、續期和交還資料來源許可權。
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸入,在右側的輸入組件列表中找到Microsoft SQL Server組件,並拖動該組件至畫布。
單擊Microsoft SQL Server輸入組件卡片中的
表徵圖,開啟Microsoft SQL Server輸入配置對話方塊。在Microsoft SQL Server輸入配置對話方塊中,配置以下參數。
參數
描述
步驟名稱
即Microsoft SQL Server輸入組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
只能包含中文、字母、底線(_)、數字。
長度不超過64個字元。
資料來源
在資料來源下拉式清單中,展示所有Microsoft SQL Server類型的資料來源,包括您已擁有同步讀許可權的資料來源和未擁有同步讀許可權的資料來源。單擊
表徵圖,可複製當前資料來源名稱。 對於沒有同步讀許可權的資料來源,您可以資料來源後的申請,申請資料來源的同步讀許可權。具體操作,請參見申請、續期和交還資料來源許可權。
如果您還沒有Microsoft SQL Server類型的資料來源,單擊建立資料來源,建立資料來源。具體操作,請參見建立Microsoft SQL Server資料來源。
時區
將根據當前時區對時間格式資料進行處理,預設為所選資料來源中配置的時區,不支援修改。
說明對於V5.1.2版本之前建立的任務,可選擇資料來源預設配置或通道配置時區,預設選擇為通道配置時區。
資料來源預設配置:所選資料來源預設的時區。
通道配置時區:當前整合任務在屬性 > 通道配置中配置的時區。
Schema(非必選)
支援跨Schema選表,請選擇表所在的Schema,如不指定則預設為資料來源中配置的Schema。
來源表量
選擇來源表量。來源表量包括單表和多表:
單表:適用於將一個表的業務資料同步至一個目標表的情境。
多表:適用於將多個表的業務資料同步至同一個目標表的情境。多個表的資料寫入同一個資料表時,使用union演算法。
表
選擇來源表:
如果來源表量選擇了單表,可輸入表名關鍵字進行搜尋,或輸入準確表名後單擊精準尋找。選擇表後,系統將自動進行表狀態檢測。單擊
表徵圖,可複製當前所選表的名稱。如果來源表選擇了多表,則執行以下操作,添加表:
在輸入框中,輸入表的運算式,篩選具有相同結構的表。
系統支援枚舉形式、類正則形式及兩者混合形式,例如
table_[001-100];table_102。單擊精準尋找,在確認匹配詳情對話方塊中,查看匹配表的列表。
單擊確認。
切分建(非必選)
系統根據配置的切分鍵欄位進行資料分區,可以配合并發度配置使用,實現並發讀取。支援將來源資料表中某一列作為切分鍵。此外,建議使用主鍵或有索引的列作為切分鍵以保證傳輸效能。
重要選擇日期時間類型時,系統會通過識別最大最小值方式,根據總時間範圍和並發度進行暴力切分,不保證平均。
批量讀取條數(非必填)
一次性讀取資料的條數。在從來源資料庫讀取資料時,可以配置一個特定的批量讀取條數(如1024條記錄),而不是一條一條地讀取,以減少與資料來源之間的互動次數,提高I/O效率,並降低網路延遲。
輸入過濾(非必填)
填寫輸入欄位的過濾資訊,例如
ds=${bizdate}。輸入過濾適用於以下兩種情境:固定的某一部分資料。
參數過濾。
Hint(非必填)
Table Hints是一種用於影響查詢最佳化工具選擇訪問表或視圖的方式的機制。通過在查詢語句中使用特定的提示符(Hints),可以強制資料庫管理系統採用特定的執行計畫來處理查詢,而不是依賴於預設的最佳化策略。
通過在FROM子句中的表名後面使用括弧包含Hint,並用逗號分隔多個Hint,可以應用這些Hint。例如:
SELECT * FROM MyTable WITH (INDEX(IX_MyIndex), NOLOCK)
輸出欄位
輸出欄位地區展示了已選中表及篩選條件命中的所有欄位。支援進行以下操作:
欄位管理:如果不需要將某些欄位輸出至下遊組件,則您可以刪除對應的欄位:
單個刪除欄位情境:如果需要刪除少量的欄位,則可以單擊操作列下的
表徵圖,刪除多餘的欄位。大量刪除欄位情境:如果需要刪除大批量欄位,則可以單擊欄位管理,在欄位管理對話方塊選擇多個欄位後,單擊
左移動表徵圖,將已選的輸入欄位移入到未選的輸入欄位並單擊確定,完成欄位的大量刪除。
大量新增:單擊大量新增,支援JSON、TEXT格式、DDL格式大量設定。
說明大量新增完成,單擊確定後會覆蓋已配置的欄位資訊。
以JSON格式大量設定,例如:
// 樣本: [ { "index": 1, "name": "Id", "type": "int(10)", "mapType": "Long", "comment": "" }, { "index": 2, "name": "Data", "type": "nvarchar(100)", "mapType": "String", "comment": "" } ]說明index表示指定對象的列編號,name表示引入後的欄位名稱,type表示引入後的欄位類型。 例如,
"index":3,"name":"user_id","type":"String"表示把檔案中的第4列引入,欄位名為user_id,欄位類型為String。以TEXT格式大量設定,例如:
// 樣本: 1,Id,int(10),Long, 2,Data,nvarchar(100),String, 3,RowVersion,timestamp,Bytes,行分隔字元用於分隔每個欄位的資訊,預設為分行符號(\n),可支援分行符號(\n)、分號(;)、半形句號(.)。
資料行分隔符號用於分隔欄位名與欄位類型,預設半形逗號(,),可支援
','欄位類型可預設,預設為','。
以DDL格式大量設定,例如:
CREATE TABLE tablename ( user_id serial, username VARCHAR(50), password VARCHAR(50), email VARCHAR (255), created_on TIMESTAMP, );
建立輸出欄位:單擊+建立輸出欄位,根據頁面提示填寫欄位、類型、備忘並選擇映射類型。當前行完成配置後,單擊
表徵圖儲存。
單擊確認,完成Microsoft SQL Server輸入組件的屬性配置。