資料來源用於串連各類資料庫和儲存服務(如MaxCompute、MySQL、OSS等),是Data Integration同步任務的必備配置,決定任務讀取(資料來源)和寫入(資料去向)的資料庫。
資料來源的作用
在Data Integration任務中,資料來源扮演著資料流動兩端的“端點”角色:
資料來源(Reader):Data Integration任務從“來源”資料來源讀取資料。
資料去向(Writer):Data Integration任務將處理後的資料寫入“去向”資料來源。
無論是單表或整庫同步,還是離線或即時同步,都需要預先配置好來源和去向資料來源。一個配置完整、網路通暢的資料來源,是任務能夠成功執行的前提。
支援的資料來源類型
DataWorksData Integration目前支援的資料來源可參考支援的資料來源及同步方案。Data Integration在使用不同的資料來源配置任務時,整合配置上存在些許差異,具體請以實際頁面為準。
建立資料來源
管理中心和Data Integration均可建立資料來源,以下說明兩者區別:
能力維度 | 管理中心建立(推薦) | Data Integration模組建立 |
管理位置 | 。 | 。 |
環境隔離 | 支援開發/生產環境獨立配置,保障生產安全。 | 不支援,僅有生產環境。 |
多模組複用 | 可用於整合/開發/分析/等所有模組。 | 在其他模組使用時功能受限。 |
許可權控制 | 可進行跨空間授權。 | 不支援授權功能。 |
適用模式 | 標準模式工作空間優選,企業級規範。 | 簡單模式,或標準模式無需隔離的情境。 |
複製能力 | 支援快速複製成新資料來源。 | 不支援。 |
兩種方式均支援第三方認證和通過RAM角色授權模式配置資料來源。
兩處建立資料來源的操作步驟一致。
在管理中心建立資料來源,會自動在Data Integration側建立的同名資料來源,兩者共用資料來源的生產環境配置。
在Data Integration建立資料來源,也會自動在管理中心建立同名資料來源。但該資料來源僅具備生產環境資訊,開發環境會顯示資訊缺失,需手動補全。
不同類型的資料來源配置參數不同,詳情見:資料來源列表。
使用資料來源
簡單模式:
工作空間為簡單模式時,僅有一個環境,使用管理中心建立的資料來源和Data Integration的資料來源無差別。
標準模式:
標準模式的工作空間支援資料來源環境隔離。同一個名稱的資料來源可存在開發環境和生產環境兩套配置,設定兩個不同的資料庫/執行個體,使任務在測試和生產調度時操作的資料隔離,確保生產環境資料的安全。
Data Integration模組中僅單表離線同步任務支援資料來源開發、生產隔離,其他類型同步任務均使用生產環境資料來源。
在Data Integration側建立的資料來源僅含生產環境配置,開發環境資訊缺失,導致資料開發中無法直接選用。需在管理中心補全開發環境配置後,方可在資料開發和單表離線同步中使用。
後續步驟
資料來源配置完成,並且經過連通性測試後,您可以:
進入Data Integration,配置同步任務:Data Integration側同步任務。
進入資料開發(Data Studio),配置單表同步任務:DataStudio側離線同步、DataStudio側即時同步。
常見問題
更多資料來源的使用問題參見:Data Integration常見問題。