Data Integration(Data Integration)

一站式資料同步全棧平台,支援散發式資料轉送、轉換和同步服務

Data Integration支援任意置放、任意網路環境下的任意資料來源之間的即時、離線資料互通。底層採用先進的散發式架構,包含完善的髒資料處理、流控管理等模組。支援多種類資料來源,具有傳輸速度快、高度可靠、可擴充、開發方便等特點。

優點

支援異構資料來源
支援超過400對異構資料來源間的資料批量互導,如關聯型資料庫、半結構化隱藏、非結構化隱藏(音視訊、影像)、NoSql、巨量資料隱藏等。 支援oracle、mysql、datahub等資料來源的即時讀取和寫入。
巨量資料輕鬆上雲
支援Hadoop集群批量上雲。利用您的Hadoop計算集群同步傳輸集群內部HDFS檔案,並寫入MaxCompute。日傳輸資料量可達5TB,同步速率峰值可達到2GB/s。
定時任務調度
支援多時間維度(如年、月、天、小時、分鐘)的任務定時調度。只需簡單幾步即可完成周期性資料增量抽取。另外,Data Integration與DataWorks資料開發完美結合,資料匯入後,即可觸發執行後續的資料開發工作單位,使工作流程運維一體化。
監控警示能力
系統內建19種監控規則,滿足大部份監控場景需求。支援自訂規則設定警示規則。當任務出現錯誤時,通過您預定義方式通知您任務失敗。

產品詳情

  • 資料來源管理

    通過提供抽象化的資料幫浦外掛程式(Reader)、資料寫入外掛程式(Writer)以及簡化版的中間資料轉送格式,實現任意結構化、半結構化資料來源之間的資料轉送。

  • 本機資料採集

    支援阿里雲經典網路、專有網路(VPC)環境下的資料同步以及本地IDC網路環境下的資料擷取。

  • 整庫遷移

    提供批量建立同步任務的快捷工具,只需一步即可快速上傳Mysql DB庫所有表至MaxCompute 中,為您節省大量初始化批量任務的時間。

  • 增量同步處理

    通過where條件遮罩商務日期,將不同商務日期的資料同步到對應的MaxCompute磁碟分割表格中。您可以通過設定同步周期為1小時一次或10分鐘同步一次來實現近即時的增量同步處理。

    價格

    價格

    Data Integration的基本計量單位為DMU(Data Migration Unit,即資料移動單位),代表單個單位在Data Integration中的能力(包含 CPU、記憶體、網路資源配置)。

    如果您的任務執行在系統資源群組上,則價格為:$0.056/小時/DMU 如果您的任務執行在自訂資源群組上,則價格為:$0.022/小時