DataWorks(資料工場)

高效、安全的離線資料開發環境,強大的Open API 讓資料來源匯入、資料分析、資料展現更高效。

免費體驗 聯絡我們

DataWorks

DataWorks是阿里雲推出的巨量資料領域平台級產品,提供一站式巨量資料開發、資料權限管理、任務離線調度,等功能。底層依賴阿里雲自主研發的海量資料計算引擎MaxCompute,提供海量任務的離線加工、剖析、雲數倉搭建、巨量資料挖掘等套用於多種場景的功能。‘開箱即用’的使用方式,讓用戶無需再過多關心底層叢集的搭建和運維所帶來的成本和繁瑣。


優點

拖拽式的工作流程開發

系統資料開發模組提供豐富的視覺效果元件,包括SQL(ODPS SQL)、資料同步、MR(ODPSMR)、機器學習服務、SHELL等任務類型。相較於開源的工作流程拖拽,提供更為便捷和靈活的體驗與互動。

個人化資料集合與管理

系統資料管理模組提供個人化的資料集合與管理功能,您可輕鬆集合所追隨的資料工作表,同時可對資料工作表的生命週期、基本資料、擁有者等資訊進行管理,也可查看資料工作表隱藏資訊、分區資訊、產出資訊、血緣資訊等內容。

一鍵式跨專案工作發佈

在同一個主帳號下,提供不同項目之間的快速任務遷移和發佈能力。為客戶提供模擬‘開發’和‘生產’的雙環境型號,以及其他的線下、線上生產型號。

視覺效果任務監控

運維中心提供視覺效果的任務監控管理工具,支援以DAG圖的形式閱聽任務執行階段的全域情況。異常管理便捷化,支援重跑、復原、暫停和終止等動作。


DataWorks

DataWorks是集Data Integration、資料加工、離線調度、組建管理等為一體的B/S巨量資料開發工具:支援阿里雲大部份雲端儲存產品和資料庫產品的資料匯入,提供視覺效果的數倉開發工具、周期性離線調度工具以及代碼的組建維修功能。助力用戶快速使用阿里雲巨量資料為自己的商務賦能!


產品功能

資料開發

提供一個視覺效果的協調流程設計師,支援多種代碼類型編碼和偵錯,提供自動補全代碼、代碼格式化、代碼組建管理、多人協同開發等功能。

作業調度

通過多時間維度的離線任務調度、線上運維、監控報警等功能為巨量資料開發提供穩定的離線調度能力,可以支援超過百萬級的離線調度任務量。

資料安全

提供全域的資料權限管理能力,通過資料權限申請和管理的方式,避免資料的搬遷,達到資料可用不可見的目的,保護資料擁有權,並滿足功能開發資料價值的需求。

套用場景

DataWorks通常用於以下場景:

資料生產

DataWorks可方便地將商務系統生成的資料移轉到雲端,構建大型資料倉儲和BI應用程式,並使用MaxCompute的大量資料存放區和計算功能。

資料開發

基於DataWorks快速使用和分析資料,匯出巨量資料處理結果後,直接將資料套用於商務系統,實現資料動作。

資料呈現和共用

針對複雜的作業調度和運維管理(Operations and Maintenance,O&M),DataWorks 提供統一的、方便使用的調度系統和視覺效果的運維調度介面,解決了運維管理不方便等問題。


使用入門

DataWorks可以使用管理主控台完成全部動作。

通過管理主控台使用DataWorks

DataWorks管理主控台提供全面的能力,線上可完成全部工作。

您可以完成專案管理、成員管理、資料分析、工作流程調度等全部工作。

存取DataWorks產品文件

學習如何使用,請參考 快速開始文件 。該文件可以說明你快速入門,完成資料開發第一步。


常見問題

1. 如何開始使用DataWorks?

在您註冊了阿里雲帳號之後,您可以登入管控台進行使用。正式使用之前,需要先建立項目。詳細方式參考如何建立數加項目

2. 是否支援RAM子帳號登入使用?

支援。詳細方式參考如何新增成員及授權

3. 如何建立MaxCompute表?

可通過新建指令檔和資料管理模組中的新建表功能來完成建立MaxCompute表。詳細方式參考建立移除表

4. 是否支援UDF?

支援MaxCompute的UDF使用。詳細方式參考建立自訂函數

5. 是否支援MapReduce?

不完全支援。為了說明用戶更加安全、便捷的使用ODPS的MR功能,實現更複雜的計算邏輯,提供了OPEN MR的使用方式。詳細方式參考建立OPEN MR

6. 支援哪些資料來源的資料同步?

目前資料同步任務支援的資料來源類型包括:MaxCompute、RDS(MySQL、SQL Server、PostgreSQL)、Oracle、FTP、ADS、OSS、OCS、DRDS等。資料同步任務使用方法可參考建立資料同步任務