DataWorks資料服務模組是一個靈活輕量、安全穩定的資料API構建平台,作為資料庫和資料應用之間的“橋樑”,DataWorks資料服務旨在為個人、團隊和企業提供全面的資料服務和共用能力,協助使用者統一管理面向內外部的API服務。例如,您可以將查詢資料表功能快速的產生對應的API,或將已有的API註冊至資料服務平台進行統一發布和管理。
功能介紹
DataWorks資料服務作為資料庫與資料應用之間的重要橋樑,旨在為個人、團隊及企業提供全面的資料服務及共用能力,協助使用者統一管理面向阿里雲內外部的API服務。該資料服務採用Serverless架構,使用者只需關注API本身的查詢邏輯,而無需考慮運行環境等基礎設施。資料服務將為您準備好計算資源,並支援彈性擴充,確保零營運成本。資料服務與API Gateway緊密串連,支援一鍵將API發布至API Gateway。通過資料服務與API Gateway的協作,使用者能夠享受到安全、穩定、低成本且易於上手的資料開放共用服務。
資料服務在使用時,僅支援在PC端Chrome瀏覽器69以上核心版本使用。
基本概念
-
API(Application Programming Interface , API):API是讓應用、軟體、系統能夠面向資料來源進行資料互動的介面,資料服務API支援“讀資料”的操作,可以從資料庫、資料表中不斷地進行資料查詢。
-
函數:作為API過濾器,對API的請求參數或返回參數進行加工處理。當使用函數作為API過濾器時,前置過濾器和後置過濾器的函數類型需要保持一致,暫不支援對同一API的前置和後置過濾器選擇不同的函數類型。
-
資料推送:資料推送是阿里雲巨量資料開發治理平台DataWorks提供的一項資料服務功能,允許使用者通過編寫SQL查詢資料來源(如MySQL、PostgreSQL、Hologres、MaxCompute、ClickHouse等),將查詢結果結合富文本或表格內容,定期自動推送至DingTalk群、飛書群、企業微信群、郵件或Microsoft Teams等渠道。
-
資料服務資源群組:在調用資料服務API需要高QPS和SLA保障的情況下,企業需要使用獨享資料服務資源來保障調用成功。同時,獨享資料服務資源群組能夠滿足高並發、高頻率的介面調用並及時返回結果資料。
計費相關
使用DataWorks的資料服務功能建立資料API後,調用資料服務API時,API調用請求會佔用一定的資源群組,併產生相關費用。DataWorks將根據資料服務調用量計費,資料服務的計費有如下幾種模式:
-
Serverless資源群組:
-
獨享資料服務資源群組:按照資源群組規格進行收費。您可以根據業務需求對API調用量級進行評估,選擇合適的資源群組規格。獨享資料服務資源群組由單企業獨佔使用。詳情請參見:獨享資料服務資源群組計費。
公用資料服務資源群組已不再推薦使用,詳情請參見DataWorks公用資料服務資源群組下線公告。
能力概覽
API開發
|
步驟 |
名稱 |
步驟說明 |
|
1 |
使用資料服務建立API前,需先將您的資料庫或資料倉儲添加為DataWorks資料來源,以此作為資料服務API的資料來源。開發資料服務API時,資料服務將訪問該資料來源擷取資料表的Schema資訊,協助您進一步佈建要求和返回參數。調用資料服務API時,資料服務將訪問該資料來源來執行查詢請求。資料服務支援的資料來源請參見資料服務資料來源列表。 重要
如果連通性測試失敗,請根據網路連通與白名單配置檢查配置結果。 |
|
|
2 |
資料服務基於商務程序實現以業務為單元的資料服務API開發,並通過商務程序對API及建立API所使用的函數等檔案進行組織管理。因此,在資料服務建立API前,需先建立商務程序。 |
|
|
3 |
|
|
|
4 |
可選配置,支援Function Compute來輔助加工API的請求參數及返回結果。 |
|
|
5 |
已建立的API需進行測試回合,測試通過後,該API才可發布上線。 |
|
|
6 |
通過測試的API可被發布至API Gateway,發布成功後,其他服務才可調用該API。API被發布後,您還可以一鍵上架至阿里雲API市場售賣,協助企業快速實現資料價值變現,最終形成商業閉環。 說明
|
|
|
7 |
應用(APP)是您調用API服務時的身份。通過應用(APP)調用某個API時,必須獲得API的授權才能調用該API。您可以獲得他人授權的API,或將API授權給他人,實現資料共用。詳情請參見:授權API。您還可以通過API Gateway,調用由其他阿里雲使用者或者第三方服務商開放的API服務。API Gateway將為您提供一系列管理服務與支撐。 |
資料推送
Data Works資料服務支援資料推送功能,通過定時條件將資料內容主動推送至目標群體。資料推送任務支援面向多種資料來源來自訂編排富文本、表格等推送內容,面向業務需求設定周期推送頻率,面向不同消費方設定資料推送對象和渠道,協助客戶提升資料觸達效率,擴充資料消費情境。詳情請參見資料推送。
快速入門
準備工作
-
已開通API Gateway服務,用於統一管理及調用API,詳情請參見API Gateway服務。
-
已建立目標資料來源,本文樣本建立MySQL類型的資料來源,作為產生API所需的源端輸入資料。詳情請參見配置資料來源。
-
已建立Serverless資源群組並為資料服務進行了配額,詳情請參見:Serverless資源群組配置資料服務配額。
一、建立資料來源並配置網路連通性
使用資料服務建立API前,您需將資料庫或資料倉儲添加為DataWorks的資料來源,並保障資料服務資源群組與您的目標資料來源網路連通,以便調用API時DataWorks可成功訪問資料來源。
開發資料服務API時,資料服務將訪問該資料來源擷取資料表的Schema資訊,協助您進一步佈建要求和返回參數。調用資料服務API時,資料服務將訪問該資料來源來執行查詢請求。資料服務支援的資料來源請參見資料服務資料來源列表。
本文樣本建立名為rds_workshop_log的MySQL資料來源,並測試該資料來源與公用資料服務資源群組的連通性。
-
進入DataWorks管理中心,選擇目標工作空間後,單擊進入管理中心。
-
在左側導覽列單擊數據源,進入資料來源管理頁面。
-
建立資料來源並測試網路連通性。
-
單擊新增數據源,選擇所需資料來源類型。
本文樣本選擇MySQL。
-
配置資料來源資訊。
根據介面提示進行配置,詳情請參見配置MySQL資料來源。
-
選擇資料Serverless資源群組並測試資源群組與資料來源的連通性。
說明-
在任務高並發執行且無法錯峰啟動並執行情況下,需要專有資源來保障高並發和高頻率的API調用。建議您選擇購買使用DataWorks的Serverless資源群組。
-
使用Serverless資源群組時,需要為Serverless資源群組配置資料服務配額。
-
如果連通性測試失敗,請根據網路連通與白名單配置檢查配置結果。
-
-
單擊完成,成功建立資料來源。
-
二、建立API分組
資料服務基於API Gateway對外提供服務。在API Gateway中,分組是API的嵌入式管理單元,並與調用地址的網域名稱相關聯。因此,在資料服務中建立API前,需先在API Gateway建立API分組。
-
進入API Gateway,在分組管理介面,單擊建立分組,建立分組。
-
填寫分組資訊後,完成建立。本文樣本建立名為
Workshop的分組。
三、建立商務程序
資料服務基於商務程序實現以業務為單元的API開發,並基於商務程序對API及建立API所使用的函數等檔案進行組織管理。因此,建立API前,需先建立商務程序。
-
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入資料服務。
-
建立商務程序。
在頁面,通過如下兩種方式建立:
-
方式一:單擊
表徵圖,選擇新建業務流程。 -
方式二:按右鍵左側導覽列的業務流程目錄,選擇新建業務流程。
-
-
配置商務程序相關參數。
配置
描述
業務名稱
根據業務情境自訂名稱。本文樣本建立的商務程序名為DataService。
API 群組
選擇API分組,用於後續管理API。本文樣本使用步驟二中建立的Workshop分組。
說明API分組是針對某個功能或情境的API集合,也是API Gateway對API的最小嵌入式管理單元。如果您需要建立分組,可參考二、建立API分組操作。
-
單擊確定,成功建立商務程序。
商務程序建立完成後,您可在資料服務左側目錄查看目標商務程序詳情。
四、產生API
商務程序建立完成後,您可基於該商務程序建立相應業務的API。
-
產生API。
在頁面,通過如下兩種方式產生:
-
方式一:單擊
表徵圖,選擇。 -
方式二:按右鍵左側導覽列的目標商務程序,選擇。
-
-
定義API相關屬性。
在生成API對話方塊,配置API資訊。主要參數介紹如下。
配置項
描述
目標文件夾
定義API在左側商務程序中的存放目錄,請單擊文字進行選擇。
重要建議優先選定目標檔案夾,若選不中,請先建立商務程序。
API 模式
您可選擇使用嚮導模式或指令碼模式建立API。
-
嚮導模式:無需具備編碼能力,即可快速配置一個資料API。
-
指令碼模式:支援多表關聯、複雜查詢和彙總函式等進階功能,可自行編寫API的查詢SQL,滿足高階使用者的個人化查詢需求。
本文樣本使用嚮導模式。兩種模式的更多介紹,詳情請參見產生API概述。
API名稱
自訂API名稱。本文樣本建立的API名稱為
rpt_user_info_all_d。APIPath
API的存放路徑,即相對於服務Host,API的請求路徑。該配置用於拼接API的調用地址。本文樣本路徑配置為
/user。協議
支援HTTP及HTTPS。
如果您需要通過HTTPS協議調用API,請在發布API至網關後,在API Gateway控制台綁定獨立網域名稱並上傳SSL認證,詳情請參見支援 HTTPS。
請求方式
支援GET及POST。
說明-
當請求方式選擇GET時,後續API添加的請求參數的參數位置,僅支援選擇QUERY。
-
當請求方式選擇POST時,後續API添加的請求參數的參數位置,支援選擇QUERY和BODY。
返回類型
僅支援配置為JSON類型。
可見範圍
定義該API建立後的可見範圍,取值包括工作空間和私有。
-
工作空間:該API對本工作空間內的所有成員可見。
-
私有:該API僅對API的負責人可見,且暫不支援授權。
本文樣本可見範圍選取工作空間。
-
-
配置API參數。
在API的編輯頁面,配置API參數。本文樣本配置如下。
-
選擇API的資料來源。
在選擇表地區,選擇產生API所需的資料來源表。
參數
描述
數據源類型
選擇需要基於哪類資料來源建立API。本文樣本選擇MySQL類型資料來源。
數據源名稱
選擇需要基於該類型資料來源下的哪個資料來源產生API。本文樣本選擇一、建立資料來源並配置網路連通性建立的
rds_workshop_log資料來源。數據源環境
標準模式工作空間支援選擇訪問開發或生產環境資料來源,兩種環境的區別,詳情請參見工作空間模式區別。本文樣本選擇生產環境。
數據表名稱
選擇該資料來源下需要產生API的資料表。本文樣本選擇
rds_workshop_log資料來源中的rpt_user_info_all_d表。 -
定義請求參數和返回參數。
選擇資料表後,選擇參數地區會自動顯示該表的所有欄位,您可根據需要選擇相應欄位作為API的請求參數和返回參數。若需對欄位進行排序,則可將目標欄位添加至排序欄位地區,進行相應調整。
本文樣本請求參數為
uid,返回參數為該表的所有欄位。說明單擊右側導覽列的請求參數或返回參數,即可修改參數中欄位的類型、樣本值、預設值等配置。具體請根據實際需要使用。
-
-
配置API資源群組。
在API編輯頁面,單擊右側服務資源組,進行配置資源群組。由於預設提供的公用資料服務資源群組即將下線,所以建立API時,只能配置資源群組類型方案為獨享服務資源群組,選擇已配置資料服務配額的Serverless資源群組(推薦),或獨享資料服務資源群組。
五、測試API
已建立的API需進行測試回合,測試通過後,該API才可發布上線。API產生後,需單擊API編輯頁面右上方的測試,驗證API的請求與傳回值是否符合預期。本文樣本佈建要求參數uid的值為0016359810821,測試返回結果。更多測試詳情,請參見測試API。
六、發布API
通過測試的API需發布上線,發布成功後,其他服務才可調用該API。單擊API編輯頁面右上方的提交,選擇對應版本進行發布。發布後的API,可在API Gateway查看。更多發布詳情,請參見API測試、發布與版本管理。
七、調用API
調用API目前支援如下認證方式,您可根據需要選擇:
-
簡單身份認證:安全性低,適用於報表、資料大屏等情境。
-
加密簽名身份認證:安全性高,適用於應用開發情境。
-
單擊資料服務頂部功能表列的服務管理,進入服務管理頁面。
-
在左側導覽列選擇API調用。
發行的API將發布至API Gateway服務,您可通過API GatewaySDK調用API。詳情請參見用戶端調用API樣本。
八、查看與管理API
發布上線的API可在服務管理頁面查看,同時,資料服務支援根據業務需求進行下線、授權及查看API調用詳情等管理操作。在頂部導覽列選擇服務管理頁面,查看發行API,並執行相關管理操作。
|
地區 |
描述 |
|
在頁面,可查看當前發行的API、已獲得授權及授權給他人的API。同時,可對擁有許可權的API執行下線、授權、測試等操作。 |
|
|
在頁面,可執行如下操作:
|