DataWorks：DataWorks on EMR Serverless StarRocks最佳實務

背景資訊

前提條件

• 已開通DataWorks並建立工作空間。操作詳情請參見開通DataWorks服務。

• 已購買資源群組並完成資源群組的空間綁定、網路等配置。詳情請參見資源群組管理。

• 已建立EMR Serverless StarRocks執行個體，操作詳情請參見快速使用存算一體版執行個體。

  說明

  建立完成StarRocks執行個體後，您可以通過在EMR控制台查看執行個體資訊，並通過EMR StarRocks Manager串連執行個體查看資料庫、表等資訊。

• 已將DataWorks資源群組的白名單IP地址添加至EMR Serverless StarRocks執行個體的白名單中。

  添加EMR Serverless StarRocks執行個體白名單的操作入口如下。

  在 EMR Serverless StarRocks 執行個體的執行個體詳情頁面，安全性群組 ID右側單擊內網白名單可配置內網白名單；在FE 詳情地區的公網地址右側單擊公網白名單可配置公網白名單。

建立資料來源

在DataWorks上使用EMR Serverless StarRocks時，您需要先建立StarRocks類型的資料來源，對接已建立的EMR Serverless StarRocks資料庫，以便後續在DataWorks的各個子模組中使用EMR Serverless StarRocks。

資料來源介紹詳情請參見StarRocks資料來源，資料來源的建立入口及配置要點如下。

1. 進入資料來源頁面。

   1. 登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的更多 > 管理中心，在下拉框中選擇對應工作空間後單擊進入管理中心。

   2. 進入工作空間管理中心頁面後，單擊左側導覽列的資料來源，進入資料來源頁面。

2. 單擊新增數據源，資料來源配置要點如下，其他參數可保持預設值。

   根據StarRocks執行個體與DataWorks資源群組的網路連通情況，選擇對應的方式建立資料來源。具體網路連通方案，請參見網路連通方案概述。

   內網連通

   關鍵參數	說明
   配置模式	選擇阿里雲數據庫（RDS）。
   所屬雲賬號	如果EMR Serverless StarRocks執行個體與DataWorks屬於同一帳號，則選擇當前阿里雲主賬號。 如果EMR Serverless StarRocks執行個體屬於其他阿里雲帳號，則選擇其他阿里雲主賬號，選擇其他阿里雲主賬號後，還需配置對方阿里雲主賬號UID和對方RAM角色，對方RAM角色配置的更多資訊，請參見跨帳號授權（RDS、Hive或Kafka）。
   地域	選擇EMR Serverless StarRocks執行個體所在的地區。
   實例	選擇具體Serverless版的StarRocks執行個體。
   數據庫名稱	待串連使用的資料庫名稱。您可以通過EMR StarRocks Manager串連執行個體後，在中繼資料管理中查看。
   用戶名/密碼	執行個體的使用者名稱和密碼。 建立StarRocks執行個體預設建立一個admin使用者，密碼為建立執行個體時自訂的密碼。
   連接配置	您需要測試資料來源與購買的資源群組的連通性，連通狀態為可連通表明資料來源與資源群組間網路是連通的。

   公網連通

   關鍵參數	說明
   配置模式	選擇有公網IP。
   主機地址/IP	EMR Serverless StarRocks執行個體中FE的公网地址。 公網地址格式為 fe-c-<執行個體標識>.starrocks.aliyuncs.com，HTTP 連接埠為 8030。可單擊公網白名單配置訪問白名單，或單擊關閉公網停用公網訪問。
   連接埠	EMR Serverless StarRocks執行個體中FE的查詢連接埠（預設為9030）。
   Load URL	StarRocks FE的地址用於Streamload，可以為多個FE地址，形如FE公網地址:FE的HTTP連接埠，使用逗號分割。
   數據庫名稱	待串連使用的資料庫名稱。您可以通過EMR StarRocks Manager串連執行個體後，在中繼資料管理中查看。
   用戶名/密碼	執行個體的使用者名稱和密碼。 建立StarRocks執行個體預設建立一個admin使用者，密碼為建立執行個體時自訂的密碼。
   連接配置	您需要測試資料來源與購買的資源群組的連通性，連通狀態為可連通表明資料來源與資源群組間網路是連通的。

Data Integration

DataWorks支援同步多種資料來源的資料至EMR Serverless StarRocks表中，如MySQL、Hive、Kafka、OSS、HDFS等。以下以離線同步一個MySQL資料至EMR Serverless StarRocks表中為例，為您介紹操作要點。

1. 進入資料開發頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的數據開發與營運 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。

2. 建立離線同步節點，設定資料來源為MySQL，資料去向為StarRocks資料來源。

   在左側導航樹中展開Data Integration，單擊建立節點 > 離線同步。在網路與資源配置步驟中，選擇資源群組並分別單擊測試連通性，確認資料來源和資料去向均顯示可連通。

3. 選擇資源群組後，並分別測試與來來源資料源、去向資料來源的連通性。

4. 設定調度周期，提交發布節點後周期執行任務。

   完成調試後，您可以單擊側邊欄的調度配置，配置調度周期、重跑策略等調度參數，設定任務使用的資源群組，完成後單擊提交、发布按鈕。

資料開發與調度營運

對於需要周期調度的EMR Serverless StarRocks任務，您可以在DataStudio模組中建立StarRocks節點，選擇已經串連到的StarRocks資料來源，即可編寫EMR Serverless StarRocks SQL任務，並設定調度周期來周期執行。操作步驟要點如下：

1. 進入資料開發頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的數據開發與營運 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。

2. 在DataStudio中建立StarRocks節點，選擇已經串連到的StarRocks的資料來源，即可編寫EMR Serverless StarRocks SQL任務。

   具體操作為：按右鍵商務程序中的資料庫節點，選擇建立節點 > StarRocks，在開啟的 SQL 編輯器中選擇對應資料來源並編寫 SQL，例如 SELECT * FROM testdb.testtb;。

3. 在DataStudio調試EMR Serverless StarRocks SQL任務時，您需要選中待調試的SQL命令並單擊運行按鈕，選中資源群組後進行調試。

4. 設定調度周期，提交發布節點後周期執行任務。

   完成調試後，您可以單擊側邊欄的調度配置，配置調度周期、重跑策略等調度參數，設定任務使用的資源群組，完成後單擊提交、发布按鈕。

資料分析

您可以使用DataWorks的資料分析子模組，對EMR Serverless StarRocks表資料進行快速分析，操作要點如下。

1. 進入SQL查詢頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料分析與服務 > 資料分析，單擊進入資料分析頁面，單擊左側導覽列的SQL查詢進入SQL查詢頁面。

2. 單擊左邊側邊欄的表徵圖，單擊更多 > 系統管理，進入系統管理頁面，設定StarRocks類的查詢資源群組為任務使用的資源群組。

   在 SQL查詢 的 資源群組 配置地區中，StarRocks 引擎預設使用 公用調度資源群組，將其修改為目標資源群組後單擊 儲存。

3. 回到SQL查詢頁面，在右上方切換引擎類型為StarRocks，並選擇資料來源，即可編輯查詢語句並運行，進行EMR Serverless StarRocks資料分析。

   在右側配置面板中，還需選擇工作空間，然後單擊確定。

資料服務

資料服務支援產生StarRocks資料來源類型的API。

1. 進入資料服務頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料分析與服務 > 資料服務，在下拉框中選擇對應工作空間後單擊進入資料服務。

2. 產生一個API，並配置API參數。

   資料服務支援嚮導模式和指令碼模式兩種編輯情境，指令碼模式支援根據查詢SQL語句自動產生API的請求參數和返回參數。以下以嚮導模式為例為您樣本操作要點。

   在左側導航樹中，展開目標商務程序下的API節點，右鍵選擇建立API > 產生API，進入嚮導模式配置頁面。

   選擇資料來源類型為StarRocks，選擇建立的StarRocks資料來源後，選擇對應的表，根據介面選擇API的請求參數、返回參數等API配置。

3. 單擊右邊側邊欄的服務資源群組，配置資源群組為獨享資料服務資源群組。

   在獨享服務資源群組下拉框中選擇目標資源群組（如test），並配置API Gateway執行個體類型為共用執行個體、逾時時間為30000 ms、單次請求資料條數上限為10000條。

4. 測試API成功後，提交並發布API。

資料地圖

資料地圖模組支援對StarRocks資料的中繼資料採集、搜尋和表詳情頁。