DataWorks：Notebook 基礎開發

開始前，請確保您已滿足以下條件：

• 當前工作空間已開通並使用新版資料開發（Data Studio）。

• 已建立Serverless 資源群組。Notebook在生產環境運行需要依賴Serverless資源群組。

• 已建立個人開發環境執行個體。Notebook在開發環境調試運行需要依賴個人開發環境執行個體。

  如果您尚未建立，請參見建立個人開發環境執行個體。

操作步驟：

1. 建立 Notebook 節點

   1. 進入 Data Studio，在資料開發的專案目錄下，建立 Notebook 節點。

   2. 為 Notebook 命名（例如 hello_notebook）並提交。

2. 選擇個人開發環境

   在頂部導航處單擊個人開發環境，從下拉式清單中選擇您已建立的個人開發環境執行個體。

3. 編寫 Python 儲存格以定義參數

   添加一個Python儲存格，並輸入以下代碼。此步驟定義一個城市變數，用於後續的 SQL 查詢。

   # 定義一個變數，用於後續SQL查詢
   city = 'Beijing'
   print(f"已定義城市變數 city = {city}")

4. 編寫 SQL 儲存格以查詢資料

   1. 在第一個儲存格下方，新增一個 SQL 儲存格。

   2. 在儲存格右下角，將 SQL 類型切換為 MaxCompute SQL。

   3. 輸入以下 SQL 代碼。代碼通過 ${city} 文法引用了上一步 Python 儲存格中定義的 city 變數。

      -- 使用Python中定義的變數進行查詢  
      SELECT '${city}' AS city;

5. 運行並查看結果

   1. 單擊 Notebook 上方工具列的全部運行按鈕。

   2. 觀察每個儲存格的運行情況：

      • Python 儲存格下方會輸出 已定義城市變數 city = Beijing。

      • SQL 儲存格下方會顯示查詢結果的表格。

至此，您已成功建立並運行一個包含 Python 和 SQL 互動的 Notebook。

開發環境 vs. 生產環境

計算資源與核心

• 計算資源：指 Notebook 串連的後端計算引擎，如 MaxCompute、EMR Serverless Spark 等。SQL 儲存格必須綁定一個計算資源來執行。

• Python 核心：指執行 Python 代碼的後端環境。在 DataWorks Notebook 中，這通常是您的個人開發環境執行個體。您可以通過 Magic Command（如 %odps）在 Python 代碼中建立與計算資源的串連，從而提交任務或操作資料。

目錄類型與適用情境

您建立 Notebook 的位置決定其協作模式、許可權和發布流程。

儲存格管理

• 添加儲存格：將滑鼠移至上方在現有儲存格的上方或下方邊緣，單擊出現的+ SQL等按鈕。也可以使用頂部工具列的按鈕。

• 切換儲存格類型：單擊儲存格右下角的類型標識（如 Python），在彈出的菜單中選擇新的類型，如 SQL、Markdown。切換類型時，儲存格內的代碼內容會保留，您需要手動修改以適應新類型。

• 移動儲存格：將滑鼠移至上方在儲存格左側的藍色豎線上，按住並拖動即可調整順序。

• 運行儲存格：

  • 運行單個：單擊儲存格左側的運行按鈕。

  • 運行全部：單擊 Notebook 頂部工具列的全部運行按鈕。

參數傳遞

Copilot 輔助編程

DataWorks Copilot 是內建的智能編程助手，可以協助您產生和解釋代碼。

喚起方式：

• 在選擇的儲存格左上方單擊 Copilot 表徵圖。

• 在SQL儲存格內右鍵，選擇 Copilot。

• 使用快速鍵 Cmd+I (Mac) 或 Ctrl+I (Windows)。

1、配置調度參數（參數化調度）

如需每次調度運行時，Notebook 中的參數能動態變化（例如，按天處理不同分區的資料），可以設定參數化調度。

1. 標記參數儲存格： 在包含核心參數定義的 Python 儲存格中，單擊右上方的 ... 菜單，選擇 Mark Cell as Parameters。該儲存格會被添加一個 parameters 標籤，表明它是調度任務的參數入口。

   

2. 配置調度參數：

   1. 在 Notebook 右側面板，單擊調度配置。

   2. 在調度參數地區，為您在代碼中定義的變數（如 var）賦值。

      

當任務被調度系統自動執行時，代碼中 var 參數的實際值，將由在調度參數中配置的值動態替換。

2、配置運行環境與資源

1. 配置鏡像：在調度配置中，選擇一個包含 Notebook 運行所需全部依賴的鏡像。這是確保生產環境成功啟動並執行關鍵。

   重要

   如果您在個人開發環境執行個體中通過 pip install 等方式進行了Python包的安裝，為確保生產環境具備與開發環境時相同的依賴，您需將個人開發環境製作DataWorks鏡像，並在調度配置中選用該自訂鏡像。

2. 配置資源群組：選擇用於執行任務的資源群組。對於 Serverless 資源群組，建議配置不超過 16CU，以避免因資源不足導致任務啟動失敗。單個任務最大支援 64CU。

3. 配置關聯角色：如需進行細粒度的許可權管控，可以為節點關聯一個特定的 RAM角色，使其以該角色的身份運行。詳情請參見配置節點關聯角色。

3、發布節點

只有專案目錄下的節點才能被發布和周期性調度。

• 對於專案目錄下的 Notebook：完成配置後，單擊頂部工具列的發布按鈕。

• 對於個人目錄下的 Notebook：需先單擊儲存按鈕，將其提交到專案目錄，然後再執行發佈動作。

發布成功後，您可以在營運中心的周期任務頁面監控和管理您的 Notebook 任務。