全部產品
Search
文件中心

Data Management:建立專案空間並引入資源

更新時間:Mar 14, 2025

本文為您介紹如何建立資料工作站專案空間、添加資源並配置代碼儲存空間。

步驟一:建立並進入專案空間

  1. 登入Data Management 5.0
  2. 單擊控制台左上方的2023-01-28_15-57-17.png表徵圖,選擇全部功能 > Data+AI > Notebook

    說明

    若您使用的是非極簡模式的控制台,請在頂部功能表列中,選擇Data+AI > Notebook

  3. 單擊建立專案空間,在對話方塊中填入專案空間名地區等資訊,單擊確認

    說明
    • 專案空間名稱由英文字母、數字或底線(_)組成。

    • 目前專案空間地區僅支援選擇新加坡。

  4. 單擊操作列的進入空間,進入目標專案空間。

    說明

    預設只有專案建立人有權進入該專案空間。如果需要進行協作開發,請專案建立人在該專案中為目標使用者添加開發許可權。

步驟二:添加專案成員

如果專案空間有多個使用者參與,則需要給使用者授予不同的專案空間角色。

待分配角色的使用者要求已錄入DMS。具體操作,請參見使用者管理

image

步驟三:配置代碼儲存空間

  1. 進入專案空間後,在專案設定image頁簽內,單擊儲存配置

  2. 儲存配置頁面,單擊代碼空間右側的image表徵圖。

  3. 選擇OSS目錄對話方塊中,選擇目標Bucket

    選擇的Bucket必須與當前專案空間所在地區一致,且Bucket的儲存類型必須為標準儲存。

    說明

    若當前Region下沒有可用的Bucket,請前往OSS控制台建立。具體操作,請參見建立儲存空間

  4. 單擊確定

步驟四:添加資源

添加並啟動資源後,您才可以使用Notebook進行資料查詢和分析。

  1. 進入專案空間後,在專案設定image頁簽內,單擊資源配置

  2. 單擊添加資源,配置資源的相關資訊。

    參數

    說明

    資源名稱

    填寫易於理解和使用的名稱。

    資源簡介

    填寫該資源的使用用途。

    鏡像

    • Spark 3.5+Python 3.9

    • Spark 3.3+Python 3.9

    • Python 3.9

    ADB執行個體

    選擇目標AnalyticDB for MySQL執行個體。

    說明
    • 如果鏡像選擇Spark 3.3或3.5,您還需要選擇一個AnalyticDB for MySQL叢集。

    • 如果搜尋不到目的地組群,請檢查叢集是否錄入至DMS。錄入操作,請參見雲資料庫錄入

    ADB資源群組

    選擇目標資源群組。

    Executor規格

    Spark Executor的資源規格。不同型號的取值對應不同的規格,詳情請參見Spark應用配置參數說明的型號列。

    Executor數量

    Spark配置下的Executor數量。

    說明

    Notebook公測期間,每一個Notebook執行個體中添加的資源的Executor總數最多為6個。如果您需要解除Executor數量限制,請聯絡DMS支援人員。

    Driver規格

    Spark Driver的資源規格。

    • General_XSmall_v1(2核8 GB)

    • General_Small_v1(4核16 GB)

    • General_Mediun_v1(8核32 GB)

    • General_Large_v1(16核64 GB)

    Notebook規格

    鏡像選擇Python 3.9時,會出現該參數。

    • General_XSmall_v1(2核8 GB)

    • General_Small_v1(4核16 GB)

    • General_Mediun_v1(8核32 GB)

    • General_Large_v1(16核64 GB)

    VPC ID

    選擇可用的VPC。

    Zone ID

    選擇VPC的可用性區域。

    VSwitch ID

    選擇可用VPC下的交換器。

    安全性群組ID

    選擇可用的安全性群組。

  3. 單擊儲存

  4. 啟動資源。

    單擊目標資源右側操作列的啟動,再單擊確認

    說明

    啟動資源預計需要1分鐘,啟動成功後,資源狀態會變為運行中

步驟五:配置使用者儲存空間

如果您需要在使用資料工作站功能時,讀取除DMS Notebook以外的資料。DMS支援您配置多個OSS Bucket路徑,以讀取Bucket中的資料。

  1. 進入專案空間後,在設定image頁簽內,單擊儲存管理

  2. 在使用者儲存空間地區,配置OSS路徑。

    說明

    掛載路徑必須以/mnt/開頭。

    image

  3. 單擊儲存image

步驟六:查看資料

  1. 進入專案空間後,在資料image頁簽內。

  2. 您可以在SQL Console中進行如下操作:

    • 查詢資料

      您可使用Copilot產生查詢SQL或自行輸入SQL語句。SQL文法應與邏輯數倉的SQL文法保持一致。

      說明

      使用統一的MySQL文法進行查詢,無需關注查詢的表的資料庫來源(比如AnalyticDB MySQL版、RDS MySQL),DMS會自動為您進行轉換、最佳化。

      在使用Copilot產生SQL的過程中,Copilot能夠根據您提供的反饋和庫表列中繼資料資訊自動擷取業務知識。如果所擷取的知識不準確,您可以進行編輯以提升其參考價值,隨後Copilot在回答類似問題時將會參考該知識以提高準確性。更多知識的資訊,請參見使用Copilot產生SQL

      如果您對Copilot產生的SQL滿意並符合您的業務需求,可以為其點贊。這一操作將成為後續產生SQL的參考。

    • 查看錶使用說明

      系統自動根據庫表列中繼資料產生表描述。您可展開資料庫,再雙擊表名稱,在使用說明頁簽下查看或編輯表描述。

      image

下一步操作

使用Notebook開發

管理Notebook資源

針對已添加的資源,您可在資源配置頁面進行如下操作。如何進入資源配置頁面,請參見步驟四:添加資源

  • 手動停止資源運行

  • 編輯資源資訊

    說明

    當資源停止運行時,才可以編輯資源資訊。

  • 手動啟動已停止啟動並執行資源

  • 自動釋放Notebook資源

    當Notebook中的所有Kernel完全退出時,Kernel會進入空閑狀態,並且當空閑時間≥設定的空閑時間時,Notebook資源會被自動釋放。

  • 查看Notebook資源中Spark的歷史執行任務

    1. 在資源配置頁面,單擊目標資源右側的SparkUI,進入工作清單頁面。

      image

    2. 單擊目標App ID,查看Spark執行詳情。

      image