Data Studio個人開發環境是帳號級雲端開發執行個體,整合OSS/NAS儲存、Git代碼管理及Python/Notebook生態,支援本地指令碼執行、線上調試與任務提交,通過靈活的自訂鏡像和外部服務擴充能力,為資料處理、模型訓練及協作開發提供高效、可定製的全流程支援,助力提升代碼品質與研發效率。本文介紹個人開發環境的使用方法。
功能介紹
Data Studio支援建立帳號層級的個人開發環境執行個體。在網路連通的情況下,您可以輕鬆訪問NAS儲存和Git倉庫,複製Git倉庫中的代碼,並進行線上開發和調試Python、Notebook代碼。您還可以將代碼提交到專案工作區以便調度。
個人開發環境執行個體:
支援SQL、AI Notebook和Python生態,允許本地執行SQL語句、Python指令碼、Shell命令和開發Notebook開發任務,並提供代碼調試功能。
支援安裝擴充程式,進行相應任務開發(例如:DataWorks Agent任務開發)。
支援整合Git代碼管理,使您可以輕鬆地複製、推送和管理代碼。
支援OSSObject Storage Service和NAS儲存,便於管理和訪問資料。
支援DataWorks自訂鏡像,從而根據建立的鏡像實現多樣化的任務開發。
通過這些功能,Data Studio為您提供了一個高效、靈活且強大的開發環境,使您能夠更便捷地進行資料處理、分析和模型訓練等工作,從而提高開發效率和代碼品質。
產品計費
個人開發環境執行個體建立時需要指定資源群組和CU,根據運行時間長度收取資源群組對應CU的費用。具體請參見Serverless資源群組計費。
當個人開發環境執行個體狀態為運行中時,若執行個體使用隨用隨付資源群組將按照
資源配額×執行個體已耗用時間收取計算費用,若執行個體使用訂用帳戶資源群組將佔用該資源群組可用額度。當個人開發環境執行個體不需要使用時,請及時在管理執行個體中停止個人開發環境執行個體。
適用範圍
工作空間限制:僅支援使用新版資料開發(Data Studio)的工作空間。
資源群組限制:僅支援Serverless資源群組。
數量限制:工作空間下每個成員最多建立
10個個人開發環境執行個體。儲存限制:每個個人開發環境執行個體提供30
GiB的免費雲端硬碟(即個人開發環境執行個體內建的儲存空間),停機後15天后會被回收,請注意及時儲存個人代碼檔案。許可權控制:Data Studio根據不同身份(租用戶系統管理員、工作空間管理員或個人開發環境執行個體所有者)對個人開發環境執行個體的許可權進行差異化管理。
租用戶系統管理員、工作空間管理員
可以查看和管理當前工作空間下所有個人開發環境執行個體。
只能使用執行個體所有者為自己的個人開發環境執行個體。
個人開發環境執行個體所有者
只能查看、使用和管理執行個體所有者為自己的個人開發環境執行個體。
管理:包含變更配置、停止、啟動、刪除、製作鏡像、定時關機、查看自動關機策略等操作。
建立個人開發環境執行個體
進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到目標工作空間,單擊操作列的,進入Data Studio。
單擊頂部個人開發環境,按需選擇已有個人開發環境執行個體或建立執行個體。
參數
說明
執行個體名稱
個人開發環境執行個體的名稱,支援自訂。
執行個體所有者
預設將建立工作空間的目前使用者設定為執行個體所有者。
資源詳情
資源群組
選擇個人開發環境執行個體所使用的Serverless資源群組。
資源類型
支援配置CPU類型和GPU類型的資源。
資源配額
選擇個人開發環境執行個體的資源規格,按需選擇即可。
選擇規格後,會展示:
規格名稱、CPU、記憶體、頻寬以及資源配額(所選規格對應抵扣資源群組的CU數)。
GPU類型執行個體相比CPU類型執行個體,還會展示GPU規格以及顯存。
支援在Serverless資源群組的給任務分配CU配額中分配當前個人開發環境執行個體可使用的CU上限或CU保障。
重要請關注此處的資源配額資訊,當個人開發環境執行個體運行時,若執行個體使用隨用隨付資源群組將按照
資源配額×執行個體已耗用時間收取計算費用,若執行個體使用訂用帳戶資源群組將佔用該資源群組可用額度。選擇鏡像
按需選擇系統提供的鏡像或自訂鏡像。
系統內建鏡像:請參見DataWorks官方鏡像。
自訂鏡像:除系統提供的鏡像外,您還可以選擇已建立的自訂鏡像。通過自訂鏡像,您可以預裝特定的三方包,以滿足個人化的開發需求。自訂鏡像的製作方法,請參見個人開發環境製作DataWorks鏡像。
儲存設定
系統硬碟
每個個人開發環境執行個體提供30GiB的免費雲端硬碟(即個人開發環境執行個體內建的儲存空間),停機後15天后會被回收,請注意及時儲存個人代碼檔案。
個人開發環境執行個體內建的儲存空間預設路徑為
/mnt/workspace。資料集
若您需要在個人開發環境中讀寫儲存於OSS或NAS上的資料時,可以為個人開發環境添加資料集。
資料集:可下拉選擇當前空間內建立的檔案儲存體類型(OSS或NAS)的資料集,但需注意以下內容:
選擇檔案儲存體為NAS類型的資料集時,假如當前DataWorks資源群組網路未與NAS掛載點連通,則需調整VPC網路,確保資源群組與NAS掛載點連通。
說明DataWorks資源群組綁定的VPC與NAS掛載點綁定的VPC一致時,網路即可正常連通。
掛載路徑:預設掛載路徑基於資料集配置,可在當前節點手動修改。
進階配置:為節點開發讀取OSS或NAS資料集時,可通過配置不同的管理資料集來調整資料集的讀取方法和掛載協議配置等配置。
唯讀:開啟唯讀後,個人開發環境中啟動並執行任務在運行期間將僅允許讀取資料,無法將資料寫入OSS或NAS。
網路設定
專用網路
訪問VPC內資源 (如RDS):請在此處配置相應的專用網路。
訪問公網資源:將此項留空即可。開發環境預設支援公網訪問。
同時訪問VPC和公網:此處配置專用網路後,還需為VPC配置專有公網網關,以訪問公網。
說明若需訪問有白名單存取控制的地址,也需綁定有公網能力的專用網路。
安全性群組
請選擇已經建立的安全性群組進行掛載。
交換器
可選,未填寫時系統將會根據所選的專用網路預設隨機播放一個交換器。
訪問配置
啟用SSH
啟用後基於已選專用網路,使用SSH原生方式直連登入個人開發環境。 若您配置了自訂鏡像,請確認自訂鏡像安裝了sshd。
重要使用SSH,需要在個人開發環境安裝SSH Server。請參考步驟四:安裝SSH Server。
SSH公開金鑰
本地產生的公開金鑰,具體可參考步驟二:產生SSH公開金鑰。
SSH訪問方式
VPC內登入:預設支援該訪問方式。您可以從VPC內的其他終端(例如ECS),訪問個人開發環境。
公網登入:選中該項,可以增加公網訪問方式。同時必須配置NAT Gateway和Elastic IP Address。
VPC內訪問網域名稱
為您建立一條內建權威網域名稱(Private Zone),您可在VPC內使用該網域名稱來訪問當前執行個體的SSH服務或其他自訂服務,避免使用變化的執行個體IP帶來的訪問不便。請注意建立的內建權威網域名稱會產生費用。
NAT Gateway
若需要公網訪問則需要配置該參數。選擇為當前VPC建立的公網 NAT Gateway。
Elastic IP Address
若需要公網訪問則需要配置該參數。選擇為當前NAT Gateway建立的Elastic IP Address。
進階資訊
執行個體RAM角色
執行個體RAM角色允許您將一個角色關聯到個人開發環境執行個體,在執行個體內部基於STS(Security Token Service)臨時憑證訪問其他雲產品,臨時憑證將周期性更新。既可以保證雲帳號AccessKey安全,還可以藉助RAM存取控制實現精細化控制和許可權管理。預設選擇DataWorks預設角色。
角色詳情,請參見個人開發環境配置執行個體RAM角色。
管理個人開發環境執行個體
停止個人開發環境執行個體
當個人開發環境執行個體狀態為運行中時,若執行個體使用隨用隨付資源群組將按照
資源配額×執行個體已耗用時間收取計算費用,若執行個體使用訂用帳戶資源群組將佔用該資源群組可用額度。當個人開發環境執行個體不需要使用時,請及時在管理執行個體中停止個人開發環境執行個體。
個人開發環境支援多種方式停止執行個體:
1. 設定空間級自動關機策略
阿里雲主帳號或空間管理員可前往管理中心設定空間下所有個人開發環境執行個體的自動關機策略,當空間下處於運行中狀態的個人開發環境執行個體滿足該空間級自動關機策略時,將自動關機。
進入管理中心頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入管理中心。
在頁面,找到個人開發環境執行個體地區的自動關機策略,按需配置。
參數配置說明:
閑置時間長度為必選參數,以小時為單位。
GPU 利用率和CPU 利用率至少配置一個。
說明此處定義的關機策略作用於當前空間下的所有啟動狀態的個人開發環境執行個體,策略儲存後立即生效。
修改了個人開發環境執行個體自動關機配置,將會重新計算個人開發環境執行個體的空閑時間長度。
2. 設定定時關機
在Data Studio介面,單擊頂部個人開發環境,選擇管理環境。
在個人開發環境執行個體列表中找到需要自動停止的執行個體後,單擊操作列的。配置自動關機時間後,單擊確定。
3. 手動停止執行個體
在Data Studio介面,單擊頂部個人開發環境,選擇管理環境。
在個人開發環境執行個體列表中找到需要停止的執行個體後,單擊操作列的停止。
刪除個人開發環境執行個體
如果您需要釋放建立的個人開發環境執行個體,請在執行個體列表中找到需要釋放的執行個體,單擊操作列的刪除,在彈出的對話方塊中確認刪除執行個體。
查看個人開發環境執行個體資源使用率
滑鼠移至上方至個人開發環境執行個體名稱後的資源使用率簡要資訊地區,即可查看各項指標的詳細資料。
在個人開發環境使用資料集
個人開發環境支援使用資料集,以實現節點運行過程中讀寫OSS或NAS儲存中的資料。詳情請參見在個人開發環境中使用資料集。
更多參考
您可以將個人開發環境執行個體製作為自訂鏡像,然後在其他節點開發時配合自訂鏡像使用,實現您的營運目標。個人開發環境執行個體製作鏡像及使用方法,請參見個人開發環境製作DataWorks鏡像。
個人開發環境串連Git倉庫,複製、推送和管理代碼的詳細操作,請參見個人開發環境串連Git倉庫。
> 定時關機