全部產品
Search
文件中心

Dataphin:回合設定

更新時間:Jan 25, 2025

為了節省調度資源,在確保不存在資源與狀態衝突的前提下,您可以設定基於離線代碼模板建立的模板任務是否共用運行調度資源。本文為您介紹如何開啟全域共用資源開關。

背景資訊

為了避免不同任務運行之間產生資源或狀態的衝突(如修改全域環境變數、移除本地共用檔案等等),Dataphin預設為每個Shell或Python任務分配獨立的容器來保障任務的互相隔離。但是大批量任務同時運行時會導致運行資源佔用率高,影響共用運行資源任務(如SQL任務)的調度,從而影響業務資料產出及時性。因此支援引用了同一個離線計算模板的多個Shell和Python任務可以共用運行資源,以提升資源使用率。

出於許可權控制和安全性考慮,首先需要由營運租戶在管理中心的回合組態部分開啟是否共用運行資源的全域開關。開啟後,超級管理員可以針對每個模板單獨配置,基於該模板建立的代碼任務是否共用運行資源。由於基於同一個模板建立的任務使用情境相似、參數一致,因此可以合理評估有效控制不同任務共用運行資源帶來的風險。如何為離線計算模板開啟共用運行資源開關,請參見步驟三:配置離線計算模板

許可權說明

僅支援元倉租戶的超級管理員和系統管理員開啟或關閉全域共用資源開關。

注意事項

開啟共用資源開關前,請您合理評估資料安全性並確保共用運行資源的任務間不存在衝突,否則可能導致任務運行異常。

操作步驟

  1. 在Dataphin首頁,單擊頂部功能表列的管理中心

  2. 按照下圖指引,在回合設定頁面,開啟Shell和Python模板任務全域共用資源開關。

    image

  3. 如果您不需要開啟Shell和Python模板任務全域共用資源開關,可以手動切換為關閉,也可以一鍵恢複預設值

  4. 單擊儲存,即可開啟全域共用資源的開關。

    重要

    每次修改配置前已經產生的運行執行個體不受影響。

後續步驟

開啟共用資源開關後,您就可以建立、配置及提交離線計算。具體操作,請參見建立、配置並提交離線計算模板