使用公用資源建立PAI eas服務 - Platform For AI

公用資源適合測試情境或者業務流量有明顯波峰波穀的業務（使用彈性資源集區），可以最大程度降低成本，但公用資源無法保證資源的供給。使用公用資源部署服務時，您還可以選用競價執行個體（搶佔式執行個體）來進一步降低成本，並通過配置多規格執行個體降低單一規格庫存不足帶來的部署風險。本文為您介紹如何使用公用資源來部署模型服務。

計費說明

公用資源按照實際使用量進行計費，詳情請參見EAS計費說明。

開始計費

公用資源支援使用機器資源或機器型號來部署模型服務，服務一旦部署並處於運行中時，系統就開始計費。
PAI為公用資源的每個執行個體機器節點免費提供30 GiB的系統硬碟容量，支援擴容系統硬碟，隨用隨付，系統硬碟建立成功後開始計費。

停止計費

在PAI EAS 模型線上服務頁面的服務列表頁簽，單擊目標服務操作列下的停止，即可停止模型服務和計費。

重要

建議及時停止無用的模型服務，以免產生不必要的費用。
請確保被停止的服務不需要再使用，以免造成不必要的業務損失。
使用公用資源時，因資源不足導致執行個體建立失敗後，一旦資源充足會自動重試建立，請注意停止或刪除此類模型服務。
判斷是否是資源不足引起失敗：單擊服務名稱，進入服務詳情頁面，查看服務執行個體狀態。

競價執行個體

競價執行個體是一種通過設定價格上限的搶佔模式部署服務的執行個體類型，旨在提供更具成本效益的計算資源。

優勢
- 成本節約：競價執行個體的最大優勢在於其價格低廉。價格隨市場和庫存的供需關係即時變化，通常較公用資源隨用隨付的普通執行個體更具優惠。
- 價格層級：競價執行個體分為有保護期和無保護期兩種類型，價格從低到高依次為：無保護期價格 < 有保護期價格 < 普通執行個體價格。
資源搶佔條件
- 競價執行個體庫存充足，且使用者佈建的出價不低於當前市場價。
資源釋放條件：取決於競價型保留時間長度的設定。
- 設定執行個體使用1小時：提供一小時的使用保護期，執行個體在保護期內不會被釋放，超過保護期後可能會被自動釋放。
- 無確定保護期間：不保證能持續使用，使用期間內可能會因庫存變化或市場價變動等原因導致執行個體自動被釋放。
計費模式
- 競價執行個體採用隨用隨付模式，費用根據即時市場價計算。

多規格執行個體

在部署服務時，只指定單一規格的計算資源，會出現由於該規格庫存不足導致服務長時間無法拉起的情況。針對該問題，EAS部署環節支援多規格執行個體選擇，通過遍曆設定檔中提供的規格列表來拉起資源，從而極大降低單一規格庫存不足帶來的部署風險。

執行個體使用順序
在建立或更新服務時，您可以同時指定多種執行個體規格（如競價執行個體和常規型執行個體）。部署時，系統將按配置順序依次嘗試使用這些執行個體。當某個執行個體規格競價失敗或庫存不足時，將按照配置順序自動切換到下一個可用規格。
資源釋放與重新分配
如配置的競價執行個體因庫存或市場價格變化可能會被釋放回收，此時EAS會根據設定檔重新分配最高優先順序的可用資源，以確保服務的連續性。

擴充系統硬碟儲存空間

PAI為公用資源每個執行個體機器節點免費提供30 GiB的系統硬碟容量，如需更大容量，則需按實際使用量付費，計費詳情請參見模型線上服務（EAS）計費說明。

重要

系統硬碟最大為2000 GiB，超出2000 GiB會導致模型服務部署失敗。

操作步驟

通過控制台配置

以下步驟以自訂部署為例。

登入PAI控制台，在頁面上方選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。
- 建立服務：在推理服務頁簽，單擊部署服務，選擇自訂模型部署> 自訂部署。
- 更新服務：在推理服務頁簽的服務列表中找到要操作的服務，操作列單擊更新。
在資源資訊地區，資源類型選擇公用資源，單擊資源規格在彈出的列表中選擇您需要的資源規格。
（可選）開啟競價。開啟競價開關，設定出價，並選擇競價型保留時間長度。
說明
- 僅支援競價的資源規格可開啟競價開關。
- 建議使用競價執行個體時，同時配置常規型執行個體，避免競價失敗影響服務部署。
（可選）配置多規格執行個體。單擊添加按鈕，配置多個執行個體。
配置系統硬碟大小。

通過EASCMD用戶端配置

通過EASCMD用戶端部署模型服務請參見服務部署：EASCMD。

第一次使用EASCMD用戶端部署，您可以在控制台配置參數之後，在服務配置地區直接擷取JSON配置。

資源部署相關的JSON參數樣本如下：

{
    "metadata": {
        "name": "test",
        "instance": 1,
        "workspace_id": "your-workspace-id",
        "disk": "40Gi"
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                },
                {
                    "type": "ecs.c8i.xlarge"
                }
            ],
            "disable_spot_protection_period": true
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
            "script": "python app.py",
            "port": 8000
        }
    ]
}

參數			描述
metadata	instance		服務啟動的執行個體數量。上述JSON檔案中表示啟動1個執行個體。
	disk		系統硬碟大小。公用資源群組免費贈送30GiB，如需更大容量，則需按實際使用量付費。最大取值2000 Gi。
cloud	computing	instances	表示允許的執行個體規格，支援配置多個。當執行個體規格競價失敗或庫存不足時，按照配置順序依次嘗試使用下一個執行個體規格建立服務。 type：執行個體規格。 spot_price_limit（可選）：當配置該參數時：表示對應執行個體規格使用競價執行個體，並指明價格上限。單位為USD，支援隨用隨付。當不配置該參數時：表示對應執行個體規格為普通的隨用隨付執行個體。
		disable_spot_protection_period	支援以下取值： false（預設值）：表示在競價執行個體建立成功後，預設有1小時保護期。在保護期內即使市場價格超過了出價，執行個體也不會被釋放。 true：表示禁用保護期，無保護期執行個體會始終比有保護期執行個體優惠10%左右。

常見問題

公用資產庫存不足怎麼辦？

部署參數量大的熱點模型，會出現公用資產庫存不足的情況，可以考慮以下解決方案：

切換地區。不同地區的資源供給情況不同，您可以切換不同地區尋找可用公用資源。
重要
可以考慮切換到烏蘭察布使用靈駿競價資源（無需開白）。競價資源可能被搶佔，注意出價。
使用EAS資源群組。部分機型無法通過公用資源使用，請前往EAS專屬機器預付費購買EAS專屬資源。
重要
後付費的專屬資源一旦購買成功即開始計費，無論是否用來部署服務。請及時刪除未使用的後付費機器，以免產生不必要的費用。

Platform For AI：使用公用資源