XGBoost/LightGBM - Platform For AI

EAS內建的GBDT Processor（包括XGBoost、LightGBM），支援將相應格式的模型部署成線上服務，並提供線上即時推理。本文為您介紹如何部署及調用GBDT模型服務。

背景資訊

GBDT（Gradient Boosted Decision Trees）是一類機器學習演算法，XGBoost和LightGBM是演算法對應的高效工程實現。

在Designer上，使用GBDT或XGBoost組件訓練的演算法模型匯出成相應格式，或您自己的模型均可部署到EAS中。

重要

從Designer上匯出的GBDT模型可以直接通過PMML的Processor來進行部署，詳情請參見PMML。

步驟一：部署服務

使用eascmd用戶端部署模型服務時，您需要指定processor為xgboost或lightgbm，服務組態檔樣本如下：

{
  "name": "gbdt_example",
  "processor": "<processor類型>",
  "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/xgb_model.json",
  "metadata": {
    "instance": 1,
    "cpu": 1
  }
}

其中：<processor類型>需要替換為xgboost或lightgbm。

當模型較大時，因模型編譯功能可能會佔用比較大的記憶體，建議您使用特定的自訂Processor進行模型部署。服務組態檔樣本如下：

{
  "name": "gbdt_example",
  "processor_type": "python",
  "processor_path": "https://eas-data.oss-cn-shanghai.aliyuncs.com/processors/xgboost_processor_notreelite.tar.gz",
  "processor_entry": "xgboost_inference.py",
  "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/xgb_model.json",
  "metadata": {
    "instance": 1,
    "cpu": 1
  }
}

關於如何使用用戶端工具部署服務，詳情請參見服務部署：EASCMD&DSW。

步驟二：調用服務

服務部署完成後，在模型線上服務（EAS）頁面，單擊待調用服務服務方式列下的調用資訊，查看服務訪問的Endpoint和用於服務鑒權的Token資訊。參考以下步驟進行服務調用。

構造服務要求。

GBDT服務的輸入輸出格式為JSON格式的數組，一次請求支援多條樣本輸入，樣本如下。

[
  [14.87, 16.67, 98.64, 682.5, 0.1162, 0.1649, 0.169, 0.08923, 0.2157, 0.06768, 0.4266, 0.9489, 2.989, 41.18, 0.006985, 0.02563, 0.03011, 0.01271, 0.01602, 0.003884, 18.81, 27.37, 127.1, 1095.0, 0.1878, 0.448, 0.4704, 0.2027, 0.3585, 0.1065],
  [11.2, 29.37, 70.67, 386.0, 0.07449, 0.03558, 0.0, 0.0, 0.106, 0.05502, 0.3141, 3.896, 2.041, 22.81, 0.007594, 0.008878, 0.0, 0.0, 0.01989, 0.001773, 11.92, 38.3, 75.19, 439.6, 0.09267, 0.05494, 0.0, 0.0, 0.1566, 0.05905]
]

說明

實際發送服務要求時，可以去除JSON檔案中的換行和空格，以減小網路傳輸，提升服務效能。

發送服務要求。

支援以下三種方式。

重要

直接通過HTTP Header傳入，會使Token在網路中以明文方式傳輸；使用EAS提供的SDK，會使用Token對請求做簽名後再發送，安全性更高。

線上調試

使用curl命令

服務提供HTTP訪問入口，發送請求時，可以將鑒權Token直接通過HTTP Header傳入，樣本如下。

// 發送請求。 
curl -v 18284888792***.cn-shanghai.pai-eas.aliyuncs.com/api/predict/eas_gbdt_example \
      -H 'Authorization: YmE3NDkyMzdiMzNmMGM3ZmE4ZmNjZDk0M2NiMDA***' \
      -d '[[14.87, 16.67, 98.64, 682.5, 0.1162, 0.1649, 0.169, 0.08923, 0.2157, 0.06768, 0.4266, 0.9489, 2.989, 41.18, 0.006985, 0.02563, 0.03011, 0.01271, 0.01602, 0.003884, 18.81, 27.37, 127.1, 1095.0, 0.1878, 0.448, 0.4704, 0.2027, 0.3585, 0.1065], [11.2, 29.37, 70.67, 386.0, 0.07449, 0.03558, 0.0, 0.0, 0.106, 0.05502, 0.3141, 3.896, 2.041, 22.81, 0.007594, 0.008878, 0.0, 0.0, 0.01989, 0.001773, 11.92, 38.3, 75.19, 439.6, 0.09267, 0.05494, 0.0, 0.0, 0.1566, 0.05905]]'
// 返回如下結果。
[[0.0004703899612650275, 0.9877758026123047]]

使用Python SDK

範例程式碼如下。

#!/usr/bin/env python

from eas_prediction import PredictClient
from eas_prediction import StringRequest

if __name__ == '__main__':
    client = PredictClient('1828488879222***.cn-shanghai.pai-eas.aliyuncs.com', 'pmml_test')
    client.set_token('YmE3NDkyMzdiMzNmMGM3ZmE4ZmNjZDk0M2NiMDA***')
    client.init()


    req = StringRequest('[[0.0004703899612650275,0.9877758026123047]]')
    for x in range(100):
        resp = client.predict(req)
        print(resp)

其他語言用戶端SDK使用說明，詳情請參見服務調用SDK。