Container Service for Kubernetes：Ray在ACK叢集高效部署與最佳化實踐

計費說明

本文在ACK叢集上建立Ray Cluster後，與阿里雲Log ServiceSLS、Prometheus監控、Redis等快速整合，以增強日誌管理、可觀測、高可用等能力。

除ACK本身產生的費用外，其他產品也會根據使用的資源產生相應的費用。關於其他產品的計費說明，請參見：

• 可觀測監控 Prometheus 版：計費說明

• Log ServiceSLS：計費說明

• 雲資料庫Tair（相容 Redis）：計費說明

1.環境準備

2. 整合Log ServiceSLS能力

您可以在Ray Cluster中整合阿里雲Log ServiceSLS，實現日誌的持久化儲存。

1. 執行以下命令，建立一個全域的AliyunLogConfig資來源物件，使叢集中的Logtail組件自動收集Ray Cluster的Pod產生的日誌，並將其存入對應的SLS Project中。

   展開查看完整命令代碼

   cat <<EOF | kubectl apply -f -
   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     name: rayclusters
     namespace: kube-system
   spec:
      # 設定Logstore名稱。如果您所指定的Logstore不存在，Log Service會自動建立。
     logstore: rayclusters
     # 設定Logtail配置。
     logtailConfig:
       # 設定採集的資料來源類型。採集文本日誌時，需設定為file。
       inputType: file
       # 設定Logtail配置的名稱，必須與資源名（metadata.name）相同。
       configName: rayclusters
       inputDetail:
         # 指定通過極簡模式採集文本日誌。
         logType: common_reg_log
         # 設定記錄檔所在路徑。
         logPath: /tmp/ray/session_*-*-*_*/logs
         # 設定記錄檔的名稱。支援萬用字元星號（*）和半形問號（?），例如log_*.log。
         filePattern: "*.*"
         # 採集容器的文本日誌時，需設定dockerFile為true。
         dockerFile: true
         #設定容器過濾條件。
         advanced:
           k8s:
             IncludeK8sLabel:
               ray.io/is-ray-node: "yes"
             ExternalK8sLabelTag:
               ray.io/cluster: "_raycluster_name_"
               ray.io/node-type : "_node_type_"
   EOF

   參數	描述
   logPath	收集Pod中/tmp/ray/session_*-*-*_*/logs目錄下的所有日誌，可自訂路徑。
   advanced.k8s.ExternalK8sLabelTag	在收集的日誌中增加Tag索引，便於尋找日誌。預設新增_raycluster_name_和_node_type_兩個Tag。

   關於AliyunLogConfig參數配置的更多資訊，請參見通過DaemonSet-CRD方式採集容器日誌。該服務收費，具體費用，請參見計費概述。

2. 查看Ray Cluster日誌資訊流程。

   登入Container Service管理主控台，在左側導覽列選擇叢集。單擊目的地組群名稱，進入叢集詳情頁面，如下圖所示按照序號依次單擊叢集資訊 > 基本資料 > 叢集資源，單擊Log Service Project右側的連結進入對應的SLS Project。

3. 在Project中選擇rayclusters對應的Logstore並查看日誌內容。

   您可以根據Tag，例如_raycluster_name_，查看不同Ray Cluster的日誌。

   

3. 整合阿里雲Prometheus監控能力

您可以在Ray Cluster中使用阿里雲Prometheus監控能力，關於Prometheus監控功能的更多資訊，請參見使用阿里雲Prometheus監控。

您可執行以下命令部署Pod Monitor和Service Monitor資源，用於收集Ray Cluster 的Metric資料。

1. 執行以下命令部署Pod Monitor資源。

   展開查看完整程式碼範例

   cat <<EOF | kubectl apply -f -
   apiVersion: monitoring.coreos.com/v1
   kind: PodMonitor
   metadata:
     annotations:
       arms.prometheus.io/discovery: 'true'
       arms.prometheus.io/resource: arms
     name: ray-workers-monitor
     namespace: arms-prom
     labels:
       # `release: $HELM_RELEASE`: Prometheus can only detect PodMonitor with this label.
       release: prometheus
       #ray.io/cluster: raycluster-kuberay # $RAY_CLUSTER_NAME: "kubectl get rayclusters.ray.io"
   spec:
     namespaceSelector:
       any: true
     jobLabel: ray-workers
     # Only select Kubernetes Pods with "matchLabels".
     selector:
       matchLabels:
         ray.io/node-type: worker
     # A list of endpoints allowed as part of this PodMonitor.
     podMetricsEndpoints:
     - port: metrics
       relabelings:
       - action: replace
         regex: (.+)
         replacement: $1
         separator: ;
         sourceLabels:
           - __meta_kubernetes_pod_label_ray_io_cluster
         targetLabel: ray_io_cluster
         
   EOF

2. 執行以下命令部署Service Monitor資源。

   展開查看完整程式碼範例

   cat <<EOF | kubectl apply -f -
   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     annotations:
       arms.prometheus.io/discovery: 'true'
       arms.prometheus.io/resource: arms
     name: ray-head-monitor
     namespace: arms-prom
     labels:
       # `release: $HELM_RELEASE`: Prometheus can only detect ServiceMonitor with this label.
       release: prometheus
   spec:
     namespaceSelector:
       any: true
     jobLabel: ray-head
     # Only select Kubernetes Services with "matchLabels".
     selector:
       matchLabels:
         ray.io/node-type: head
     # A list of endpoints allowed as part of this ServiceMonitor.
     endpoints:
       - port: metrics
         path: /metrics
     targetLabels:
     - ray.io/cluster
     
   EOF

3. 登入控制台查看資源部署接入情況。

   1. 登入ARMS控制台。在左側導覽列單擊接入中心，在基礎設定頁面，如下圖所示按照序號依次單擊②搜尋Ray > ③選中Ray，然後在Ray面板選擇上文建立的叢集，單擊確定。

   2. 接入成功後，單擊接入管理，跳轉至ARMS接入管理頁面。在組件管理頁簽，單擊組件類型地區的大盤，選擇Ray Cluster。

   3. 在大盤中選擇對應Namespace、RayClusterName和SessionName進行過濾，查看Ray Cluster運行中任務的監控資料。

相關文檔

• 您可以在本地訪問Ray的可視化Web介面DashBoard，請參見本地訪問Ray Dashboard。

• 關於如何在Ray Cluster中提交一個Job，請參見提交Ray Job。

• 關於如何在普通ECS節點結合Ray autoscaler實現Auto Scaling，請參見基於Ray autoscaler與ACK autoscaler實現Auto Scaling。

• 關於如何在虛擬ECI節點中結合Ray autoscaler實現Auto Scaling，請參見結合Ray autoscaler實現ECI節點的Auto Scaling。