KServeは、サービスのパフォーマンスと正常性の監視に役立つ一連のデフォルトのPrometheusメトリクスを提供します。 このトピックでは、KServeを使用してデプロイされたサービスに対してPrometheusのManaged Serviceを構成する方法について説明します。 この例では、NVIDIA V100 GPUを使用するQwen-7B-Chat-Int8モデルが使用されています。
前提条件
バージョン0.9.15以降のArenaクライアントがインストールされています。 詳細については、「Arenaクライアントの設定」をご参照ください。
ack-kserveコンポーネントがインストールされています。 詳細については、「ack-kserveのインストール」をご参照ください。
Container Service for Kubernetes (ACK) クラスターでは、Managed Service for Prometheusが有効になっています。 詳細については、「Prometheusのマネージドサービス」トピックの手順1: Prometheusのマネージドサービスの有効化を参照してください。
手順1: KServerを使用したアプリケーションのデプロイ
次のコマンドを実行して、KServerを使用してscikit-learnベースのアプリケーションをデプロイします。
arena serve kserve \ --name=sklearn-iris \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-sklearn-server:v0.12.0 \ --cpu=1 \ --memory=200Mi \ --enable-prometheus=true \ --metrics-port=8080 \ "python -m sklearnserver --model_name=sklearn-iris --model_dir=/models --http_port=8080"期待される出力:
service/sklearn-iris-metric-svc created # A service named sklearn-iris-metric-svc is created. inferenceservice.serving.kserve.io/sklearn-iris created # An inference service named sklearn-iris is created by using KServer. servicemonitor.monitoring.coreos.com/sklearn-iris-svcmonitor created # A ServiceMonitor is created to integrate Managed Service for Prometheus and collect the monitoring data of the sklearn-iris-metric-svc service. INFO[0004] The Job sklearn-iris has been submitted successfully # The job is submitted to the cluster. INFO[0004] You can run `arena serve get sklearn-iris --type kserve -n default` to check the job status上記の出力は、Arenaクライアントが、KServerおよび統合されたManaged service for Prometheusをサービスとともに使用して、scikit-learnベースのサービスの展開プロセスを開始したことを示しています。
次のコマンドを実行して、次のJSONコードを
. /iris-input.jsonファイルを使用して推論要求を作成します。cat <<EOF > "./iris-input.json" { "instances": [ [6.8, 2.8, 4.8, 1.4], [6.0, 3.4, 4.5, 1.6] ] } EOF次のコマンドを実行して、NGINX IngressゲートウェイのIPアドレスと、クラスターから推論サービスへの外部アクセスを許可するURLのホスト名を取得します。
NGINX_INGRESS_IP=`kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'` SERVICE_HOSTNAME=$(kubectl get inferenceservice sklearn-iris -o jsonpath='{.status.url}' | cut -d "/" -f 3)次のコマンドを実行して、ストレステストツールheyを使用してサービスに複数回アクセスし、モニタリングデータを生成します。
説明heyの詳細については、「hey」をご参照ください。
hey -z 2m -c 20 -m POST -host $SERVICE_HOSTNAME -H "Content-Type: application/json" -D ./iris-input.json http://${NGINX_INGRESS_IP}:80/v1/models/sklearn-iris:predict期待される出力:
上記の出力は、処理速度、データスループット、応答遅延などの主要なメトリックに基づいて、ストレステストでのシステムのパフォーマンスをまとめたものです。 これは、システムの効率と安定性を評価するのに役立ちます。
必要に応じて、 アプリケーションのメトリクスを手動で収集し、メトリクスが適切に公開されていることを確認します。
次の例は、ACKクラスター内の
sklearn-irisを含む特定のポッドからモニタリングメトリクスを収集し、ポッドに直接ログインしたり、ポッドのポートを外部ネットワークに公開したりすることなく、データをローカルで表示する方法を示しています。次のコマンドを実行して、名前がsklearn-irisを含むポッドのポート8080をローカルホストのポート8080にマップします。
$POD_NAME変数を使用して、ポッド名を指定できます。 このようにして、ローカルホストのポート8080に送信された要求は、ポッドのポート8080に透過的に転送されます。# Specify the pod name. POD_NAME=`kubectl get po|grep sklearn-iris |awk -F ' ' '{print $1}'` # Map port 8080 of the pod to port 8080 of the local host. kubectl port-forward pod/$POD_NAME 8080:8080期待される出力:
Forwarding from 127.0.0.1:8080 -> 8080 Forwarding from [::1]:8080 -> 8080上記の出力は、IPv4アドレスまたはIPv6アドレスのどちらを使用してローカルホストに接続しても、ローカルホストのポート8080に送信されたリクエストが期待どおりにポッドのポート8080に転送されることを示しています。
ブラウザに次のURLを入力して、ポッドのポート8080にアクセスし、メトリックを表示します。
http://localhost:8080/metrics期待される出力:
上記の出力は、ポッド内のアプリケーションのパフォーマンスとステータスを評価するためのメトリックを示しています。 要求は最終的にポッド内のアプリケーションに転送されます。
手順2: KServeを使用してデプロイされたアプリケーションのメトリックを照会
ログインして
ARMSコンソールを使用します。左側のナビゲーションウィンドウで、[統合管理] をクリックします。
上部のナビゲーションバーで、ACKクラスターが存在するリージョンを選択します。 [統合管理] ページで、[クエリダッシュボード] タブをクリックします。
ダッシュボードリストで、Kubernetes PodダッシュボードをクリックしてGrafanaページに移動します。
Grafanaページの左側のナビゲーションウィンドウで、[探索] をクリックします。 [Explore] ページで、
request_predict_seconds_bucketステートメントを入力して、アプリケーションメトリックの値を照会します。説明データを5分の遅延で収集する。
よくある質問
問題
request_predict_seconds_bucketメトリックのデータが収集されているかどうかを判断するにはどうすればよいですか。 メトリックデータの収集に失敗した場合はどうすればよいですか?
解決策
ログインして
ARMSコンソールを使用します。左側のナビゲーションウィンドウで、[統合管理] をクリックします。
上部のナビゲーションバーで、ACKクラスターが存在するリージョンを選択します。 [統合管理] ページで、[統合環境] タブの [コンテナーサービス] タブをクリックし、環境名をクリックして詳細ページを表示します。 Container Serviceページで、セルフモニタリングタブをクリックします。
[セルフモニタリング] タブの左側のウィンドウで、[ターゲット] タブをクリックします。 default/sklearn-iris-svcmonitor/0 (1/1 up) が表示されている場合、測定データが収集されます。
メトリックデータの収集に失敗した場合、
チケットを起票し、テクニカルサポートを求めます。
関連ドキュメント
KServeが提供するデフォルトのメトリックについては、「Prometheus metrics」をご参照ください。