Container Service for Kubernetes:オンラインサービスと動画トランスコーディングアプリケーションの混在配置

モード 1：排他的デプロイメント (ベースライン)

テスト対象マシンでは NGINX サービスのみが実行されます。

1. 「NGINX サービスと wrk のデプロイ」で説明されているように NGINX をデプロイします。

2. 負荷テストマシンから負荷を送信します：

   # node_ip をテスト対象マシンの IP アドレスに置き換えてください。
   ./wrk -t6 -c54 -d60s --latency http://${node_ip}:8000/

3. CPU 使用率を確認します：

   kubectl top node

   期待される出力：

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.192.168.2.93   29593m       29%    xxxx            xxxx
   cn-beijing.192.168.2.94   6874m        7%     xxxx            xxxx

   テスト対象マシンの CPU 使用率は約 29% です。

4. テストが完了したら、wrk の出力を確認します。正確な結果を得るために、複数のテストを実行してください。期待される出力：

   Running 1m test @ http://192.168.2.94:8000/
     6 threads and 54 connections
     Thread Stats   Avg      Stdev     Max   +/- Stdev
       Latency   402.18us    1.07ms  59.56ms   99.83%
       Req/Sec    24.22k     1.12k   30.58k    74.15%
     Latency Distribution
        50%  343.00us
        75%  402.00us
        90%  523.00us
        99%  786.00us
     8686569 requests in 1.00m, 6.88GB read
   Requests/sec: 144537.08
   Transfer/sec:    117.16MB

   Latency Distribution セクションには、RT パーセンタイル値が表示されます。排他モードでは、RT-P50 は 343 マイクロ秒、RT-P90 は 523 マイクロ秒、RT-P99 は 786 マイクロ秒です。

モード 2：デフォルトの Kubernetes 混在配置 (コントロール)

NGINX と FFmpeg の両方が、ack-koordinator の隔離機能なしでテスト対象マシンで実行されます。

「NGINX サービスと wrk のデプロイ」で説明されているように NGINX をデプロイし、次に以下の変更を加えた be-ffmpeg.yaml を使用して FFmpeg アプリケーションをデプロイします：

• koordinator.sh/qosClass: BE ラベルを削除します。

• kubernetes.io/batch-cpu および kubernetes.io/batch-memory 拡張リソースを削除します。

モード 1 と同様に wrk 負荷テストを実行し、CPU 使用率を収集します。このコントロール構成では、ノードの CPU 使用率は約 65% に達します。

モード 3：SLO 対応の混在配置 (実験)

NGINX と FFmpeg の両方が、ack-koordinator の隔離機能を有効にしてテスト対象マシンで実行されます。

1. 「クイックスタート」ガイドに従って SLO 対応の混在配置を有効にし、各機能を設定します：

   • 動的なリソースオーバーコミットメント：デフォルト設定を使用します。これにより、システムはアイドル状態の LS Pod リソースを、オーバーコミットされたバッチリソース (kubernetes.io/batch-cpu および kubernetes.io/batch-memory) として BE Pod に割り当てることができます。

   • CPU 抑制：cpuSuppressThresholdPercent を 65 に設定します。他の設定はデフォルトを使用します。ノードの CPU 使用率が 65% を超えると、この機能は BE Pod の CPU 使用をスロットリングして LS Pod のパフォーマンスを保護します。

   • CPU QoS：デフォルト設定を使用します。これにより、Alibaba Cloud Linux 上で CPU Identity 機能が有効になり、LS Pod は BE Pod よりもスケジューリング優先度が高くなります。これには、同時マルチスレッディング (SMT) が両方の Pod のスレッドを同じ物理コアで実行する場合も含まれます。

   • L3 キャッシュと MBA に基づくリソース隔離：デフォルト設定を使用します。ECS ベアメタルインスタンスでは、これにより L3 キャッシュ (最終レベルキャッシュ) とメモリ帯域幅割り当て (MBA) が隔離され、LS Pod が優先的にアクセスできるようになります。

   重要

   CPU QoS には、ノード OS として Alibaba Cloud Linux が必要です。L3 キャッシュと MBA の隔離には、ECS ベアメタルインスタンスが必要です。

2. 「NGINX サービスと wrk のデプロイ」で説明されているように NGINX をデプロイします。

3. besteffort-ffmpeg.yaml という名前のファイルを作成し、次の内容を記述します：YAML ファイルの内容を表示

   # オフライン FFmpeg 動画トランスコーディングアプリケーション用の Pod (BE QoS クラス、SLO 対応モード)
   apiVersion: v1
   kind: Pod
   metadata:
     name: besteffort-ffmpeg
     labels:
       app: ffmpeg
       # SLO 対応スケジューリングのために QoS クラスを BE に設定します。
       koordinator.sh/qosClass: BE
   spec:
     containers:
       - command:
           - start-ffmpeg.sh
           - '30'
           - '2'
           - /apps/ffmpeg/input/HD2-h264.ts
           - /apps/ffmpeg/
         image: 'registry.cn-zhangjiakou.aliyuncs.com/acs/ffmpeg-4-4-1-for-slo-test:v0.1'
         imagePullPolicy: Always
         name: ffmpeg
         resources:
           # 動的にオーバーコミットされたリソースを要求します。
           limits:
             kubernetes.io/batch-cpu: 70k
             kubernetes.io/batch-memory: 22Gi
           requests:
             kubernetes.io/batch-cpu: 70k
             kubernetes.io/batch-memory: 22Gi
     hostNetwork: true
     restartPolicy: Never
     nodeName: cn-beijing.192.168.2.93  # テスト対象マシンのノード名に置き換えてください。

4. FFmpeg アプリケーションをデプロイします：

   kubectl apply -f besteffort-ffmpeg.yaml

5. FFmpeg Pod が実行中であることを確認します：

   kubectl get pod -l app=ffmpeg -o wide

   期待される出力:

   NAME                READY   STATUS    RESTARTS   AGE    IP               NODE                      NOMINATED NODE   READINESS GATES
   besteffort-ffmpeg   1/1     Running   0          15s    11.162.XXX.XXX   cn-beijing.192.168.2.93   <none>           <none>

6. 負荷テストマシンから負荷を送信します：

   # node_ip をテスト対象マシンの IP アドレスに置き換えてください。
   ./wrk -t6 -c54 -d60s --latency http://${node_ip}:8000/

7. CPU 使用率を確認します：

   kubectl top node

   期待される出力：

   NAME                      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   cn-beijing.192.168.2.93   65424m       63%    xxxx            xxxx
   cn-beijing.192.168.2.94   7040m        7%     xxxx            xxxx

   テスト対象マシンの CPU 使用率は約 63% です。

8. テストが完了したら、wrk の出力を確認し、他のモードの結果と比較します。