Platform For AI:リリース、カナリアデプロイ、バージョンロールバックの管理

概要

リリース管理は、新しいイメージ、パラメーター、モデルなど、サービスの変更を本番環境に展開するプロセス全体をカバーします。これは、次の 3 つの機能に分類されます。

• 本番環境への変更の公開：リリース戦略 (ローリング、バッチ、または一時停止) を用いて更新のペースを制御し、リクエストの中断を回避します。デフォルトでは、ローリングアップデートは、グレースフルシャットダウンがインフライトリクエストをドレインする間に、レプリカを徐々に置き換えます。チェックポイント付きの段階的なロールアウトが必要な、数十または数百のレプリカを持つサービスには、アップデートプランを使用して、より詳細な制御を行います。

• 本番トラフィックでの検証：カナリアリリースを使用して、本番サービスとカナリアサービスをグループ化し、それらの間で実際のトラフィックを比率に応じて分割し、カナリアサービスが正常であることを確認した後、すべてのトラフィックを徐々にカナリアサービスに移行します。

• 履歴の表示とロールバック：更新ごとに、バージョンスナップショットが作成されます。デプロイ履歴の表示、バージョン間の差異の比較、問題発生時の特定バージョンへのロールバックが可能です。

本番環境への変更の公開

変更のリスクレベルに基づいてリリース戦略を選択します。

• ローリングアップデート (デフォルト)：すべての更新の基盤となるメカニズムです。システムは、max_surge (希望する数を上回ることが許容されるレプリカ数) と max_unavailable (利用不可にできるレプリカの最大数) に基づいて、新しいレプリカを徐々に作成し、古いレプリカを置き換えます。古いレプリカは、インフライトリクエストをドレインした後にグレースフルシャットダウンします。これは、サービスの再起動とパラメーター更新のデフォルトの動作です。詳細については、「ローリングアップデートとグレースフルシャットダウン」をご参照ください。

• アップデートプラン：ローリングアップデートにバッチ処理と一時停止の機能を追加したものです。サービスに数十または数百のレプリカがあり、段階的に進め、バッチ間でビジネスメトリクスを検証する必要がある場合に、アップデートプランを使用します。手動と自動の両方のバッチ処理モードがサポートされており、いつでも一時停止、調整、またはロールバックできます。詳細については、「アップデートプラン」をご参照ください。

本番トラフィックでの検証

カナリアリリースは、サービスグループ を介して機能します。本番サービスとカナリアサービスが同じグループに配置され、単一のアクセスエンドポイントが提供され、レプリカ数またはカスタムウェイトによってトラフィックが分散されます。まず、トラフィックの小さな割合をカナリアサービスにルーティングし、カナリアサービスが正常であることを確認してから、カナリアサービスがすべてのトラフィックを処理するまで徐々に比率を上げていきます。詳細については、「カナリアリリース」をご参照ください。

履歴の表示とロールバック

推論サービスのリストで対象のサービスを見つけ、Version 列の現在のバージョンをクリックしてバージョンリストを開きます。バージョンリストでは、以下の操作が可能です。

• デプロイメント構成の表示：イメージ、リソース仕様、環境変数、起動コマンドなど、バージョンの完全なデプロイパラメーターを表示できます。

• 作成者の表示：誰が変更を行ったかを特定したり、監査証跡を保持したりできます。

• バージョンの比較：2 つのバージョンを選択し、それらのデプロイメント構成を比較して、何が変更されたかを特定できます。これは、ロールバック前に影響を評価したり、更新後に問題をトラブルシューティングしたりするのに役立ちます。

• このバージョンにロールバック：サービスを選択したバージョンのデプロイメント構成に復元できます。現在のバージョンでは、ボタンはグレー表示されます。

ロールバックに関しては、2 つの点にご注意ください。

• バージョン間の互換性：ロールバックするには、ターゲットバージョンのイメージ、モデルファイル、環境変数、およびその他のリソースが引き続き利用可能である必要があります。イメージが削除されたり、外部の依存関係が変更されたりした場合、ロールバックが失敗したり、サービスに問題が発生したりする可能性があります。

• 2 つのロールバック方法の選択：

  • 更新が完全に完了し、古いバージョンに切り替える必要がある場合は、バージョンリストのロールバックを使用します。これはローリングアップデート戦略に従い、アップデートプランの影響を受けません。

  • 更新がまだ進行中 (一部のレプリカは切り替えられたが、すべてではない) で、サービスでアップデートプランが有効な場合は、代わりにアップデートプランのロールバックを使用します (ターゲットレプリカ数を 0 に設定した手動バッチ処理)。すでに更新されたレプリカは徐々にロールバックされるため、こちらの方法がより高速です。