Platform For AI:EAS FAQ

Q: サービスが長時間 Waiting 状態のままです。どうすれば解決できますか？

サービスをデプロイすると、リソースがスケジューリングされ、インスタンスが起動する間、サービスは [Waiting] 状態になります。すべてのインスタンスが正常に起動すると、サービスは [Running] 状態に移行します。長時間 [Waiting] 状態が続く場合は、以下のシナリオが考えられます。

[2025-07-18 18:50:46] WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager, possibly rendering your system unusable. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv. Use the --root-user-action option if you know what you are doing and want to suppress this warning.
[2025-07-18 18:50:50]  * Serving Flask app 'service'
[2025-07-18 18:50:50]  * Debug mode: off
[2025-07-18 18:50:50] WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
[2025-07-18 18:50:50]  * Running on all addresses (0.0.0.0)
[2025-07-18 18:50:50]  * Running on http://127.0.0.1:7000
[2025-07-18 18:50:50]  * Running on http://xxx:7000
[2025-07-18 18:50:50] Press CTRL+C to quit

Q: サービスが Failed 状態です。どうすれば解決できますか？

サービスが [Failed] 状態になるのは、次の 2 つの状況です。

• デプロイ中：デプロイ時に指定されたリソース (モデルパスなど) が存在しない場合、サービスのステータスにエラーの理由が表示されます。通常、エラーメッセージからデプロイが失敗した原因がわかります。

• 起動中：デプロイが成功し、スケジューリングが開始された後にサービスが失敗した場合、次のステータスが表示されます： Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log.

  このメッセージは、1 つ以上のインスタンスの起動に失敗したことを意味します。サービス [概要] ページの [サービスインスタンス] リストで、具体的な原因を特定してください。一般的な失敗の原因は次のとおりです。

  • インスタンスが起動中にメモリ不足になり、システムによって強制終了された (OOMKilled)。より多くのメモリを割り当ててサービスを再デプロイしてください。インスタンスリストの [最終ステータス] 列に [OOMKilled (247)] と表示され、コンテナがメモリ制限を超えたために終了したことを示します。さらに確認するには、[再起動回数] と [最終終了理由] の列を確認してください。

  • コードエラーにより、起動中にクラッシュが発生しました。この場合、[最終ステータス] にはエラー (エラーコード) が表示されます。インスタンスの [アクション] 列にある [ログ] をクリックして、サービスログを確認し、起動の失敗を特定します。

  • サービスイメージのプルに失敗した。「イメージのプルに失敗した場合 (ImagePullBackOff)、どうすればよいですか？」をご参照ください。

Q: イメージのプルに失敗した場合 (ImagePullBackOff)、どうすればよいですか？

サービスインスタンス一覧の[最終終了理由] 列に ImagePullBackOff が表示されている場合、イメージのプルに失敗しています。[ステータス] 列にアイコンが表示されている場合は、クリックして具体的な理由を確認できます。

イメージのプルに失敗する一般的な原因を以下に示します。

イメージレジストリと EAS サービスが配置されているリージョンに基づいて、以下のガイダンスをご利用ください。

• 同一リージョン：プライベートイメージアドレスを使用してイメージをプルします。

• クロスリージョン：ACR Personal Edition はパブリックイメージアドレスのみをサポートします。ACR Enterprise Edition の場合は、要件に応じて選択します。

  • セキュリティと信頼性を重視する場合は、プライベートイメージアドレスを使用します。そのためには CEN を介して VPC を接続する必要があります。「クロスリージョンまたは IDC から ACR Enterprise Edition インスタンスにアクセスする」をご参照ください。

  • シンプルなシナリオや、プライベートネットワーク接続がまだ利用できない場合は、一時的なオプションとしてパブリックイメージアドレスを使用します。パブリックネットワーク経由のダウンロードは遅くなります。

ACR Enterprise Edition に関する追加の注意点は次のとおりです。

• 必要に応じて、VPC とパブリックネットワークの両方のアクセスに対してアクセスコントロールを設定します。

• リポジトリが匿名プルを許可していない場合、パブリックアドレス経由のクロスリージョンプルでは、EAS サービスでイメージレジストリのユーザー名とパスワードを設定する必要があります。

Q: EAS サービスが停止後に自動的に再起動します。何が起きているのでしょうか？

問題の説明：EAS サービスが一定期間停止した後に、自動的に再起動します。

根本原因：

サービスにオートスケーリングが設定されており、最小インスタンス数が 0 になっています。一定期間トラフィックが停止すると、インスタンス数は自動的に 0 にスケールダウンします。スケールダウンにより利用可能なインスタンスがない状態でリクエストが到着すると、EAS は自動的にスケールアップをトリガーします。この動作は、設定されたスケールアップのしきい値に達していなくてもトリガーされます。

自動スケールアップが発生したかどうかを確認するには、デプロイイベントで auto scaling メッセージを確認します。情報列の 「Service is now auto scaling」 エントリは、サービスが自動的にスケールアップするようにトリガーされたことを示します。その後、イベントステータスは「Waiting」、「Scaling」を経て「Running」に移行し、利用可能なインスタンス数が 0 から 1 に変更されます。

解決策：

• サービスが不要になった場合は、削除します。

• サービスを維持し、自動再起動を停止するには、コンソールから、または StopService API を呼び出してサービスを停止します。手動で停止されたサービスは、トラフィックが発生してもスケールアップしません。

• オートスケーリングによってサービスが停止するのを防ぐには、最小インスタンス数を 0 に設定しないでください。

• 予期しないトラフィックがスケールアップをトリガーする懸念がある場合は、オートスケーリングを完全に無効にします。

Q: PAI-EAS の起動が IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" }) で失敗します

問題の説明：

[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)

[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh

根本原因：大規模なモデルファイルにより、EAS インスタンスのシステムディスクがいっぱいになっています。これにより、サービスが起動できなくなっています。

解決策：

オプション 1：EAS インスタンスのシステムディスクを拡張します。

オプション 2：モデルファイルが大きすぎる場合は、外部ストレージ (OSS、NAS など) に保存し、ストレージマウントを使用して読み取ります。

Q: デプロイが fail to start program with error: fork/exec /bin/sh: exec format error で失敗します

exec format error は、オペレーティングシステムがターゲットバイナリを実行できないことを意味します。最も一般的な原因は、実行可能ファイルまたはコンテナイメージとホストマシンの CPU アーキテクチャの不一致です。

別のリソース仕様を試してください。

Q: エラー：Invalid GPU count 6, only supported: [0 1 2 4 8 16]

GPU 間の通信効率を最大化するため、サービスあたりの GPU 数は 2 のべき乗である必要があります。

サービスあたりでサポートされる GPU 数は、0、1、2、4、8、または 16 です。

Q: vLLM を使用して大規模言語モデル (LLM) サービスをデプロイする場合、--tp パラメーターは GPU 数と等しくなければなりませんか？

いいえ。テンソル並列処理パラメーター --tp (tensor-parallel-size) は、物理 GPU の数と等しくなる必要はありません。ただし、この値はサービスに割り当てられた GPU の数を超えてはなりません。各 GPU には、TP 値で分割されたモデルの重みの割り当て分を保持するのに十分なメモリが必要です。値は、モデルサイズ、モデルが必要とする GPU メモリ、およびパフォーマンス最適化の目標に基づいて選択してください。

単一のサービスに割り当てられる GPU の数は、依然として 2 のべき乗である必要があります。サポートされている値は 0、1、2、4、8、および 16 です。

PPU にサービスをデプロイする場合、フレームワークの起動コマンドの TP 値は、各インスタンスの GPU 数と等しくなければなりません。そうでない場合、デプロイはエラーが発生して失敗します。

Q: EAS インスタンスの削除に失敗するか、停止をクリックしても反応がありません。どうすればよいですか？

この問題には、一般的に 2 つのシナリオがあります。

1. インスタンスの削除が失敗するか、エラーが返される：削除操作で関連するワークスペースが存在しないなどのエラーが報告された場合は、まず関連するワークスペースが正常な状態にあるかどうかを確認します。PAI コンソールのサービスリストに移動し、直接 [削除] をクリックしてインスタンスを解放することもできます。

2. 停止をクリックしても効果がない (インスタンスが Running 状態のまま)：

   • ブラウザ側の確認：ページを更新するか、ブラウザのキャッシュをクリアするか、別のブラウザまたはシークレット/プライベートモードで再試行します。

   • リクエストの診断: ブラウザーの開発者ツール (F12) を開き、[ネットワーク] パネルに移動し、停止 をクリックして、API リクエストが正常に送信されたかどうかとレスポンスステータスコードを確認します。

   • ログの確認：PAI コンソールの [操作ログ] または Cloud Monitor で停止記録と具体的な失敗理由を確認します。

   • API の代替：コンソール操作がうまくいかない場合は、OpenAPI Explorer を使用して StopService API を呼び出し、サービスを強制停止します。

Q: Shared Edition でモデルリンクを追加しても何も起こりません。どうすればよいですか？

Shared Edition はカスタムモデルリンクをサポートしていないため、エントリをクリックしても何も起こりません。これはエラーではなく、機能上の制限です。

以下のいずれかの回避策を利用してください。

• Dedicated Edition をデプロイし、そこでカスタムモデルリンクを追加します。

• モデルファイルを手動でダウンロードし、OSS または NAS にアップロードして、サービスをデプロイする際にストレージマウントを通じてモデルをロードします。

呼び出しエラー

返された HTTP ステータスコードに基づいてトラブルシューティングを行います。詳細については、「サービスのステータスコードとエラー」をご参照ください。

HTTPS とカスタムドメイン

Q: EAS は HTTPS 呼び出しをサポートしていますか？

はい。サービスエンドポイント URL の http:// を https:// に置き換えることで、暗号化トランスポートを有効にできます。クライアント (Python の requests ライブラリなど) で SSL 証明書検証エラーが発生した場合、これは EAS の問題ではなく、クライアント側の設定の問題です。

Q: HTTPS のみのアクセスを強制するにはどうすればよいですか？

• 共有ゲートウェイ：HTTPS リダイレクトはサポートされていません。

• 専用ゲートウェイ：サポートされています。専用ゲートウェイの設定で [HTTPSリダイレクト] を有効にします。有効にすると、すべての HTTP リクエストは自動的に HTTPS にリダイレクトされます。

Q: カスタムドメインを使用してサービスを呼び出すことはできますか？

はい。フルマネージドの専用ゲートウェイを作成して使用し、ゲートウェイ設定でカスタムドメインを設定します。詳細については、「専用ゲートウェイの使用」をご参照ください。

トークン管理

Q: サービストークンは期限切れになったり変更されたりしますか？

いいえ。サービスがデプロイされたときに生成されるトークンは長期間有効です。サービスの再起動、更新 (認証方法を手動で変更しない限り)、またはスケーリングを行っても、トークンは変更されません。トークンは、手動でリセットするか、サービスを削除した場合にのみ無効になります。

Q: 1 つのサービスに対して複数のトークンを作成できますか？

いいえ。各 EAS サービスインスタンスは単一の認証トークンをサポートします。複数ユーザーの権限管理や個別の使用状況追跡には、Alibaba Cloud RAM ベースの認証または同様のアクセスコントロールソリューションを利用してください。

その他の呼び出しに関する問題

Q: LLM サービスでストリーミング応答を有効にするにはどうすればよいですか？

EAS には、グローバルなストリーミングの切り替え機能はありません。ストリーミングは、各 API リクエストボディで個別に指定する必要があります。たとえば、OpenAI 互換の LLM サービスを呼び出す場合、JSON リクエストボディに "stream": true を含めます。

Q: VPC アドレス呼び出しと VPC ダイレクト接続の違いは何ですか？

• VPC アドレス呼び出し：リクエストは内部 SLB とゲートウェイを通過します (パブリックアドレス呼び出しはパブリック SLB とゲートウェイを通過します)。これは標準的なリクエストパスです。各リクエストは、サービスインスタンスに到達する前に、SLB でのレイヤー 4 転送とゲートウェイでのレイヤー 7 転送を通過します。高同時実行数および高トラフィック下では、この転送によりレイテンシーのオーバーヘッドが発生します。ゲートウェイには帯域幅の上限 (デフォルトで 1 Gbps) もあります。

• VPC ダイレクト接続：EAS は、追加コストなしでパフォーマンスとスケーラビリティの両方に対応する高速ダイレクト接続モードを提供します。VPC ダイレクト接続を有効にすると、お使いの VPC と EAS サービス VPC の間にネットワークパスが確立されます。リクエストは EAS サービスディスカバリを使用してサービスを特定し、クライアント側のソフトウェアロードバランシングを実行します。これには EAS SDK が必要で、[endpoint_type] を [DIRECT] に設定する必要があります。

  Python SDK を使用する場合、たとえば、コードに次の行を追加して、ゲートウェイ呼び出しからダイレクト接続に切り替えます。

  • client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example')
    client.set_token('M2FhNjJlZDBmMzBmMzE4NjFiNzZhMmUxY2IxZjkyMDczNzAzYjFi****')
    client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # ダイレクトリンク
    client.init()

Q: RAM ユーザーが EAS のサービスリンクロールを自動的に作成または削除できないのはなぜですか？

特定の権限を持つユーザーのみが、AliyunServiceRoleForPaiEas を自動的に作成または削除できます。RAM ユーザーがこのアクションを実行できない場合は、次のように必要なポリシーを付与します。

1. スクリプトベースの設定方法を使用して、次のポリシーをカスタムポリシーとして作成します。詳細については、「カスタムポリシーの作成」をご参照ください。

   サービスリンクロールを作成または削除するためのポリシー

   {
     "Statement": [
       {
         "Action": "ram:CreateServiceLinkedRole",
         "Resource": "*",
         "Effect": "Allow",
         "Condition": {
           "StringEquals": {
             "ram:ServiceName": "eas.pai.aliyuncs.com"
           }
         }
       }
     ],
     "Version": "1"
   }

2. 前の手順で作成したカスタムポリシーをターゲットの RAM ユーザーにアタッチします。詳細については、「RAM ユーザーの権限管理」をご参照ください。

Q: EAS サービスはどのようにインターネットにアクセスしますか？

EAS サービスは、デフォルトではインターネットアクセスがありません。インターネットアクセスを有効にするには、インターネット接続が可能な VPC を EAS サービスに設定します。詳細については、「EAS によるパブリックリソースとプライベートリソースへのアクセス」をご参照ください。

Q: EAS はインスタンスへの SSH アクセスをサポートしていますか？

いいえ。EAS はマネージドサービスであり、コンテナへの SSH アクセスは提供していません。コンテナの起動時に特定のコマンドを実行するには、サービス設定の [実行コマンド] フィールドで指定します。

Q: EAS にはどのようなサービスステータスがありますか？

EAS サービスには以下のステータスがあります。Model Serving (EAS) ページのステータス列でもステータスを確認できます。

• Creating

• Waiting — インスタンスの起動を待機中

• Stopped

• Failed

• Updating — インスタンスを更新中

• Stopping

• HotUpdate — インスタンスを置き換えずに更新中

• Starting

• DeleteFailed

• Running

• Scaling — インスタンスをスケーリング中

• Pending — 処理を待機中

• Deleting

• Succeeded

• Preparing

Q: どの RAM ユーザーがサービスを作成したかを確認するにはどうすればよいですか？

ActionTrail コンソールでイベントをクエリし、イベント名フィルターを CreateService に設定します。 詳細については、「ActionTrail コンソールでイベントをクエリする」をご参照ください。

Q: PAI の公式イメージをインターネットからダウンロードできますか？

いいえ。PAI の公式イメージはプラットフォーム内部のイメージであり、PAI プラットフォーム内でのみ使用できます。プラットフォームコンテナの外部からダウンロードすることはできません。

Q: PAI-EAS のサービス名とサービス ID の一意性に関するルールは何ですか？

• サービス名の一意性：EAS のサービス名は、単一のリージョン内でグローバルに一意です。サービス作成時に「service name already exists」というエラーが表示され、その名前が [Model Serving (EAS)] リストに表示されない場合、同じリージョン内の別のユーザーがその名前を使用しています。別の名前を選択して、再度試してください。

• サービス ID の一意性：PAI-EAS のサービス ID はグローバルに一意であり、システムによって自動的に割り当てられます。手動で指定することはできません。

Q: サービスデプロイ後にサービス名を変更できますか？

いいえ。サービス名は、作成後に変更することはできません。サービス名は API コールおよび管理操作の一意の識別子であるため、コンソールの [更新] フォームではサービス名フィールドが無効になっています。サービス名を変更する必要がある場合は、新しいサービスを作成し、元のサービスを削除してください。この操作により、サービスの中断と IP アドレスの変更が発生することにご注意ください。

Q: モジュールを無効にした後、EAS を再購入する必要がありますか？サービスインスタンスが見つからない場合はどうすればよいですか？

• 再購入は不要：一度アクティベートすると、PAI-EAS は無期限に利用可能です。再度使用するには、PAI コンソールに移動し、ワークスペースを選択または作成し、そのワークスペースで EAS インスタンスを作成します。追加の購入や再アクティベートは必要ありません。

• インスタンスが見つからない場合：

  1. PAI コンソールにログインし、ページ上部に表示されている [ワークスペース] が探しているものであることを確認します。

  2. ワークスペースが削除されたり切り替えられたりした場合は、[概要] ページまたはターゲットのワークスペース内から [Model Serving (EAS)] リストを探してください。

  3. リストにデータやインスタンスが表示されない場合、そのワークスペースには課金対象の EAS インスタンスが作成されていません。モジュールをアクティベートするだけでは料金は発生せず、追加のクリーンアップも必要ありません。

Q: ストレージマウント設定の変更はいつ有効になりますか？サービスを再デプロイする必要がありますか？

ストレージマウント設定はサービスのデプロイ設定の一部であり、動的には有効になりません。変更を適用するには、サービスを更新する必要があります。更新が完了すると、サービスインスタンスは新しい設定で再起動し、新しいマウントが有効になります。

Q: サービス設定を更新した後にマウントされたファイルが消えてしまうのはなぜですか？

この問題は通常、以下のいずれかが原因で発生します。

• 更新によって元のストレージマウント設定が削除されたか、マウントパスが変更されたため、インスタンスが元のストレージをマウントしなくなった。ファイルは実際には失われていません。元の OSS または NAS に残っています。

• ファイルがマウントされたディレクトリではなく、コンテナ内の一時的なローカルディスクに書き込まれた。ローカルディスクのデータは、インスタンスが再起動または更新されるとクリアされます。

最初のケースでは、マウント設定を更新前の値に戻し、サービスを再度更新してください。ファイルは再び表示されます。2 番目のケースでは、データは回復できません。永続化する必要があるデータは常に OSS または NAS のマウントディレクトリに書き込み、サービスを更新する前にマウント設定が完全かつ正確であることを確認してください。

Q: EAS サービスのデプロイ時に OSS バケットを選択できないのはなぜですか？

EAS サービスをデプロイする際、ストレージの場所を指定してモデルやコードをマウントできます。OSS バケットと NAS ファイルシステムが EAS サービスと同じリージョンにあることを確認してください。クロスリージョンのストレージは選択できません。

Q: EAS サービスにマウントした場合、OSS ストレージはどのように課金されますか？必要な容量を見積もるにはどうすればよいですか？

EAS 自体はストレージ容量に対して課金しません。OSS をマウントすると、OSS は実際の使用量とストレージクラスに基づいてストレージを課金します。EAS はサービスのコンピューティングリソースに対してのみ課金します。容量を見積もるには、モデル、コード、データファイルの実際のサイズを使用します。OSS ストレージは使用量に応じて弾性的にスケールするため、事前に固定容量を購入する必要はありません。

Q: EAS がデフォルトのパブリックエンドポイント経由で OSS にアクセスする際に失敗します。どうすれば解決できますか？

カスタムドメインを介して OSS リソースにアクセスする場合、OSS リージョンが中国本土にある場合、規制によりドメインは ICP 登録を完了する必要があります。ICP 登録のないドメインはアクセスに使用できません。

以下の代替手段を利用してください。

• 内部エンドポイントを使用してください。

• パブリックネットワークアクセスには、カスタムドメインを使用してください。

Q: TensorFlow に関する問題

詳細については、「TensorFlow FAQ」をご参照ください。