Platform For AI:付録：専用ゲートウェイのタイムアウト設定

推奨設定

フルマネージドゲートウェイは、以下の固定アイドル接続タイムアウト値を使用します。これらの値は変更できません。

• ゲートウェイ (サーバーとして、クライアント向け)：固定値は 600 秒 です。クライアントからゲートウェイへの接続がこの期間を超えてアイドル状態になると、ゲートウェイはその接続をクローズします。

• ゲートウェイ (クライアントとして、バックエンド推論サービス向け)：固定値は 30 秒 です。ゲートウェイからバックエンドへの接続がこの期間を超えてアイドル状態になると、ゲートウェイはその接続をクローズします。

以下の図は、接続フローを示しています：

クライアントが接続を管理しクローズするように、各リンクを以下のように設定します：

アップストリームとダウンストリームの値の間に安全マージンを設けてください。関連するタイムアウトを同じ値に設定することは避けてください。

アクセス方法別のデフォルト値

次の表は、各アクセス方法のデフォルトのアイドル接続タイムアウトと、推奨されるクライアントおよびバックエンド推論サービスの設定を示しています。

モデルギャラリーのテンプレートのデフォルト値と NLB に関する考慮事項

バックエンド推論サービスのサーバーアイドルタイムアウトは、ゲートウェイのクライアントアイドルタイムアウトより大きい必要があります。

モデルギャラリーのテンプレートを使用して vLLM または SGLang 推論サービスをデプロイすると、テンプレートはデフォルトでエンジンの HTTP Keep-Alive を 60 秒に設定します。

フルマネージドゲートウェイと ALB 専用ゲートウェイの場合、デフォルト設定は次のように機能します：

• モデルギャラリーエンジンのサーバーアイドルタイムアウト 60 秒 > ALB ゲートウェイのクライアントアイドルタイムアウト 15 秒

• モデルギャラリーエンジンのサーバーアイドルタイムアウト 60 秒 > フルマネージドゲートウェイのクライアントアイドルタイムアウト 30 秒

モデルギャラリーテンプレートのデフォルト値である 60 秒は、ALB 専用ゲートウェイとフルマネージドゲートウェイの両方の要件を満たします。

NLB には特別な注意が必要です：

モデルギャラリーエンジンのサーバーアイドルタイムアウト 60 秒 < NLB のクライアントアイドルタイムアウト 900 秒

この設定では、バックエンド推論サービスが先にアイドル接続をクローズする可能性がありますが、NLB またはアップストリームの接続管理はまだ接続が利用可能であると見なします。このような接続を再利用する後続のリクエストは、EOF、RST、接続リセット、または断続的な 502/503 エラーに遭遇する可能性があります。

モデルギャラリー経由でデプロイされた vLLM または SGLang サービスで NLB を使用する場合、バックエンド推論サービスのサーバーアイドルタイムアウトを 900 秒より大きい値に設定し、安全マージンを設けてください。例：

# vLLM、値の例
VLLM_HTTP_TIMEOUT_KEEP_ALIVE=1000

# SGLang、値の例
SGLANG_TIMEOUT_KEEP_ALIVE=1000

クライアント設定の例

クライアントのアイドル接続タイムアウトは、ゲートウェイのサーバーアイドルタイムアウトより短くする必要があります。以下の例は、さまざまなプログラミング言語でクライアントのアイドル接続タイムアウトを管理または設定する方法を示しています。

import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.client.config.RequestConfig;
import java.util.concurrent.TimeUnit;

public class HttpClientIdleTimeout {
    public static void main(String[] args) throws InterruptedException {
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
        // 値の例：ルートごとの最大接続数
        cm.setDefaultMaxPerRoute(20);
         // 値の例：最大合計接続数
        cm.setMaxTotal(100);

        RequestConfig requestConfig = RequestConfig.custom()
                // 値の例：接続タイムアウト 5 秒
                .setConnectTimeout(5000)
                // 値の例：読み取りタイムアウト 10 秒
                .setSocketTimeout(10000)
                .build();

        try (CloseableHttpClient httpClient = HttpClients.custom()
                .setConnectionManager(cm)
                .setDefaultRequestConfig(requestConfig)
                .build()) {

            // アイドル接続を定期的にクリーンアップするためのバックグラウンドスレッドを開始
            Thread cleanerThread = new Thread(() -> {
                try {
                    while (!Thread.currentThread().isInterrupted()) {
                        // 値の例：5 秒ごとにチェック
                        Thread.sleep(5000);
                        // 500 秒を超えてアイドル状態の接続をクローズ (ゲートウェイのアイドルタイムアウト 600 秒より短い)
                        cm.closeIdleConnections(500, TimeUnit.SECONDS);
                        // 期限切れの接続 (サーバーによってクローズされた接続など) をクローズ
                        cm.closeExpiredConnections();
                    }
                } catch (InterruptedException e) {
                    // 中断ステータスを復元
                    Thread.currentThread().interrupt();
                }
            });
            // メインスレッドが終了したときに終了するようにデーモンスレッドとして設定
            cleanerThread.setDaemon(true);
            cleanerThread.start();

            // HTTP リクエストを実行...
            // 例：httpClient.execute(new HttpGet("http://your-gateway-url"));

            // プログラムが一定期間実行されるのをシミュレート。値の例：1 分間実行
            Thread.sleep(60000);

            // クリーナースレッドを停止 (本番環境では、アプリケーションのシャットダウン中にグレースフルシャットダウンを実行)
            cleanerThread.interrupt();

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

package main

import (
    "net/http"
    "time"
)

func main() {
    // カスタム Transport を作成
    tr := &http.Transport{
        MaxIdleConns:        100,              // アイドル接続の最大数
        IdleConnTimeout:     500 * time.Second, // アイドル接続タイムアウト、例：500 秒 (600 秒未満)
        DisableKeepAlives:   false,            // Keep-Alive を有効化
    }
}

import com.aliyun.openservices.eas.predict.http.HttpConfig;

public class EasSdkTimeoutJava {
    public static void main(String[] args) {
        // 1. グローバルクライアント設定
        HttpConfig httpConfig = new HttpConfig();
        // アイドル接続のクリーンアップを有効化 (ミリ秒単位)。クライアントの要件に基づいて設定します。
        httpConfig.setConnectionCleanupInterval(5000);
        // アイドル接続タイムアウトを 500 秒に設定します。これはフルマネージドゲートウェイのアイドルタイムアウト 600 秒より短い値です。
        httpConfig.setIdleConnectionTimeout(500000);
        ...
    }
}

推奨設定

ビジネス要件に基づいてリクエストタイムアウトを調整してください。本番環境では、フォールトトレランス、応答性、モデルの処理時間、ネットワークのジッターのバランスを取る必要があります。

サーバーがまだ処理中にクライアントがタイムアウトするのを防ぐために、クライアントのリクエストタイムアウトをゲートウェイのリクエストタイムアウトよりわずかに高く設定します。

• 一般的な計算式：クライアントタイムアウト = サーバーリクエストタイムアウト + 1～5 秒。

• フェイルファストのシナリオでは、クライアントのタイムアウトを短く設定し、べき等性とリトライ戦略に依存して障害を処理します。

10 分を超える長時間実行されるシナリオの場合は、代わりに以下のいずれかのアプローチを使用してください：

• ストリーミング (AI コンテンツ生成や大容量ファイルのダウンロードなど)。

• WebSocket (永続的な双方向通信のため)。

• 非同期推論またはタスクポーリング。

フルマネージドゲートウェイのデフォルトのリクエストタイムアウトは 10 分 (600 秒) です。以下の図は、リクエストタイムアウトのフローを示しています：

アクセス方法別のリクエストタイムアウト

クライアント設定の例

以下の例は、さまざまなプログラミング言語でクライアントのリクエストタイムアウトを設定する方法を示しています。

import org.apache.http.client.config.RequestConfig;

public class ApacheHttpClientTimeout {
    public static void main(String[] args) {
        // クライアントのリクエストタイムアウトを、ゲートウェイのリクエストタイムアウトよりわずかに高く設定します。
        // ゲートウェイのデフォルトが 600 秒の場合、ここでは 610 秒を使用します。
        RequestConfig requestConfig = RequestConfig.custom()
                // 値の例：接続タイムアウト (ミリ秒単位)
                .setConnectTimeout(5000)
                // データ転送タイムアウト (読み取りタイムアウト) (ミリ秒単位、610 秒)
                .setSocketTimeout(610000)
                .build();
    }
}

package main

import (
    "context"
    "fmt"
    "io"
    "net/http"
    "time"
)

func main() {
    // 推奨：クライアントのリクエストタイムアウトをゲートウェイのリクエストタイムアウト (デフォルト 600 秒) と同等か、わずかに大きく設定します。ここでは 610 秒を使用します。
    client := &http.Client{
        Timeout: 610 * time.Second, // リクエスト全体に対するタイムアウト
    }

    req, err := http.NewRequest("GET", "http://your-gateway-url", nil)
    if err != nil {
        fmt.Println("Error creating request:", err)
        return
    }

    // 個々のリクエストに対して、より短いタイムアウトを設定することもできます
    ctx, cancel := context.WithTimeout(req.Context(), 610*time.Second) // 610 秒
    defer cancel()
    req = req.WithContext(ctx)

    resp, err := client.Do(req)
    if err != nil {
            fmt.Println("Error sending request:", err)
            // タイムアウトエラーかどうかを確認
            if t, ok := err.(interface{ Timeout() bool }); ok && t.Timeout() {
                    fmt.Println("Request timed out!")
            }
            return
    }
    defer resp.Body.Close()

    body, err := io.ReadAll(resp.Body)
    if err != nil {
        fmt.Println("Error reading response body:", err)
        return
    }
    fmt.Printf("Response Status: %s\n", resp.Status)
    fmt.Printf("Response Body: %s\n", body)
}

import com.aliyun.openservices.eas.predict.http.HttpConfig;

public class EasSdkTimeoutJava {
    public static void main(String[] args) {
        // 1. グローバルクライアント設定
        HttpConfig httpConfig = new HttpConfig();
        // 接続タイムアウト (ミリ秒単位)
        httpConfig.setConnectTimeout(5000);
        // 読み取りタイムアウト (ミリ秒単位)。クライアントのリクエストタイムアウトを、ゲートウェイのリクエストタイムアウトよりわずかに高く設定します。
        // ゲートウェイのデフォルトが 600 秒の場合、ここでは 610 秒 (610000 ミリ秒) を使用します。
        httpConfig.setReadTimeout(610000);

    }
}

アイドル接続タイムアウトの誤設定

リクエストタイムアウトの誤設定