Platform For AI:動的パラメータの設定

概要

動的パラメータにより、EAS でランタイム中の構成が可能になり、サービス実行中にパラメータ設定を変更できます。これらの変更はサービス再起動を必要とせず、即座に有効になります。

環境変数との違い：

• 環境変数：サービス起動時に注入されます。変更を反映するにはサービスの再起動が必要です。

• 動的パラメータ：ランタイム中に変更可能です。変更はサービス再起動なしに即座に有効になります。

主なメリット：

• 構成変更がリアルタイムで反映され、すべてのコンテナインスタンス間で同期されます。

• サービスの可用性に影響を与えず、再起動によるサービス中断を回避できます。

• レート制限のしきい値やモデルパラメータなど、頻繁に調整が必要な設定に最適です。

ユースケース

動的パラメータは、以下のシナリオに適しています：

• レート制限構成の動的調整：ビジネストラフィックに基づき、rate_limit などのレート制限パラメータをリアルタイムで調整します。

• モデル推論パラメータのリアルタイム変更：temperature、top_p、および max_tokens などのモデルパラメータを調整します。

• ログレベルの調整：トラブルシューティングのために一時的にログ出力レベルを変更します。

• カナリアリリースにおける機能フラグの制御：動的パラメータを使用して新機能を有効化または無効化します。

• A/B テストの構成：異なる構成を迅速に切り替えて、そのパフォーマンスを比較します。

前提条件

動的パラメータを使用するには、サービス構成で動的構成を有効にする必要があります。サービス構成 JSON の最上位レベルに features フィールドを追加してください：

{
  "name": "your-service-name",
  ...other configurations,
  "features": {
    "eas.aliyun.com/enable-properties": "true"
  }
}

操作手順

使用例

以下の例では、レート制限パラメータを設定し、アプリケーションコードで読み取る方法を示します。

レート制限パラメータの設定：

{
  "properties": {
    "rate_limit": 100,
    "max_concurrent_requests": 50,
    "timeout_seconds": 30
  }
}

アプリケーションでの動的パラメータの読み取り（Python）：

import json

# 動的パラメータを読み込みます。
def load_properties():
    try:
        with open('/eas/workspace/properties/service.json', 'r') as f:
            properties = json.load(f)
        return properties
    except Exception as e:
        print(f"プロパティの読み込みに失敗しました: {e}")
        return {}

# 動的パラメータを使用します。
properties = load_properties()
rate_limit = properties.get('rate_limit', 100)
max_concurrent = properties.get('max_concurrent_requests', 50)

print(f"レート制限: {rate_limit}")
print(f"最大同時リクエスト数: {max_concurrent}")

よくある質問