Platform For AI:Konfigurasikan parameter dinamis

Ikhtisar

Parameter dinamis memungkinkan konfigurasi saat waktu proses di EAS, sehingga Anda dapat mengubah pengaturan parameter selagi layanan sedang berjalan. Perubahan tersebut langsung berlaku tanpa memerlukan restart layanan.

Perbedaan dari variabel lingkungan:

• Variabel lingkungan: Diinjeksikan saat layanan dimulai. Perubahan memerlukan restart layanan agar berlaku.

• Parameter dinamis: Dapat diubah saat waktu proses. Perubahan langsung berlaku tanpa restart layanan.

Keunggulan utama:

• Perubahan konfigurasi berlaku secara real time dan disinkronkan ke seluruh instans container.

• Ketersediaan layanan tidak terganggu, sehingga mencegah gangguan akibat restart.

• Ideal untuk pengaturan yang sering disesuaikan, seperti ambang batas rate-limiting dan parameter model.

Kasus penggunaan

Parameter dinamis cocok untuk skenario berikut:

• Menyetel konfigurasi rate-limiting secara dinamis: Sesuaikan parameter rate-limiting seperti rate_limit secara real time berdasarkan trafik bisnis.

• Memodifikasi parameter inferensi model secara real time: Sesuaikan parameter model seperti temperature, top_p, dan max_tokens.

• Menyesuaikan tingkat log: Sementara waktu ubah tingkat output log untuk troubleshooting.

• Mengontrol fitur flag untuk rilis canary: Gunakan parameter dinamis untuk mengaktifkan atau menonaktifkan fitur baru.

• Konfigurasi Pengujian A/B: Beralih cepat antar konfigurasi berbeda untuk membandingkan kinerjanya.

Prasyarat

Untuk menggunakan parameter dinamis, Anda harus mengaktifkan konfigurasi dinamis dalam konfigurasi layanan Anda. Tambahkan bidang features di tingkat atas JSON konfigurasi layanan:

{
  "name": "your-service-name",
  ...other configurations,
  "features": {
    "eas.aliyun.com/enable-properties": "true"
  }
}

Prosedur

Contoh penggunaan

Contoh berikut menunjukkan cara mengonfigurasi parameter rate-limiting, lalu membacanya dalam kode aplikasi Anda.

Konfigurasikan parameter rate-limiting:

{
  "properties": {
    "rate_limit": 100,
    "max_concurrent_requests": 50,
    "timeout_seconds": 30
  }
}

Baca parameter dinamis dalam aplikasi (Python):

import json

# Muat parameter dinamis.
def load_properties():
    try:
        with open('/eas/workspace/properties/service.json', 'r') as f:
            properties = json.load(f)
        return properties
    except Exception as e:
        print(f"Gagal memuat properties: {e}")
        return {}

# Gunakan parameter dinamis.
properties = load_properties()
rate_limit = properties.get('rate_limit', 100)
max_concurrent = properties.get('max_concurrent_requests', 50)

print(f"Rate limit: {rate_limit}")
print(f"Max concurrent requests: {max_concurrent}")

FAQ