Function Compute：Batasan dan aturan penskalaan instans

Penskalaan instans on-demand

Jika jumlah instans atau kecepatan penskalaan melebihi batas, Function Compute mengembalikan HTTP 429 status code, yang menunjukkan bahwa kesalahan throttling telah terjadi. Gambar berikut menunjukkan cara Function Compute menerapkan throttling ketika terjadi lonjakan pemanggilan.

• ①: Function Compute segera membuat instans untuk menangani lonjakan permintaan. Cold start terjadi selama proses ini. Tidak ada kesalahan throttling karena jumlah instans burstable belum mencapai batas atas.

• ②: Peningkatan jumlah instans sekarang dibatasi oleh laju pertumbuhan instans, karena batas atas untuk instans burstable telah tercapai. Kesalahan throttling dilaporkan untuk beberapa permintaan.

• ③: Jumlah instans mencapai batas atas, mengakibatkan kesalahan throttling untuk beberapa permintaan.

Penskalaan instans yang disediakan

Ketika jumlah pemanggilan mendadak terlalu besar, kesalahan throttling menjadi tak terhindarkan. Selain itu, pembuatan instans baru memperkenalkan cold start. Keduanya meningkatkan latensi penanganan permintaan. Untuk mengurangi latensi, Anda dapat memesan instans terlebih dahulu di Function Compute. Instans yang dipesan ini disebut instans yang disediakan.

Gambar berikut menunjukkan bagaimana Function Compute menerapkan throttling ketika instans yang disediakan dikonfigurasi dan pemanggilan melonjak dengan cara yang sama seperti dalam kasus mode on-demand.

• ①: Semua permintaan masuk segera diproses, hingga instans yang disediakan mencapai kapasitas penuh. Selama proses ini, tidak ada cold start yang terjadi, dan tidak ada kesalahan throttling yang dilaporkan.

• ②: Instans yang disediakan sekarang sepenuhnya dimanfaatkan. Function Compute mulai membuat instans on-demand untuk menangani permintaan berikutnya hingga jumlah instans burstable mencapai batas atas. Selama proses ini, cold start terjadi, tetapi tidak ada kesalahan throttling yang dilaporkan.

Penjadwalan penskalaan

Skenario

Pilih penjadwalan penskalaan ketika fungsi Anda mengalami pola periodik yang jelas atau puncak lalu lintas yang dapat diprediksi. Ketika jumlah pemanggilan konkuren melebihi kapasitas yang ditentukan oleh kebijakan penjadwalan penskalaan, semua permintaan tambahan akan dialihkan ke instans on-demand untuk diproses.

Konfigurasi sampel

Gambar berikut menunjukkan dua tindakan terjadwal untuk penskalaan instans: tindakan pertama menskalakan keluar instans yang disediakan sebelum puncak lalu lintas, sedangkan yang kedua menskalakan masuk instans setelahnya.

Potongan kode berikut menunjukkan cara memanggil operasi PutProvisionConfig untuk mengonfigurasi kebijakan penjadwalan penskalaan. Dalam contoh ini, fungsi bernama function_1 dikonfigurasikan untuk secara otomatis menskalakan masuk dan keluar, dengan zona waktu diatur ke Asia/Shanghai (UTC+8). Konfigurasi ini mulai berlaku dari 10:00:00 pada 1 Agustus 2024, hingga 10:00:00 pada 30 Agustus 2024 (UTC+8). Selama periode ini, jumlah instans yang disediakan ditingkatkan menjadi 50 pada pukul 20:00 (UTC+8) dan dikurangi menjadi 10 pada pukul 22:00 (UTC+8) setiap hari.

"scheduledActions": [
    {
      "name": "scale_up_action",
      "startTime": "2024-08-01T10:00:00",
      "endTime": "2024-08-30T10:00:00",
      "target": 50,
      "scheduleExpression": "cron(0 0 20 * * *)",
      "timeZone": "Asia/Shanghai"
    },
    {
      "name": "scale_down_action",
      "startTime": "2024-08-01T10:00:00",
      "endTime": "2024-08-30T10:00:00",
      "target": 10,
      "scheduleExpression": "cron(0 0 22 * * *)",
      "timeZone": "Asia/Shanghai"
    }
  ]

Ekspresi Cron

Penskalaan berbasis ambang batas

Skenario

Setelah Anda mengonfigurasi kebijakan penskalaan berbasis ambang batas, Function Compute secara berkala mengumpulkan metrik konkurensi atau pemanfaatan sumber daya untuk instans yang disediakan. Metrik ini, bersama dengan jumlah minimum dan maksimum instans yang disediakan yang Anda tentukan, digunakan untuk mengontrol penskalaan instans, memastikan jumlah instans sesuai dengan penggunaan sumber daya aktual.

Konfigurasi sampel

Gambar berikut menunjukkan contoh penskalaan otomatis berdasarkan pemanfaatan konkurensi instans. Ketika volume lalu lintas meningkat, ambang batas scale-out terpicu dan Function Compute mulai meningkatkan jumlah instans yang disediakan. Scale-out berhenti ketika jumlah mencapai batas atas yang Anda tetapkan. Permintaan tambahan dikirim ke instans on-demand untuk diproses.

Potongan kode berikut menunjukkan cara memanggil operasi PutProvisionConfig untuk mengonfigurasi kebijakan penskalaan berbasis ambang batas. Dalam contoh ini, fungsi bernama function_1 dikonfigurasikan untuk secara otomatis menskalakan masuk dan keluar berdasarkan metrik ProvisionedConcurrencyUtilization, yang melacak pemanfaatan konkurensi instans yang disediakan. Zona waktu diatur ke Asia/Shanghai (UTC+8). Konfigurasi ini mulai berlaku dari 10:00:00 pada 1 Agustus 2024, hingga 10:00:00 pada 30 Agustus 2024 (UTC+8). Selama periode ini, ketika pemanfaatan konkurensi melebihi 60%, jumlah instans yang disediakan ditingkatkan, hingga maksimum 100. Sebaliknya, ketika pemanfaatan konkurensi turun di bawah 60%, jumlah instans yang disediakan dikurangi, hingga minimum 10.

"targetTrackingPolicies": [
    {
      "name": "action_1",
      "startTime": "2024-08-01T10:00:00",
      "endTime": "2024-08-30T10:00:00",
      "metricType": "ProvisionedConcurrencyUtilization",
      "metricTarget": 0.6,
      "minCapacity": 10,
      "maxCapacity": 100,
      "timeZone": "Asia/Shanghai"
    }
  ]

Prinsip penskalaan

Ketika penskalaan masuk instans terpicu, Function Compute secara bertahap mengurangi jumlah instans yang disediakan berdasarkan koefisien penskalaan masuk yang berkisar dari 0 (tidak termasuk) hingga 1. Koefisien penskalaan masuk adalah parameter sistem yang digunakan untuk memperlambat kecepatan penskalaan masuk. Ini tidak memerlukan konfigurasi manual. Nilai target untuk tugas penskalaan adalah bilangan bulat terkecil yang lebih besar dari atau sama dengan hasil perhitungan berikut:

• Nilai target scale-out = Instans yang disediakan saat ini × (Nilai metrik saat ini / Ambang batas pemanfaatan yang ditentukan)

• Nilai target scale-in = Instans yang disediakan saat ini × Koefisien penskalaan masuk × (1 - Nilai metrik saat ini / Ambang batas pemanfaatan yang ditentukan)

Contoh berikut menunjukkan cara menghitung nilai target scale-out. Demikian pula, nilai target scale-in dapat ditentukan menggunakan prinsip dan rumus yang disebutkan sebelumnya.

Jika nilai metrik saat ini adalah 80%, ambang batas pemanfaatan yang ditentukan adalah 40%, dan jumlah instans yang disediakan saat ini adalah 100, maka jumlah target instans dihitung sebagai berikut: 100 × (80% / 40%) = 200. Jumlah instans yang disediakan ditingkatkan menjadi 200 (selama tidak melebihi maksimum yang diizinkan) untuk memastikan pemanfaatan tetap sekitar 40%.