Alibaba Cloud SDK：Mekanisme backoff lanjutan berdasarkan kebijakan throttling

Aktifkan kebijakan backoff berdasarkan kebijakan throttling

Secara default, kebijakan backoff berdasarkan kebijakan throttling dinonaktifkan. Anda dapat menggunakan salah satu metode berikut untuk mengaktifkan kebijakan ini:

1. Konfigurasikan kebijakan retry.

RetryPolicy retryPolicy = RetryPolicy.builder()
                .maxNumberOfRetries(3) // Jumlah maksimum retry.
                .maxDelayTimeMillis(20 * 1000) // Interval retry maksimum. Unit: milidetik. Jika interval terlampaui, tidak ada retry yang dilakukan.
                //.retryConditions(retryConditions) // Kebijakan yang digunakan untuk memicu retry.
                .enableAliyunThrottlingControl(true) // Aktifkan kebijakan backoff berdasarkan kebijakan throttling. 
                //.throttlingConditions(throttlingConditions) // Kebijakan yang digunakan untuk membatasi retry.
                .build();

request.setSysRetryPolicy(retryPolicy);

2. Gunakan kebijakan retry default.

// Kebijakan default. Parameter request adalah enableAliyunThrottlingControl. Nilai true menentukan bahwa kebijakan backoff berdasarkan kebijakan throttling diaktifkan. Nilai false menentukan bahwa kebijakan backoff berdasarkan kebijakan throttling dinonaktifkan.
RetryPolicy retryPolicy = RetryPolicy.defaultRetryPolicy( 
true 
);

request.setSysRetryPolicy(retryPolicy);

Manfaat mengaktifkan kebijakan backoff berdasarkan kebijakan throttling

1. Retry yang tidak perlu dikurangi, sehingga mengurangi konsumsi sistem.

2. Algoritma backoff dapat digunakan untuk menghitung waktu backoff yang lebih akurat guna meningkatkan tingkat keberhasilan retry.

Kebijakan backoff: Hitung waktu backoff berdasarkan kebijakan throttling

Setelah kebijakan backoff berdasarkan kebijakan throttling diaktifkan, waktu backoff dihitung dengan logika berikut:

1. Jika throttling tidak dipicu, EqualJitter digunakan untuk menghitung interval retry.

2. Jika throttling dipicu, interval retry adalah nilai yang lebih besar antara sisa waktu siklus throttling saat ini dan hasil perhitungan EqualJitter. Jika interval retry lebih besar dari interval retry maksimum, pengecualian dilemparkan, dan sisa waktu siklus throttling saat ini disimpan di pool cache. Dengan cara ini, sisa waktu siklus throttling saat ini dapat digunakan oleh kebijakan untuk menonaktifkan permintaan API selama throttling.

Kebijakan untuk menonaktifkan permintaan API selama throttling

Setelah kebijakan backoff berdasarkan kebijakan throttling diaktifkan, jika throttling dipicu, server mengembalikan informasi kuota tersisa tentang throttling di header. Server mengembalikan informasi seperti jumlah panggilan API yang tersisa dan sisa waktu siklus throttling saat ini ke klien dalam dimensi "User" dan "API + User". Jika panggilan API dithrottle, jumlah panggilan API yang tersisa adalah 0.

Limit: ambang batas throttling maksimum. Nilainya adalah tipe INT.
Time: rentang waktu throttling. Nilainya adalah tipe LONG. Unit: milidetik.
TimeLeft: sisa waktu siklus throttling saat ini. Nilainya adalah tipe LONG. Unit: milidetik.
Reset: waktu mulai siklus throttling berikutnya. Nilainya adalah tipe LONG dan merupakan timestamp dalam milidetik

SDK mengelola sisa waktu siklus throttling saat ini. Selama waktu backoff yang dihitung berdasarkan sisa waktu siklus throttling saat ini, inisiasi panggilan atau retry dibatasi. Jika waktu backoff lebih besar dari interval retry maksimum, kesalahan dilemparkan. Jika waktu backoff tidak lebih besar dari interval retry maksimum, sistem menunggu hingga panggilan dapat diinisiasi atau diretry.

Aktifkan debugging throttling

Setelah kebijakan backoff berdasarkan kebijakan throttling diaktifkan, jika throttling dipicu, server mengembalikan informasi kuota tersisa tentang throttling di header. Anda juga dapat meminta untuk mengembalikan informasi kuota dalam panggilan dengan menyetel X-RateLimit-Mode ke debug di header permintaan.

request.putHeadParameter("X-RateLimit-Mode", "debug");