Microservices Engine:Graceful start

Delayed registration

Sebuah instans penyedia layanan mikro mendaftarkan dirinya ke registri selama startup aplikasi. Setelah pendaftaran selesai, aplikasi konsumen dapat berlangganan dan memanggil penyedia tersebut. Untuk aplikasi Java yang dibangun di atas framework Spring, pendaftaran biasanya terjadi setelah konteks Spring direfresh. Jika aplikasi memiliki tugas inisialisasi asinkron yang belum selesai, pendaftaran segera dapat menyebabkan error permintaan. Misalnya, sebuah aplikasi MaxCompute mungkin perlu menarik data sebesar beberapa ratus megabyte dari Object Storage Service (OSS) sebelum dapat melayani permintaan. Jika langsung mendaftar setelah startup, trafik masuk akan gagal karena sumber daya belum siap. Fitur delayed service registration memungkinkan Anda menetapkan periode penundaan yang menunda pendaftaran layanan, memastikan aplikasi telah sepenuhnya diinisialisasi sebelum mulai melayani trafik.

Low-traffic warm-up

Sebuah instans yang baru dimulai sering berada dalam "keadaan dingin", di mana ia harus melakukan lazy-load connection pools, pre-warm cache, dan kompilasi just-in-time (JIT) pada kode hot-spot. Kapasitas penanganan permintaannya jauh lebih rendah dibandingkan instans yang telah berjalan lama. Dalam skenario terburuk, layanan bisa hang, menyebabkan banyak timeout dan error permintaan.

Contoh berikut menunjukkan perbedaan waktu respons untuk dua permintaan ke sebuah instans: satu dilakukan sebelum sumber daya sepenuhnya dimuat, dan satu lagi setelahnya. Jika sejumlah besar permintaan tiba saat instans masih memuat sumber daya, semua permintaan tersebut mungkin terblokir.

[arthas@37035]$ trace com.alibaba.mse.consumer.TestController eurekaRest  -n 5 \
    --skipJDKMethod false
Press Q or Ctrl+C to abort.
Affect(class count: 1 , method count: 1) cost in 105 ms, listenerId: 1
`---ts=2022-02-14 21:28:02;thread_name=http-nio-18099-exec-1;id=39;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@60e5272
    `---[464.275852ms] com.alibaba.mse.consumer.TestController:eurekaRest()
        `---[464.018509ms] org.springframework.web.client.RestTemplate:getForObject() #50

`---ts=2022-02-14 21:28:08;thread_name=http-nio-18099-exec-3;id=3b;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@60e5272
    `---[8.46028ms] com.alibaba.mse.consumer.TestController:eurekaRest()
        `---[8.402525ms] org.springframework.web.client.RestTemplate:getForObject() #50

Low-traffic warm-up mengontrol trafik dari aplikasi konsumen ke instans layanan baru saat launch, mencegah degradasi performa akibat cold-start dan melindungi instans dari lonjakan trafik mendadak. Trafik secara bertahap meningkat seiring waktu hingga mencapai durasi warm-up yang dikonfigurasi, setelah itu instans menerima trafik secara normal.

Service readiness probe

Kubernetes menyediakan mekanisme readiness probe. Selama penerapan, begitu instans baru lulus readiness probe-nya, instans lama akan dihentikan (perilaku tepatnya bergantung pada strategi deployment). Namun, Kubernetes menganggap aplikasi siap begitu port terbuka dan tidak dapat menentukan kapan layanan mikro benar-benar selesai diinisialisasi. Hal ini dapat menyebabkan Kubernetes menandai layanan sebagai siap sebelum mendaftar ke registri, lalu menghentikan instans lama — sehingga menghasilkan error service no provider/instance bagi konsumen.

Service readiness probe menyediakan titik akhir HTTP non-intrusif melalui agen yang memeriksa apakah aplikasi telah menyelesaikan pendaftaran. Titik akhir ini mengembalikan kode status 500 selama pendaftaran belum lengkap dan 200 setelah pendaftaran berhasil. Dengan mengonfigurasi readiness probe Kubernetes untuk menggunakan titik akhir ini, Anda memastikan bahwa konsumen selalu memiliki penyedia yang tersedia selama penerapan, mencegah error "no provider".

Prasyarat

• Aktifkan MSE Microservices Governance.

• Hubungkan aplikasi layanan mikro di ACK dan ACS ke MSE Microservices Governance untuk Java.

Catatan penggunaan

• Graceful start saat ini hanya didukung untuk instans yang menggunakan registri layanan mikro (seperti Nacos) untuk penemuan layanan. Fitur ini tidak didukung untuk instans layanan mikro yang mengandalkan Kubernetes Services untuk penemuan.

• Untuk aplikasi Spring Cloud, low-traffic warm-up hanya didukung untuk aplikasi yang menggunakan Nacos, ZooKeeper, atau Eureka sebagai registri.

• Fitur low-traffic warm-up untuk Spring Cloud diimplementasikan berdasarkan load balancer default Spring Cloud: ZoneAwareLoadBalancer, RoundRobinLoadBalancer, atau RandomLoadBalancer. Jika Anda mengubah konfigurasi load balancer aplikasi, fitur ini tidak akan berfungsi.

• Agar low-traffic warm-up berfungsi, aplikasi penyedia dan konsumen harus terhubung ke MSE Microservices Governance. Fitur ini tidak berlaku untuk aplikasi seperti gateway yang menerima trafik eksternal langsung melalui API yang diekspos.

Prosedur