:Konfigurasi Alarm Kesalahan GPU dan Solusi

Informasi Latar Belakang

1. Konfigurasikan pemantauan dan peringatan rutin: Anda dapat mengonfigurasi aturan peringatan berdasarkan metrik GPU (ACK GPU Monitoring 2.0) dan kejadian (ACK Node Problem Detector) sesuai dengan kebutuhan bisnis Anda. Ketika terjadi kesalahan pada GPU, sistem akan memicu peringatan secepat mungkin untuk meningkatkan responsivitas sistem terhadap kesalahan tersebut.

2. Diagnostik dan analitik yang dibantu oleh Container Intelligence Service (CIS): Jika terjadi kesalahan pada GPU, informasi yang diberikan oleh peringatan atau kejadian terkait GPU mungkin terbatas. Dalam hal ini, Anda dapat menggunakan CIS untuk mendiagnosis node tempat GPU bermasalah berada atau pod yang menggunakan GPU tersebut. CIS menghasilkan laporan diagnosis yang memberikan informasi rinci tentang kesalahan, membantu Anda mengidentifikasi jenis kesalahan dan memilih solusi yang tepat.

3. Isolasi dan pemulihan kesalahan: Untuk mengurangi dampak kesalahan tertentu, ACK memungkinkan Anda mengaktifkan isolasi node dan isolasi GPU. Setelah kesalahan diperbaiki, Anda dapat membatalkan isolasi agar aplikasi dapat berjalan normal kembali.

Langkah 1: Konfigurasikan pemantauan dan peringatan rutin

Node Problem Detector (NPD) mendukung inspeksi GPU secara berkala dan membantu mendeteksi kesalahan GPU. Anda dapat menentukan kontak untuk menerima peringatan ketika NPD mendeteksi kesalahan GPU.

1. Masuk ke Konsol ACK. Di panel navigasi kiri, klik Clusters.

2. Di halaman Clusters, temukan kluster yang ingin Anda kelola dan klik namanya. Di panel navigasi kiri, klik Add-ons.

3. Di halaman Add-ons, cari ack-node-problem-detector dan klik Install setelah muncul.

   Catatan

   Jika Anda sebelumnya telah menginstal komponen tersebut, pastikan versinya adalah 1.2.20 atau lebih baru. Untuk informasi lebih lanjut, lihat ack-node-problem-detector.

4. Di halaman Clusters, temukan kluster yang Anda inginkan dan klik namanya. Di panel sisi kiri, pilih Operations > Alerts.

5. Di halaman Alerts, klik tab Alert Contacts. Kemudian, klik Create dan konfigurasikan kontak berdasarkan instruksi di layar.

6. Di tab Alert Rules, pilih Alert Rule Set for GPU Monitoring dan klik Status. Kemudian, klik Modify Contacts dan pilih kontak yang Anda buat.

Langkah 2: Gunakan CIS untuk melakukan diagnostik dan analisis

Ketika terjadi kesalahan pada GPU dalam kluster, administrator kluster akan diberi tahu melalui pesan teks, email, atau pesan DingTalk. Anda dapat masuk ke Konsol ACK dan menggunakan CIS untuk menemukan serta menganalisis kesalahan tersebut.

1. Masuk ke Konsol ACK. Di panel navigasi kiri, klik Clusters.

2. Di halaman Clusters, temukan kluster yang Anda inginkan dan klik namanya. Di panel sisi kiri, pilih Inspections and Diagnostics > Diagnostics.

3. Di halaman Diagnosis, klik Node diagnosis. Di pojok kiri atas halaman Node diagnosis, klik Diagnosis.

4. Di panel Select node, tentukan parameter Node name, baca dan pilih I know and agree, kemudian klik Create diagnosis.

5. Setelah diagnosis selesai, hasil dari semua item diagnosis ditampilkan. Untuk informasi lebih lanjut tentang item diagnosis yang didukung oleh fitur diagnosis node, lihat Diagnosis Node.

   Jika terjadi kesalahan Xid error pada GPU, {"GPU-326dc0ce-XXXX-77b6-XXXX-9a2eeXXXX":["43"]} akan ditampilkan untuk item GPUXIDErrors, yang menunjukkan bahwa terjadi kesalahan Xid 43 pada GPU GPU-xxx. Untuk informasi lebih lanjut tentang kesalahan GPU dalam laporan diagnosis yang disediakan oleh CIS, lihat Kejadian Kesalahan GPU yang Terdeteksi oleh NPD.

Langkah 3: Isolasi GPU yang bermasalah

// Tentukan index dari GPU.
{
    "index": ["1"]
}

// Tentukan UUID dari GPU.
{
    "uuid": ["GPU-xxx-xxx-xxx"]
}

Kejadian kesalahan GPU yang terdeteksi oleh NPD