Container Service for Kubernetes：FAQ Observabilitas

Gejala

Jika Anda telah mengikuti petunjuk dalam Kumpulkan log kontainer kluster ACK tetapi tidak menemukan log pada halaman Preview di konsol Simple Log Service, pengumpulan log mungkin gagal. Untuk memecahkan masalah ini, periksa konfigurasi, status komponen dan node pengumpulan, serta log operasional kontainer pengumpulan log.

Sebelum memulai

Perhatikan poin-poin berikut saat mengumpulkan log dari file kontainer.

• Komponen pengumpulan log hanya mengumpulkan log inkremental. Jika file log tidak diperbarui setelah konfigurasi Logtail diterapkan, komponen tidak akan mengumpulkan log dari file tersebut. Untuk informasi lebih lanjut, lihat Baca log.

• Anda hanya dapat mengumpulkan log dari file yang menggunakan penyimpanan kontainer default atau yang dimount ke path lokal. Metode penyimpanan lain tidak didukung.

• Setelah log dikumpulkan, Anda harus membuat indeks sebelum dapat melakukan kueri dan analisis log di Logstore. Untuk informasi lebih lanjut, lihat Buat indeks.

Langkah 1: Periksa konfigurasi pengumpulan

Verifikasi bahwa konfigurasi Logtail benar. Pastikan semua pengaturan pengumpulan log akurat dan kontainer terus menghasilkan log.

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  # Tetapkan nama resource, yang harus unik dalam kluster Kubernetes saat ini. Nama ini juga digunakan untuk konfigurasi pengumpulan yang dibuat. Konfigurasi tidak akan berlaku jika namanya duplikat.
  name: example-k8s-file
spec:
  # Tentukan proyek tujuan.
  project:
    name: k8s-log-<YOUR_CLUSTER_ID>
  logstores:
    # Buat Logstore bernama k8s-file.
    - name: k8s-file
  # Definisikan konfigurasi pengumpulan.
  config:
    # Contoh log (opsional).
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    # Definisikan plugin input.
    inputs:
      # Gunakan plugin input_file untuk mengumpulkan log teks multi-baris dari kontainer.
      - Type: input_file
        # Path file di dalam kontainer.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Aktifkan fitur penemuan kontainer.
        EnableContainerDiscovery: true
        # Tambahkan kondisi filter informasi kontainer. Hubungan antar opsi adalah "AND".
        CollectingContainersMeta: true
        ContainerFilters:
          # Tentukan namespace pod tempat kontainer yang akan dikumpulkan berada. Mendukung pencocokan ekspresi reguler.
          K8sNamespaceRegex: default
          # Tentukan nama kontainer yang akan dikumpulkan. Mendukung pencocokan ekspresi reguler.
          IncludeK8sLabel:
            app: ^(.*app.*)$
        # Aktifkan pengumpulan log multi-baris. Untuk pengumpulan log satu baris, hapus konfigurasi ini.
        Multiline:
          # Pilih mode pola awal kustom.
          Mode: custom
          # Konfigurasikan ekspresi reguler pola awal.
          StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'
    # Definisikan plugin pemrosesan.
    processors:
      # Gunakan plugin penguraian regex untuk mengurai log.
      - Type: processor_parse_regex_native
        # Nama field sumber.
        SourceKey: content
        # Ekspresi reguler untuk penguraian. Gunakan tanda kurung "()" untuk menangkap field yang akan diekstrak.
        Regex: (\d+-\d+-\d+\s\S+)(.*)
        # Daftar field yang diekstrak.
        Keys: ["time", "detail"]
    # Definisikan plugin output.
    flushers:
      # Gunakan plugin flusher_sls untuk mengeluarkan ke Logstore yang ditentukan.
      - Type: flusher_sls
        # Pastikan Logstore ini ada.
        Logstore: k8s-file
        # Pastikan endpoint benar.
        Endpoint: cn-beijing.log.aliyuncs.com
        Region: cn-beijing
        TelemetryType: logs

Langkah 2: Periksa status komponen pengumpulan dan kelompok mesin

Konfirmasi bahwa komponen pengumpulan, seperti Logtail atau LoongCollector, telah diterapkan dan berjalan di setiap node pekerja, serta jumlah heartbeat OK dari kontainer pengumpulan sesuai dengan jumlah node pekerja.

1. Periksa status pod komponen pengumpulan.

   1. Hubungkan ke kluster.

   2. Jalankan perintah berikut untuk memeriksa apakah semua pod pengumpulan terkait berada dalam status Running. Jika sebuah pod berada dalam status abnormal, lihat Pecahkan masalah pengecualian pod.

      kubectl get pods -n kube-system -l 'k8s-app in (loongcollector-ds,logtail)' 

      Outputnya mirip dengan berikut:

      NAME                      READY   STATUS    RESTARTS   AGE
      loongcollector-ds-fn5zn   1/1     Running   0          3d19h
      loongcollector-ds-ks76g   1/1     Running   0          3d19h

2. Periksa status heartbeat kelompok mesin.

   1. Login ke Simple Log Service console.

   2. Pada bagian Projects, klik yang diinginkan.

      

   3. Di panel navigasi kiri, pilih Resource > Machine Groups.

   4. Di daftar kelompok mesin, klik kelompok mesin tujuan.

   5. Pada halaman Machine Group Configuration, catat jumlah mesin dengan status heartbeat OK. Verifikasi bahwa jumlah ini sesuai dengan jumlah node pekerja di kluster. Untuk informasi lebih lanjut, lihat Solusi Status Heartbeat.

Langkah 3: Lihat log operasional LoongCollector (Logtail)

Periksa kontainer pengumpulan untuk mencari error pengumpulan atau pesan kesalahan guna menganalisis lebih lanjut penyebab masalah.

1. Masuk ke pod komponen pengumpulan.

   kubectl exec -it -n kube-system loongcollector-ds-XXXX  -- bash

2. Log Logtail disimpan di direktori /usr/local/ilogtail/ kontainer Logtail. Nama filenya adalah ilogtail.LOG dan logtail_plugin.LOG. Anda dapat login ke kontainer Logtail dan menjalankan perintah berikut untuk melihat file log:

   # Buka direktori /usr/local/ilogtail/.
   cd /usr/local/ilogtail
   
   # Lihat file ilogtail.LOG dan logtail_plugin.LOG.
   cat ilogtail.LOG
   cat logtail_plugin.LOG

3. Lihat metrik alarm log error dan temukan solusi yang sesuai di Jenis error umum untuk pengumpulan data di Simple Log Service.

Operasi O&M lainnya

• Lihat status komponen Simple Log Service di kluster Kubernetes

  Lihat status komponen Simple Log Service di kluster Kubernetes

  Jalankan perintah berikut untuk melihat status dan informasi deployment Simple Log Service.

  kubectl get deploy -n kube-system | grep -E 'alibaba-log-controller|loongcollector-operator'

  Hasil berikut dikembalikan:

  NAME                     READY   UP-TO-DATE   AVAILABLE   AGE
  alibaba-log-controller   1/1     1            1           11d

  Jalankan perintah berikut untuk melihat informasi status resource DaemonSet.

  kubectl get ds  -n kube-system | grep -E 'logtail-ds|loongcollector-ds'

  Hasil berikut dikembalikan:

  NAME         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR  AGE
  logtail-ds   2         2         2       2            2           **ux           11d

• Lihat nomor versi, alamat IP, dan waktu startup Logtail

  Informasi ini disimpan di file /usr/local/ilogtail/app_info.json kontainer Logtail.

  kubectl exec logtail-ds-****k -n kube-system cat /usr/local/ilogtail/app_info.json

  Hasil yang mirip dengan berikut dikembalikan.

  {
     "UUID" : "",
     "hostname" : "logtail-****k",
     "instance_id" : "0EB****_172.20.4.2_1517810940",
     "ip" : "172.20.4.2",
     "logtail_version" : "0.16.2",
     "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
     "update_time" : "2018-02-05 06:09:01"
  }

• Transfer log kluster ACK ke proyek di Akun Alibaba Cloud lain

Gejala

Topik ini menjelaskan cara menghapus proyek dan apa yang harus dilakukan jika Anda tidak dapat menghapus proyek serta menerima pesan error "izin tidak mencukupi".

Solusi

Untuk informasi lebih lanjut tentang cara menghapus proyek atau Logstore, lihat Kelola proyek dan Kelola Logstore. Jika proyek gagal dihapus, lihat Apa yang harus saya lakukan jika muncul pesan error "Operasi ditolak, izin tidak mencukupi" saat menghapus proyek?

Penyebab

1. Pemantauan aplikasi dijeda.

2. Agen ARMS tidak dimuat seperti yang diharapkan di pod tempat aplikasi berada.

Solusi

1. Periksa apakah pemantauan aplikasi dijeda.

   1. Login ke ARMS console. Di panel navigasi kiri, pilih Application Monitoring > Application List.

   2. Pada halaman Application List, pilih wilayah di bilah navigasi atas dan klik nama aplikasi.

      Jika aplikasi tidak ditemukan, lanjutkan ke Langkah 2: Periksa apakah agen ARMS dimuat seperti yang diharapkan.

   3. Jika Anda menggunakan konsol Application Real-Time Monitoring Service (ARMS) baru, pilih Configuration > Custom Configurations di bilah navigasi atas halaman detail aplikasi. Di bagian Probe switch settings, periksa apakah pemantauan aplikasi dijeda.

      • Jika Pause application monitoring diaktifkan, matikan sakelar tersebut dan klik Save.

      • Jika Pause application monitoring dimatikan, lanjutkan ke Langkah 2: Periksa apakah agen ARMS dimuat seperti yang diharapkan.

   4. Jika Anda menggunakan konsol ARMS lama, klik Application Settings di panel navigasi kiri halaman detail aplikasi. Pada halaman yang muncul, klik tab Custom Configuration. Di bagian Agent Switch Settings, periksa apakah Probe Master Switch diaktifkan.

      • Jika Probe Master Switch dimatikan, aktifkan Probe Master Switch dan klik Save di bagian bawah halaman.

      • Jika Probe Master Switch diaktifkan, lanjutkan ke Langkah 2: Periksa apakah agen ARMS dimuat seperti yang diharapkan.

2. Periksa apakah probe dimuat dengan benar.

   1. Login ke ACK console. Di panel navigasi kiri, klik Clusters. Pada halaman Clusters, klik nama kluster untuk membuka halaman detail kluster.

   2. Di panel navigasi kiri, pilih Workloads > Pods.

   3. Pada halaman Pods, pilih namespace tempat aplikasi Anda berada, temukan aplikasi, lalu klik Edit YAML di kolom Actions.

   4. Di kotak dialog Edit YAML, periksa apakah file YAML berisi initContainers.

      

      • Jika file YAML tidak berisi initContainers, pod belum diinjeksi one-pilot-initcontainer. Lakukan Langkah 5.

      • Jika file YAML berisi initContainers, pod telah diinjeksi one-pilot-initcontainer. Lakukan Langkah 8.

   5. Di panel navigasi kiri halaman detail kluster, pilih Workloads > Pods. Pada halaman yang muncul, atur parameter Namespace ke ack-onepilot. Periksa apakah ada pod bernama ack-onepilot-* dengan pembaruan bergulir yang telah selesai di daftar pod.

      • Jika pod yang ditentukan ada, lakukan Langkah 6.

      • Jika pod yang ditentukan tidak ada, instal komponen ack-onepilot dari pasar aplikasi. Untuk informasi lebih lanjut, lihat Bagaimana cara menginstal ack-onepilot dan menguninstall arms-pilot?

   6. Di panel navigasi kiri halaman detail kluster, pilih Workloads > Deployments atau StatefulSets. Pada halaman yang muncul, temukan aplikasi dan pilih > Edit YAML di kolom Actions. Di kotak dialog Edit YAML, periksa apakah file YAML berisi label berikut di bagian spec.template.metadata:

      labels:
        armsPilotAutoEnable: "on"
        armsPilotCreateAppName: "<your-deployment-name>"    # Ganti <your-deployment-name> dengan nama aplikasi sebenarnya. 
        armsSecAutoEnable: "on"    # Jika Anda ingin menghubungkan aplikasi ke Application Security, Anda harus mengonfigurasi parameter ini.

      • Jika file YAML berisi label tersebut, lakukan Langkah 7.

      • Jika file YAML tidak berisi label tersebut, lakukan operasi berikut: Di kotak dialog Edit YAML, tambahkan label ke bagian spec > template > metadata dan ganti <your-deployment-name> dengan nama aplikasi sebenarnya. Kemudian, klik Update.

   7. Di panel navigasi kiri halaman detail kluster, pilih Workloads > Pods. Pada halaman yang muncul, temukan pod dan pilih More > Logs di kolom Actions untuk memeriksa apakah log pod ack-onepilot melaporkan error Security Token Service (STS) dalam format "Message":"STS error".

      • Jika error dilaporkan, otorisasi kluster aplikasi dan restart pod aplikasi. Untuk informasi lebih lanjut, lihat Instal agen ARMS untuk aplikasi Java yang diterapkan di ACK.

      • Jika error tidak dilaporkan, submit a ticket.

   8. Di panel navigasi kiri halaman detail kluster, pilih Workloads > Pods, temukan pod dan klik Edit YAML di kolom Actions. Di kotak dialog Edit YAML, periksa apakah file YAML berisi parameter javaagent berikut:

      -javaagent:/home/admin/.opt/ArmsAgent/aliyun-java-agent.jar

      Catatan

      Jika Anda menggunakan agen ARMS versi sebelum 2.7.3.5, ganti aliyun-java-agent.jar dalam kode di atas dengan arms-bootstrap-1.7.0-SNAPSHOT.jar. Kami menyarankan Anda meningkatkan agen ke versi terbaru sesegera mungkin.

      • Jika file YAML berisi parameter tersebut, temukan pod di halaman Pods dan klik Terminal di kolom Actions untuk membuka halaman command line. Jalankan perintah berikut untuk memeriksa apakah direktori log berisi file log dengan ekstensi .log. Kemudian, submit a ticket.

        cd /home/admin/.opt/ArmsAgent/logs

      • Jika file YAML tidak berisi parameter tersebut, submit a ticket.

Gejala

Token ARMS Addon tidak ada di kluster target.

1. Login ke ACK console. Di panel navigasi kiri, klik Clusters. Pada halaman Clusters, klik nama kluster untuk membuka halaman detail kluster.

2. Di panel navigasi kiri, pilih Configurations > Secrets.

3. Di bagian atas halaman, pilih kube-system dari daftar drop-down Namespace untuk memeriksa apakah addon.arms.token diaktifkan.

   

Solusi

Berikan izin akses Container Service for Kubernetes ke resource ARMS.

Gejala

• Nilai yang ditampilkan di kolom namespace pada dasbor kustom tidak diperbarui setelah Anda mengubah namespace aplikasi Anda.

  

• Setelah Anda mengubah kluster aplikasi, data untuk metrik rate, errors, dan duration (RED) ditampilkan normal tetapi tidak ada data yang ditampilkan untuk metrik pemantauan kontainer, seperti CPU dan memori.

Kemungkinan penyebab

Parameter terkait kontainer, seperti Namespace dan ClusterId, dikonfigurasi saat aplikasi dibuat dan nilainya tidak dapat diperbarui secara otomatis. Jika Anda mengubah kluster atau namespace aplikasi, data terkait kontainer mungkin gagal diambil atau ditampilkan.

Solusi

• Hapus aplikasi, buat ulang aplikasi, lalu laporkan data pemantauan lagi. Untuk informasi lebih lanjut, lihat Hapus aplikasi.

  Metode ini menyebabkan kehilangan data historis.

• Kirim tiket.

Latar belakang

Dalam penerapan standar, komponen ack-onepilot menentukan path mount untuk agen Java dengan menginjeksi variabel lingkungan JAVA_TOOL_OPTIONS. Namun, Anda mungkin perlu menyesuaikan path mount agen untuk skenario tertentu, seperti berikut:

• Manajemen konfigurasi terpusat

  Anda dapat mengelola path agen secara terpusat menggunakan ConfigMap Kubernetes untuk memastikan konsistensi konfigurasi di berbagai lingkungan.

• Persyaratan penyimpanan persisten

  Kebijakan keamanan perusahaan atau persyaratan O&M mungkin mengharuskan menyimpan file probe di volume persisten kustom (PVC).

Solusi

Menyesuaikan path mount agen Java memerlukan versi komponen berikut:

• ack-onepilot: versi 4.1.0 atau lebih baru.

• ARMS Java agent: versi 4.2.2 atau lebih baru. Anda juga dapat mengontrol versi agen Java sesuai kebutuhan.

1. Tambahkan anotasi disableJavaToolOptionsInjection ke beban kerja Kubernetes, seperti deployment, yang memerlukan agen Java dengan mount kustom.

   Setelah Anda menambahkan anotasi ini, komponen ack-onepilot tidak akan menggunakan variabel lingkungan JAVA_TOOL_OPTIONS untuk secara otomatis menentukan path mount agen atau parameter JVM lainnya.

   1. Jalankan perintah berikut untuk melihat file YAML deployment target.

      kubectl get deployment YOUR_DEPLOYMENT_NAME -o yaml

      Catatan

      Jika Anda tidak yakin dengan nama deployment, Anda dapat menjalankan perintah berikut untuk mencantumkan semua deployment. Temukan deployment target di hasilnya, lalu lihat file YAML-nya.

      kubectl get deployments --all-namespaces

   2. Anda dapat mengedit file YAML untuk aplikasi stateless target (Deployment).

      kubectl edit deployment YOUR_DEPLOYMENT_NAME -o yaml

   3. Dalam file YAML, tambahkan konten berikut di bawah `spec.template.metadata`.

      labels:
        armsPilotAutoEnable: "on"
        armsPilotCreateAppName: "<span class="var-span" contenteditable="true" data-var="YOUR_DEPLOYMENT_NAME">YOUR_DEPLOYMENT_NAME"</span> # Ganti YOUR_DEPLOYMENT_NAME dengan nama aplikasi Anda.
        disableJavaToolOptionsInjection: "true"            # Untuk menyesuaikan path mount agen Java, atur ini ke true.

2. Tambahkan path mount untuk agen Java ARMS ke skrip startup aplikasi atau perintah startup Java Anda.

   Path mount default adalah /home/admin/.opt/AliyunJavaAgent/aliyun-java-agent.jar. Ganti path ini dengan path kustom Anda.

   java -javaagent:/home/admin/.opt/AliyunJavaAgent/aliyun-java-agent.jar ... ... -jar xxx.jar

   Informasi lain, seperti wilayah pelaporan dan kunci lisensi, diinjeksikan oleh ack-onepilot melalui variabel lingkungan.

Gejala

Bagaimana cara melaporkan data dari Wilayah A ke Wilayah B?

Solusi

1. Perbarui komponen ack-onepilot ke V4.0.0 atau lebih baru.

2. Tambahkan variabel lingkungan ARMS_REPORT_REGION ke aplikasi ack-onepilot-ack-onepilot di namespace ack-onepilot. Nilainya harus berupa ID wilayah tempat ARMS tersedia. Contoh: cn-hangzhou atau cn-beijing.

3. Restart aplikasi yang ada atau terapkan aplikasi baru untuk melaporkan data lintas wilayah.

   Catatan

   Setelah variabel lingkungan ditambahkan, semua aplikasi yang diterapkan di kluster akan melaporkan data ke wilayah yang ditentukan pada langkah sebelumnya.

Latar belakang

Agen Pemantauan Aplikasi lama arms-pilot tidak lagi dipelihara. Anda dapat menginstal agen baru ack-onepilot untuk memantau aplikasi Anda. ack-onepilot sepenuhnya kompatibel dengan arms-pilot. Anda dapat menginstal ack-onepilot secara mulus tanpa perlu mengubah konfigurasi aplikasi. Topik ini menjelaskan cara menguninstall arms-pilot dan menginstal ack-onepilot.

Solusi

• Anda harus menginstal ack-onepilot di kluster ACK V1.16 atau lebih baru. Jika kluster Anda lebih lama dari V1.16, tingkatkan kluster terlebih dahulu. Untuk informasi lebih lanjut, lihat Perbarui versi Kubernetes kluster ACK.

• Anda harus menguninstall arms-pilot sebelum menginstal ack-onepilot. Jika Anda memiliki ack-onepilot dan arms-pilot yang diinstal, agen ARMS tidak dapat dimount. Jika arms-pilot tidak sepenuhnya diuninstall, ack-onepilot tidak berfungsi karena menganggap arms-pilot masih bekerja di lingkungan tersebut.

• Saat Anda menguninstall arms-pilot dan menginstal ack-onepilot, konfigurasi arms-pilot tidak dapat disinkronkan secara otomatis ke ack-onepilot. Kami menyarankan Anda mencatat konfigurasi tersebut lalu mengonfigurasi ack-onepilot secara manual.

1. Uninstall arms-pilot.

   1. Login ke ACK console. Pada halaman Clusters, klik nama kluster.

   2. Di panel navigasi kiri, pilih Applications > Helm.

   3. Pada halaman Helm, temukan arms-pilot dan klik Delete di kolom Actions.

   4. Pada pesan Delete, klik OK.

2. Periksa apakah arms-pilot telah diuninstall.

   Buka halaman detail kluster di ACK console. Di panel navigasi kiri, pilih Workloads > Deployments. Pada halaman Deployments, pilih arms-pilot dari daftar drop-down Namespace, dan periksa apakah pod namespace tersebut dihapus seperti yang diharapkan.

   Catatan

   Jika Anda telah mengubah namespace tempat arms-pilot berada, pilih namespace baru tersebut.

3. Instal ack-onepilot.

   1. Login ke ACK console. Pada halaman Clusters, klik nama kluster.

   2. Di panel navigasi kiri, klik Add-ons. Pada halaman Add-ons, cari ack-onepilot.

   3. Klik Install pada kartu ack-onepilot.

      Catatan

      Secara default, komponen ack-onepilot mendukung 1.000 pod. Untuk setiap tambahan 1.000 pod di kluster, Anda harus menambahkan 0,5 core CPU dan 512 MB memori untuk komponen tersebut.

   4. Di kotak dialog yang muncul, konfigurasikan parameter dan klik OK. Kami menyarankan Anda menggunakan nilai default.

      Catatan

      Setelah Anda menginstal ack-onepilot, Anda dapat meningkatkan, mengonfigurasi, atau menguninstallnya di halaman Add-ons.

4. Periksa apakah ack-onepilot telah diinstal.

   Buka halaman detail kluster di ACK console. Di panel navigasi kiri, pilih Workloads > Deployments. Pada halaman Deployments, pilih ack-onepilot dari daftar drop-down Namespace, dan periksa apakah pod namespace tersebut berjalan seperti yang diharapkan.

   

Gejala

Jika Anda mengaktifkan pemantauan Prometheus dan melihat pesan No dashboard is found pada halaman Operations > Prometheus Monitoring untuk kluster target, ikuti prosedur di bawah ini untuk menyelesaikan masalah.

Solusi

1. Instal ulang komponen pemantauan Prometheus.

   1. Nonaktifkan pemantauan Prometheus.

   2. Instal ulang komponen:

      1. Setelah memastikan penghapusan selesai, klik Install, lalu klik OK di kotak dialog.

      2. Setelah instalasi selesai, kembali ke halaman Pemantauan Prometheus untuk memeriksa apakah masalah telah terselesaikan.

         Jika masalah masih berlanjut, lanjutkan ke langkah berikutnya.

2. Periksa koneksi instance Prometheus.

   1. Di panel navigasi kiri ARMS console, klik Integration Management.

   2. Pada tab Integrated Environments, periksa daftar Container Service untuk lingkungan kontainer dengan nama yang sama dengan kluster Anda.

      • Jika tidak ada lingkungan kontainer yang sesuai: Lihat Hubungkan menggunakan konsol ARMS atau Prometheus.

      • Jika Anda memiliki lingkungan kontainer, klik Configure Agent di kolom Actions untuk lingkungan target guna membuka halaman Configure Agent.

        Periksa apakah agen yang diinstal berjalan seperti yang diharapkan.

Penyebab

Data mungkin tidak ditampilkan di Managed Service for Prometheus karena tugas sinkronisasi dengan layanan Prometheus Alibaba Cloud gagal, yang menyebabkan kegagalan pendaftaran resource, atau karena instance Prometheus tidak disediakan dengan benar. Ikuti proses di bawah ini untuk memeriksa dan menyelesaikan masalah.

Solusi

1. Periksa status tugas penyediaan untuk Managed Service for Prometheus.

   3. Pada halaman Jobs, atur Namespace ke arms-prom di bagian atas halaman, lalu klik o11y-init-environment untuk memverifikasi bahwa job berhasil.

      Jika tidak berhasil, mungkin karena sinkronisasi dengan layanan Prometheus Alibaba Cloud dan pendaftaran resource gagal. Anda dapat melihat log pod-nya untuk menemukan alasan spesifik kegagalan tersebut. Untuk informasi lebih lanjut, lihat Pecahkan masalah pengecualian pod.

      Jika pod tersebut tidak ada lagi, lanjutkan dengan langkah-langkah berikut.

2. Instal ulang komponen pemantauan Prometheus.

   1. Nonaktifkan pemantauan Prometheus.

   2. Instal ulang komponen:

      1. Setelah memastikan penghapusan selesai, klik Install, lalu klik OK di kotak dialog.

      2. Setelah instalasi selesai, kembali ke halaman Pemantauan Prometheus untuk memeriksa apakah masalah telah terselesaikan.

         Jika masalah masih berlanjut, lanjutkan ke langkah berikutnya.

3. Periksa penyediaan instance Prometheus.

   1. Di panel navigasi kiri ARMS console, klik Integration Management.

   2. Pada tab Integrated Environments, periksa daftar Container Service untuk lingkungan kontainer dengan nama yang sama dengan kluster Anda.

      • Jika tidak ada lingkungan kontainer yang sesuai: Lihat Hubungkan menggunakan konsol ARMS atau Prometheus.

      • Jika Anda memiliki lingkungan kontainer, klik Configure Agent di kolom Actions untuk lingkungan target guna membuka halaman Configure Agent.

        Periksa apakah agen yang diinstal berjalan seperti yang diharapkan.

Gejala

Saat Anda menguninstall dan menginstal ulang agen Prometheus, muncul pesan error berikut:

rendered manifests contain a resource that already exists. Unable to continue with install: existing resource conflict: kind: ClusterRole, namespace: , name: arms-pilot-prom-k8s

Penyebab

Setelah Anda menjalankan perintah untuk menguninstall agen Prometheus secara manual, resource seperti role mungkin gagal dihapus.

Solusi

1. Jalankan perintah berikut untuk menemukan ClusterRoles agen Prometheus:

   kubectl get ClusterRoles --all-namespaces | grep prom

2. Jalankan perintah berikut untuk menghapus ClusterRoles yang ditemukan pada langkah sebelumnya:

    kubectl delete ClusterRole [$Cluster_Roles] -n arms-prom

   Catatan

   Parameter [$Cluster_Roles] menentukan ClusterRoles yang ditemukan pada langkah sebelumnya.

3. Jika masalah masih berlanjut setelah Anda menghapus ClusterRoles, lihat nilai kind dalam pesan error untuk memeriksa apakah ada resource selain ClusterRoles. Lakukan operasi di atas untuk menghapusnya secara berurutan.

Latar belakang

Anda perlu memeriksa versi komponen ack-arms-prometheus yang diterapkan di kluster Anda dan apakah perlu diperbarui.

Solusi

1. Login ke ACK console. Di panel navigasi kiri, klik Clusters.

2. Pada halaman Clusters, temukan yang ingin Anda kelola dan klik namanya. Di panel navigasi kiri, klik Add-ons.

3. Pada halaman Component Management, klik tab Log And Monitoring dan temukan komponen ack-arms-prometheus.

   Versi saat ini ditampilkan di bawah nama komponen. Jika tersedia versi yang lebih baru, klik Upgrade di sebelah nomor versi untuk memperbarui komponen.

   Catatan

   Tombol Upgrade hanya tersedia jika komponen yang diinstal bukan versi terbaru.

Penyebab

Pemantauan GPU mungkin gagal diterapkan jika node GPU memiliki taint. Anda dapat melakukan langkah-langkah berikut untuk memeriksa taint pada node GPU.

Solusi

1. Jalankan perintah berikut untuk melihat taint node GPU target.

   Jika node GPU memiliki taint kustom, Anda akan menemukan entri terkait di output. Topik ini menggunakan taint dengan key test-key, value test-value, dan effect NoSchedule sebagai contoh:

   kubectl describe node cn-beijing.47.100.***.***

   Output yang diharapkan:

   Taints:test-key=test-value:NoSchedule

2. Anda dapat menangani taint pada node GPU dengan salah satu cara berikut.

   • Jalankan perintah berikut untuk menghapus taint node GPU.

     kubectl taint node cn-beijing.47.100.***.*** test-key=test-value:NoSchedule-

   • Deklarasikan toleransi untuk taint node GPU agar pod dapat dijadwalkan ke node tersebut.

     # 1. Jalankan perintah berikut untuk mengedit ack-prometheus-gpu-exporter.
     kubectl edit daemonset -n arms-prom ack-prometheus-gpu-exporter
     
     # 2. Tambahkan field berikut ke file YAML untuk mendeklarasikan toleransi terhadap taint.
     # Abaikan field lainnya.
     # Field tolerations ditambahkan di atas field containers dan sejajar dengan field containers.
     tolerations:
     - key: "test-key"
       operator: "Equal"
       value: "test-value"
       effect: "NoSchedule"
     containers:
      # Abaikan field lainnya.

Latar belakang

Jika Anda hanya menghapus namespace Prometheus Monitoring for Alibaba Cloud, konfigurasi sisa mungkin tetap ada dan menyebabkan instalasi ulang gagal. Untuk menghapus semua konfigurasi ARMS-Prometheus secara manual dan lengkap, lakukan operasi berikut.

Solusi

• Hapus namespace arms-prom.

  kubectl delete namespace arms-prom

• Hapus ClusterRoles.

  kubectl delete ClusterRole arms-kube-state-metrics
  kubectl delete ClusterRole arms-node-exporter
  kubectl delete ClusterRole arms-prom-ack-arms-prometheus-role
  kubectl delete ClusterRole arms-prometheus-oper3
  kubectl delete ClusterRole arms-prometheus-ack-arms-prometheus-role
  kubectl delete ClusterRole arms-pilot-prom-k8s
  kubectl delete ClusterRole gpu-prometheus-exporter
  kubectl delete ClusterRole o11y:addon-controller:role
  kubectl delete ClusterRole arms-aliyunserviceroleforarms-clusterrole

• Hapus ClusterRoleBindings.

  kubectl delete ClusterRoleBinding arms-node-exporter
  kubectl delete ClusterRoleBinding arms-prom-ack-arms-prometheus-role-binding
  kubectl delete ClusterRoleBinding arms-prometheus-oper-bind2
  kubectl delete ClusterRoleBinding arms-kube-state-metrics
  kubectl delete ClusterRoleBinding arms-pilot-prom-k8s
  kubectl delete ClusterRoleBinding arms-prometheus-ack-arms-prometheus-role-binding
  kubectl delete ClusterRoleBinding gpu-prometheus-exporter
  kubectl delete ClusterRoleBinding o11y:addon-controller:rolebinding
  kubectl delete ClusterRoleBinding arms-kube-state-metrics-agent
  kubectl delete ClusterRoleBinding arms-node-exporter-agent
  kubectl delete ClusterRoleBinding arms-aliyunserviceroleforarms-clusterrolebinding

• Hapus Roles dan RoleBindings.

  kubectl delete Role arms-pilot-prom-spec-ns-k8s
  kubectl delete Role arms-pilot-prom-spec-ns-k8s -n kube-system
  kubectl delete RoleBinding arms-pilot-prom-spec-ns-k8s
  kubectl delete RoleBinding arms-pilot-prom-spec-ns-k8s -n kube-system

Setelah Anda menghapus resource ARMS-Prometheus secara manual, navigasikan ke Operations Management > Component Management di Container Service for Kubernetes (ACK) console untuk menginstal ulang komponen ack-arms-prometheus.

Penyebab

Saat Anda menerapkan komponen ack-arms-prometheus, muncul error "xxx sedang digunakan". Hal ini kemungkinan disebabkan oleh resource yang sedang digunakan atau resource sisa, yang menyebabkan instalasi komponen gagal.

Solusi

1. Pada halaman Clusters, klik nama kluster target. Di panel navigasi kiri halaman detail kluster, pilih Applications > Helm.

2. Pada halaman Helm, verifikasi bahwa ack-arms-prometheus ada.

   • Hapus ack-arms-prometheus dari halaman Helm lalu instal ulang di halaman Add-ons. Untuk informasi lebih lanjut, lihat Kelola komponen.

   • Tidak ditemukan:

     1. Jika ack-arms-prometheus tidak ditemukan, ini menunjukkan bahwa resource sisa tetap ada dari penghapusan Helm Release ack-arms-prometheus. Anda harus kemudian menghapus ARMS-Prometheus secara manual dan lengkap.

     2. Aktifkan kembali pemantauan Prometheus.

Gejala

Saat Anda mencoba menginstal komponen ack-arms-prometheus, muncul pesan "Komponen Belum Diinstal" terlebih dahulu, dan instalasi tetap gagal pada percobaan kedua.

Solusi

• Periksa apakah komponen ack-arms-prometheus sudah diinstal.

  1. Pada halaman Clusters, klik nama kluster target. Di panel navigasi kiri halaman detail kluster, pilih Applications > Helm.

  2. Pada halaman Helm, verifikasi bahwa ack-arms-prometheus ada.

     • Hapus ack-arms-prometheus dari halaman Helm lalu instal ulang di halaman Add-ons. Untuk informasi lebih lanjut, lihat Kelola komponen.

     • Tidak ditemukan:

       1. Jika ack-arms-prometheus tidak ditemukan, ini menunjukkan bahwa resource sisa tetap ada dari penghapusan Helm Release ack-arms-prometheus. Anda harus kemudian menghapus ARMS-Prometheus secara manual dan lengkap.

       2. Aktifkan kembali pemantauan Prometheus.

• Periksa log ack-arms-prometheus untuk mencari error.

  1. Di panel navigasi kiri halaman detail kluster, pilih Workloads > Deployments.

  2. Di bagian atas halaman Deployments, atur Namespace ke arms-prom lalu klik arms-prometheus-ack-arms-prometheus.

  3. Klik tab Logs dan periksa log untuk mencari error.

• Periksa apakah terjadi error selama instalasi agen.

  1. Login ke ARMS console. Di panel navigasi kiri, klik Integration Management.

  2. Pada tab Integration Management, temukan lingkungan kontainer target di daftar Container Service. Di kolom Actions, klik Configure Agent untuk membuka halaman Configure Agent.

Gejala

Setelah Anda menerapkan Prometheus open source, Anda harus mengonfigurasinya untuk mengirim pemberitahuan peringatan menggunakan DingTalk.

Solusi

1. Dapatkan URL webhook chatbot DingTalk Anda. Untuk informasi lebih lanjut, lihat Pemantauan event.

2. Pada halaman wizard Parameters, temukan bagian dingtalk, atur enabled ke true, lalu tentukan URL webhook chatbot DingTalk Anda di field token. Untuk informasi lebih lanjut, lihat Configure DingTalk alert notifications di Konfigurasi peringatan.

Gejala

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

Solusi

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

Gejala

Setelah Anda menerapkan Prometheus open source, peringatan email yang Anda konfigurasi tidak mengirim pemberitahuan peringatan.

Solusi

Pastikan bahwa nilai smtp_auth_password adalah kode otorisasi SMTP, bukan kata sandi logon akun email. Pastikan endpoint server SMTP mencakup nomor port.

Gejala

Setelah Anda menerapkan Prometheus open source, saat mengklik Update YAML, muncul pesan error "Kluster saat ini sementara tidak dapat diakses. Silakan coba lagi nanti atau kirim tiket untuk umpan balik".

Solusi

Jika file konfigurasi Tiller terlalu besar, kluster tidak dapat diakses. Untuk mengatasi masalah ini, Anda dapat menghapus beberapa anotasi di file konfigurasi dan memount file tersebut ke pod sebagai ConfigMap. Anda dapat menentukan nama ConfigMap di field configMaps bagian prometheus dan alertmanager. Untuk informasi lebih lanjut, lihat metode kedua di Mount ConfigMap ke Prometheus.

Gejala

Setelah Anda menerapkan Prometheus open source, Anda mungkin perlu melakukan konfigurasi lebih lanjut untuk mengaktifkan fiturnya.

Solusi

Setelah prometheus-operator diterapkan, Anda dapat melakukan langkah-langkah berikut untuk mengaktifkan fitur prometheus-operator. Buka halaman detail kluster dan pilih Applications > Helm di panel navigasi kiri. Pada halaman Helm, temukan ack-prometheus-operator dan klik Update di kolom Actions. Di panel Update Release, konfigurasikan blok kode untuk mengaktifkan fitur. Kemudian, klik OK.

Gejala

Saat memilih solusi penyimpanan, bagaimana cara memilih antara TSDB dan disk Alibaba Cloud, dan bagaimana cara mengonfigurasi kebijakan retensi data?

Solusi

Gejala

Setelah Anda menerapkan Prometheus open source, dasbor Grafana tidak ditampilkan dengan benar.

Solusi

Buka halaman detail kluster dan pilih Applications > Helm di panel navigasi kiri. Pada halaman Helm, temukan ack-prometheus-operator dan klik Update di kolom Actions. Di panel Update Release, periksa apakah nilai field clusterVersion benar. Jika versi Kubernetes kluster Anda lebih lama dari 1.16, atur clusterVersion ke 1.14.8-aliyun.1. Jika versi Kubernetes kluster Anda 1.16 atau lebih baru, atur clusterVersion ke 1.16.6-aliyun.1.

Penyebab

Setelah Anda menghapus namespace ack-prometheus, konfigurasi resource terkait mungkin tetap ada. Dalam kasus ini, Anda mungkin gagal menginstal ack-prometheus lagi. Anda dapat melakukan operasi berikut untuk menghapus konfigurasi resource terkait:

Solusi

1. Hapus konfigurasi resource terkait kontrol akses berbasis peran (RBAC).

   1. Jalankan perintah berikut untuk menghapus ClusterRoles terkait:

      kubectl delete ClusterRole ack-prometheus-operator-grafana-clusterrole
      kubectl delete ClusterRole ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRole psp-ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRole psp-ack-prometheus-operator-prometheus-node-exporter
      kubectl delete ClusterRole ack-prometheus-operator-operator
      kubectl delete ClusterRole ack-prometheus-operator-operator-psp
      kubectl delete ClusterRole ack-prometheus-operator-prometheus
      kubectl delete ClusterRole ack-prometheus-operator-prometheus-psp

   2. Jalankan perintah berikut untuk menghapus ClusterRoleBindings terkait:

      kubectl delete ClusterRoleBinding ack-prometheus-operator-grafana-clusterrolebinding
      kubectl delete ClusterRoleBinding ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRoleBinding psp-ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRoleBinding psp-ack-prometheus-operator-prometheus-node-exporter
      kubectl delete ClusterRoleBinding ack-prometheus-operator-operator
      kubectl delete ClusterRoleBinding ack-prometheus-operator-operator-psp
      kubectl delete ClusterRoleBinding ack-prometheus-operator-prometheus
      kubectl delete ClusterRoleBinding ack-prometheus-operator-prometheus-psp

2. Jalankan perintah berikut untuk menghapus objek CRD terkait:

   kubectl delete crd alertmanagerconfigs.monitoring.coreos.com
   kubectl delete crd alertmanagers.monitoring.coreos.com
   kubectl delete crd podmonitors.monitoring.coreos.com
   kubectl delete crd probes.monitoring.coreos.com
   kubectl delete crd prometheuses.monitoring.coreos.com
   kubectl delete crd prometheusrules.monitoring.coreos.com
   kubectl delete crd servicemonitors.monitoring.coreos.com
   kubectl delete crd thanosrulers.monitoring.coreos.com

Gejala

Di Alert Center, status sinkronisasi aturan peringatan menunjukkan pesan The Project does not exist : k8s-log-xxx.

Penyebab

Resource Pusat Insiden SLS belum dibuat.

Solusi

1. Di Simple Log Service console, konfirmasi apakah batas kuota telah tercapai. Untuk informasi lebih lanjut tentang resource, lihat Batas resource dasar.

   1. Jika batas kuota telah tercapai, hapus proyek yang tidak perlu, atau submit a ticket untuk mengajukan peningkatan batas kuota resource proyek. Untuk informasi tentang cara menghapus proyek, lihat Kelola proyek.

   2. Jika batas belum tercapai, lanjutkan dengan langkah-langkah berikut.

2. Instal ulang komponen ack-node-problem-detector.

   Menginstal ulang komponen akan membuat ulang proyek default bernama k8s-log-xxxxxx.

   1. Uninstall komponen ack-node-problem-detector.

      1. Pada halaman manajemen kluster target di Container Service for Kubernetes console, di panel navigasi kiri, pilih O&M > Component Management.

      2. Klik tab Logs and Monitoring. Kemudian, klik Uninstall pada kartu komponen ack-node-problem-detector dan klik Confirm di kotak dialog.

   2. Setelah penghapusan selesai, instal komponen ack-node-problem-detector.

      1. Di panel navigasi kiri, pilih O&M > Alerting

      2. Pada halaman Alert Rules, klik Start Installation. Konsol secara otomatis membuat proyek, serta menginstal dan memperbarui komponen.

3. Pada halaman Alert Rules, nonaktifkan set aturan peringatan yang sesuai. Tunggu hingga Alert Rule Status berubah menjadi Rule Disabled, lalu aktifkan kembali set aturan untuk mencoba lagi.

Gejala

Aturan peringatan gagal disinkronkan selama konfigurasi atau penerapan, dan sistem menampilkan pesan error seperti this rule have no xxx contact groups reference. Akibatnya, pemberitahuan untuk aturan peringatan ini tidak dikirim.

Penyebab

Sinkronisasi aturan peringatan gagal, dengan pesan kesalahan serupa berikut dilaporkan: aturan ini tidak memiliki referensi kelompok kontak xxx.

Solusi

1. Anda telah membuat kontak dan menambahkannya ke grup kontak.

2. Di sebelah kanan set aturan peringatan target, klik Edit Notification Policy untuk mengonfigurasi grup kontak mana yang berlangganan set aturan peringatan.

Mengapa tidak ada data yang dikembalikan untuk kubectl top pod/node?

Mengapa sebagian data hilang untuk kubectl top pod/node?

Apa yang harus saya lakukan jika HPA tidak dapat memperoleh data metrik?

Mengapa HPA membuat Pod tambahan selama penyebaran bergulir?

--metric-resolution=15s
--enable-hpa-rolling-update-skipped=true