Container Service for Kubernetes:FAQ Observabilitas

Gejala

Jika Anda telah mengikuti petunjuk dalam Kumpulkan log kontainer kluster ACK tetapi tidak menemukan log pada halaman Preview di konsol Simple Log Service, kemungkinan pengumpulan log gagal. Untuk mengatasi masalah ini, periksa konfigurasi, status komponen dan node pengumpulan, serta log operasional kontainer pengumpul log.

Sebelum memulai

Perhatikan poin-poin berikut saat mengumpulkan log dari file kontainer.

• Komponen pengumpul log hanya mengumpulkan log inkremental. Jika file log tidak diperbarui setelah konfigurasi Logtail diterapkan, komponen tersebut tidak akan mengumpulkan log dari file tersebut. Untuk informasi lebih lanjut, lihat Baca log.

• Anda hanya dapat mengumpulkan log dari file yang menggunakan penyimpanan kontainer default atau dipasang ke path lokal. Metode penyimpanan lain tidak didukung.

• Setelah log dikumpulkan, Anda harus membuat indeks sebelum dapat melakukan kueri dan analisis log di Logstore. Untuk informasi lebih lanjut, lihat Buat indeks.

Langkah 1: Periksa konfigurasi pengumpulan

Verifikasi bahwa konfigurasi Logtail sudah benar. Pastikan semua pengaturan pengumpulan log akurat dan kontainer terus-menerus menghasilkan log.

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  # Tetapkan nama resource, yang harus unik dalam kluster Kubernetes saat ini. Nama ini juga digunakan untuk konfigurasi pengumpulan yang dibuat. Konfigurasi tidak akan berlaku jika namanya duplikat.
  name: example-k8s-file
spec:
  # Tentukan proyek tujuan.
  project:
    name: k8s-log-<YOUR_CLUSTER_ID>
  logstores:
    # Buat Logstore bernama k8s-file.
    - name: k8s-file
  # Definisikan konfigurasi pengumpulan.
  config:
    # Contoh log (opsional).
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    # Definisikan plugin input.
    inputs:
      # Gunakan plugin input_file untuk mengumpulkan log teks multi-baris dari kontainer.
      - Type: input_file
        # Path file di dalam kontainer.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Aktifkan fitur penemuan kontainer.
        EnableContainerDiscovery: true
        # Tambahkan kondisi filter informasi kontainer. Hubungan antara beberapa opsi adalah "AND".
        CollectingContainersMeta: true
        ContainerFilters:
          # Tentukan namespace pod tempat kontainer yang akan dikumpulkan berada. Pencocokan ekspresi reguler didukung.
          K8sNamespaceRegex: default
          # Tentukan nama kontainer yang akan dikumpulkan. Pencocokan ekspresi reguler didukung.
          IncludeK8sLabel:
            app: ^(.*app.*)$
        # Aktifkan pengumpulan log multi-baris. Untuk pengumpulan log satu baris, hapus konfigurasi ini.
        Multiline:
          # Pilih mode pola awal kustom.
          Mode: custom
          # Konfigurasikan ekspresi reguler pola awal.
          StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'
    # Definisikan plugin pemrosesan.
    processors:
      # Gunakan plugin penguraian regex untuk mengurai log.
      - Type: processor_parse_regex_native
        # Nama field sumber.
        SourceKey: content
        # Ekspresi reguler untuk penguraian. Gunakan tanda kurung "()" untuk menangkap field yang akan diekstrak.
        Regex: (\d+-\d+-\d+\s\S+)(.*)
        # Daftar field yang diekstrak.
        Keys: ["time", "detail"]
    # Definisikan plugin output.
    flushers:
      # Gunakan plugin flusher_sls untuk mengeluarkan ke Logstore yang ditentukan.
      - Type: flusher_sls
        # Pastikan Logstore ini ada.
        Logstore: k8s-file
        # Pastikan endpoint sudah benar.
        Endpoint: cn-beijing.log.aliyuncs.com
        Region: cn-beijing
        TelemetryType: logs

Langkah 2: Periksa status komponen pengumpulan dan kelompok mesin

Konfirmasi bahwa komponen pengumpulan, seperti Logtail atau LoongCollector, telah diterapkan dan berjalan di setiap node pekerja, serta jumlah heartbeat OK dari kontainer pengumpulan sesuai dengan jumlah node pekerja.

1. Periksa status pod komponen pengumpulan.

   1. Hubungkan ke kluster.

   2. Jalankan perintah berikut untuk memeriksa apakah semua pod pengumpulan terkait berada dalam status Running. Jika sebuah pod berada dalam status abnormal, lihat Atasi exception pod.

      kubectl get pods -n kube-system -l 'k8s-app in (loongcollector-ds,logtail)' 

      Outputnya mirip dengan berikut:

      NAME                      READY   STATUS    RESTARTS   AGE
      loongcollector-ds-fn5zn   1/1     Running   0          3d19h
      loongcollector-ds-ks76g   1/1     Running   0          3d19h

2. Periksa status heartbeat kelompok mesin.

   1. Login ke Konsol Simple Log Service.

   2. Pada bagian Proyek, klik proyek yang diinginkan.

      

   3. Di panel navigasi kiri, pilih Resource > Machine Groups.

   4. Pada daftar kelompok mesin, klik kelompok mesin tujuan.

   5. Pada halaman Machine Group Configuration, catat jumlah mesin dengan status heartbeat OK. Verifikasi bahwa jumlah ini sesuai dengan jumlah node pekerja di kluster. Untuk informasi lebih lanjut, lihat Solusi Status Heartbeat.

Langkah 3: Lihat log operasional LoongCollector (Logtail)

Periksa kontainer pengumpulan untuk mengidentifikasi error pengumpulan atau pesan kesalahan guna menganalisis lebih lanjut penyebab masalah.

1. Masuk ke pod komponen pengumpulan.

   kubectl exec -it -n kube-system loongcollector-ds-XXXX  -- bash

2. Log Logtail disimpan di direktori /usr/local/ilogtail/ pada kontainer Logtail. Nama file-nya adalah ilogtail.LOG dan logtail_plugin.LOG. Anda dapat login ke kontainer Logtail dan menjalankan perintah berikut untuk melihat file log tersebut:

   # Buka direktori /usr/local/ilogtail/.
   cd /usr/local/ilogtail
   
   # Lihat file ilogtail.LOG dan logtail_plugin.LOG.
   cat ilogtail.LOG
   cat logtail_plugin.LOG

3. Periksa metrik alarm log error dan temukan solusi yang sesuai di Jenis error umum untuk pengumpulan data di Simple Log Service.

Operasi O&M lainnya

• Lihat status komponen Simple Log Service di kluster Kubernetes

  Periksa status komponen Kubernetes

  Jalankan perintah berikut untuk melihat status dan informasi deployment Simple Log Service.

  kubectl get deploy -n kube-system | grep -E 'alibaba-log-controller|loongcollector-operator'

  Output berikut dikembalikan:

  NAME                     READY   UP-TO-DATE   AVAILABLE   AGE
  alibaba-log-controller   1/1     1            1           11d

  Jalankan perintah berikut untuk melihat informasi status resource DaemonSet.

  kubectl get ds  -n kube-system | grep -E 'logtail-ds|loongcollector-ds'

  Output berikut dikembalikan:

  NAME         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR  AGE
  logtail-ds   2         2         2       2            2           **ux           11d

• Lihat nomor versi, alamat IP, dan waktu startup Logtail

  Informasi ini disimpan dalam file /usr/local/ilogtail/app_info.json pada kontainer Logtail.

  kubectl exec logtail-ds-****k -n kube-system cat /usr/local/ilogtail/app_info.json

  Outputnya mirip dengan berikut:

  {
     "UUID" : "",
     "hostname" : "logtail-****k",
     "instance_id" : "0EB****_172.20.4.2_1517810940",
     "ip" : "172.20.4.2",
     "logtail_version" : "0.16.2",
     "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
     "update_time" : "2018-02-05 06:09:01"
  }

• Transfer log kluster ACK ke proyek di Akun Alibaba Cloud lain

Gejala

Topik ini menjelaskan cara menghapus proyek, serta langkah yang harus diambil jika Anda tidak dapat menghapus proyek dan menerima pesan error "izin tidak mencukupi".

Solusi

Untuk informasi selengkapnya tentang cara menghapus proyek atau Logstore, lihat Kelola proyek dan Kelola Logstore. Jika penghapusan proyek gagal, lihat Apa yang harus saya lakukan jika muncul pesan error "Operation denied, insufficient permissions" saat menghapus proyek?.

Penyebab

1. Pemantauan aplikasi dijeda.

2. Agen ARMS tidak dimuat sebagaimana mestinya di pod tempat aplikasi berada.

Solusi

1. Periksa apakah pemantauan aplikasi dijeda.

   1. Login ke Konsol ARMS. Di panel navigasi kiri, pilih Application Monitoring > Application List.

   2. Di halaman Application List, pilih wilayah Anda di bagian atas, lalu klik nama aplikasi Anda.

      Jika aplikasi Anda tidak ditemukan, lanjutkan ke Langkah 2.

   3. Untuk konsol baru: Di bilah navigasi atas, pilih Application Settings > Custom Configuration. Di bagian Pengaturan Saklar Probe, periksa status saklar Jeda Pemantauan Aplikasi.

      • Jika tombol Pause Application Monitoring aktif, nonaktifkan lalu klik Save.

      • Jika saklar Jeda Pemantauan Aplikasi nonaktif, lanjutkan ke Langkah 2.

   4. Untuk konsol lama: Di panel navigasi kiri, klik Application Settings, lalu klik tab Custom Configuration. Di bagian Pengaturan Saklar Agen, periksa apakah Saklar Utama Agen aktif.

      • Jika Saklar Utama Agen nonaktif, aktifkan dan klik Simpan di bagian bawah halaman.

      • Jika Saklar Utama Agen aktif, lanjutkan ke Langkah 2.

2. Periksa apakah probe dimuat dengan benar.

   1. Login ke Konsol ACK. Di panel navigasi kiri, klik Clusters. Di halaman Kluster, klik nama kluster untuk membuka halaman detail kluster.

   2. Di panel navigasi kiri, pilih Workloads > Pods.

   3. Di halaman Pods, pilih namespace aplikasi Anda. Temukan pod target dan klik Edit YAML di kolom Actions.

   4. Di dialog Edit YAML, periksa apakah file YAML berisi initContainers.

      state:
                running:
                  startedAt: '2023-01-13T08:50:46Z'
        hostIP: xxx.xxx.xx.196
        initContainerStatuses:
          - containerID: >-
              containerd://5d6cff441916ea146f6c9568e86e749817a64f212405349b5edc580991fb3195
            image: >-
              registry-vpc.cn-hangzhou.aliyuncs.com/ack-onepilot/ack-onepilot-init:3.0.6
            imageID: >-
              registry-vpc.cn-hangzhou.aliyuncs.com/ack-onepilot/ack-onepilot-init@sha256:93fe036b4c3dda4d4db3bc90de1e00972199a371ada31d1818b3395ecae8a145
            lastState: {}
            name: one-pilot-initcontainer
            ready: true
            restartCount: 0
            state:
              terminated:
                containerID: >-
                  containerd://5d6cff441916ea146f6c9568e86e749817a64f212405349b5edc580991fb3195
                exitCode: 0
                finishedAt: '2023-01-13T08:50:45Z'
                reason: Completed
                startedAt: '2023-01-13T08:50:31Z'
        phase: Running
        podIP: xxx.xxx.xx.241
        podIPs:
          - ip: xxx.xxx.xx.241
        qosClass: Guaranteed
        startTime: '2023-01-13T08:50:30Z'

      • Jika tidak ada, one-pilot-initcontainer belum disuntikkan. Lanjutkan ke Langkah 5.

      • Jika ada, one-pilot-initcontainer telah disuntikkan. Lanjutkan ke Langkah 8.

   5. Di halaman Workloads > Pods, pilih namespace ack-onepilot. Verifikasi bahwa pod dengan awalan ack-onepilot ada dan semua pod ack-onepilot telah menyelesaikan pembaruan bergulirnya.

      • Jika pod dengan awalan ada, lanjutkan ke Langkah 6.

      • Jika pod dengan awalan tidak ada, instal ack-onepilot dari pasar aplikasi. Untuk petunjuknya, lihat Cara menguninstall arms-pilot dan menginstal ack-onepilot.

   6. Di halaman Workloads, buka halaman Deployments atau StatefulSets. Temukan aplikasi Anda, lalu di kolom Actions, pilih > Edit YAML. Di dialog Edit YAML, periksa label berikut di bawah spec.template.metadata.

      labels:
        armsPilotAutoEnable: "on"
        armsPilotCreateAppName: "<your-deployment-name>"    # Ganti <your-deployment-name> dengan nama aplikasi sebenarnya. 
        armsSecAutoEnable: "on"    # Jika Anda ingin menghubungkan aplikasi ke Keamanan Aplikasi, Anda harus mengonfigurasi parameter ini.

      • Jika label ada, lanjutkan ke Langkah 7.

      • Jika label tidak ada, tambahkan di bawah path spec.template.metadata di dialog Edit YAML dan klik Update.

   7. Di halaman Workloads > Pods, pilih namespace ack-onepilot. Temukan pod dengan awalan ack-onepilot, lalu di kolom Actions, pilih More > Logs. Periksa log untuk error STS, yang ditunjukkan oleh pesan "Message":"STS error".

      • Jika error STS dilaporkan, otorisasi kluster aplikasi Anda dan restart pod aplikasi. Untuk petunjuknya, lihat Otorisasi Container Service for Kubernetes.

      • Jika tidak ada error STS yang dilaporkan, kirim tiket.

   8. Di halaman Workloads > Pods, temukan pod target dan klik Edit YAML di kolom Actions. Di dialog Edit YAML, periksa apakah file YAML berisi parameter javaagent berikut.

      -javaagent:/home/admin/.opt/ArmsAgent/aliyun-java-agent.jar

      Catatan

      Jika Anda menggunakan agen versi sebelum 2.7.3.5, ganti aliyun-java-agent.jar dengan arms-bootstrap-1.7.0-SNAPSHOT.jar. Kami menyarankan meningkatkan agen ke versi terbaru.

      • Jika tersedia, di halaman Pod, klik Terminal di sisi kanan untuk membuka halaman Command Line, jalankan perintah berikut untuk memeriksa file .log, lalu kirim tiket.

        cd /home/admin/.opt/ArmsAgent/logs

      • Jika parameter tidak ada, kirim tiket.

Gejala

Token ARMS Addon tidak ada di kluster target.

1. Login ke Konsol ACK. Di panel navigasi kiri, klik Clusters. Di halaman Kluster, klik nama kluster untuk membuka halaman detail kluster.

2. Di panel navigasi kiri, pilih Configurations > Secrets.

3. Di bagian atas halaman, pilih kube-system dari daftar drop-down Namespace untuk memeriksa apakah addon.arms.token diaktifkan.

   

Solusi

Berikan izin akses Container Service for Kubernetes ke sumber daya ARMS.

Gejala

• Nilai yang ditampilkan di kolom namespace pada dasbor kustom tidak diperbarui setelah Anda mengubah namespace aplikasi Anda.

  

• Setelah Anda mengubah kluster aplikasi, data untuk metrik rate, errors, dan duration (RED) ditampilkan normal, tetapi tidak ada data yang ditampilkan untuk metrik pemantauan kontainer, seperti CPU dan memori.

Kemungkinan penyebab

Solusi

• Hapus aplikasi, buat ulang aplikasi, lalu laporkan data pemantauan lagi. Untuk informasi lebih lanjut, lihat Hapus aplikasi.

  Metode ini menyebabkan kehilangan data historis.

• Kirim tiket.

Latar Belakang

Umumnya, add-on ack-onepilot menentukan path mount untuk agen Application Real-Time Monitoring Service (ARMS) untuk Java dengan menyuntikkan variabel lingkungan JAVA_TOOL_OPTIONS. Namun, Anda mungkin perlu menyesuaikan path ini untuk skenario seperti:

• Manajemen konfigurasi terpusat

  Kelola path mount melalui ConfigMap Kubernetes untuk memastikan konsistensi lingkungan.

• Penyimpanan persisten

  Simpan file agen di Persistent Volume Claim (PVC) kustom untuk memenuhi persyaratan keamanan atau O&M perusahaan.

Solusi

Untuk menyesuaikan path mount untuk agen ARMS untuk Java, persyaratan versi berikut harus dipenuhi:

• ack-onepilot: V4.1.0 atau lebih baru.

• Catatan rilis untuk agen Java: V4.2.2 atau lebih baru. Anda dapat Mengontrol versi agen ARMS.

1. Tambahkan anotasi disableJavaToolOptionsInjection ke workload Kubernetes, seperti deployment, yang memerlukan path mount kustom.

   Add-on ack-onepilot tidak akan secara otomatis mengatur path mount atau parameter JVM lainnya menggunakan variabel lingkungan JAVA_TOOL_OPTIONS.

   1. Untuk melihat file YAML deployment, jalankan perintah berikut:

      kubectl get deployment {Nama Deployment} -o yaml

      Catatan

      Jika Anda tidak yakin tentang nama deployment, jalankan perintah berikut untuk mencantumkan semua deployment:

      kubectl get deployments --all-namespace

      Kemudian, temukan yang Anda inginkan di hasilnya dan lihat file YAML-nya.

   2. Jalankan perintah berikut untuk mengedit file YAML:

      kubectl edit deployment {Nama Deployment} -o yaml

   3. Di file YAML, tambahkan label berikut ke spec.template.metadata:

      labels:
        armsPilotAutoEnable: "on"
        armsPilotCreateAppName: "<your-deployment-name>"    # Nama deployment Anda.
        disableJavaToolOptionsInjection: "true" # Jika Anda ingin menyesuaikan path mount untuk agen ARMS untuk Java, atur parameter ini ke true.

2. Ganti path mount default /home/admin/.opt/AliyunJavaAgent/aliyun-java-agent.jar di skrip atau perintah startup Java Anda dengan path kustom Anda:

   java -javaagent:/home/admin/.opt/AliyunJavaAgent/aliyun-java-agent.jar ... ... -jar xxx.jar

   Informasi lain seperti wilayah pelaporan dan kunci lisensi disediakan oleh ack-onepilot melalui variabel lingkungan.

Gejala

Bagaimana cara melaporkan data dari Wilayah A ke Wilayah B?

Solusi

1. Perbarui add-on ack-onepilot ke V4.0.0 atau lebih baru.

2. Tambahkan variabel lingkungan ARMS_REPORT_REGION ke aplikasi ack-onepilot-ack-onepilot di namespace ack-onepilot. Nilainya harus berupa ID wilayah tempat ARMS tersedia. Contoh: cn-hangzhou atau cn-beijing.

3. Restart aplikasi yang ada atau terapkan aplikasi baru untuk melaporkan data lintas wilayah.

   Catatan

   Setelah variabel lingkungan ditambahkan, semua aplikasi yang diterapkan di kluster melaporkan data ke wilayah yang ditentukan pada langkah sebelumnya.

Latar Belakang

Komponen pemantauan aplikasi lawas arms-pilot tidak lagi dipelihara. Anda dapat menginstal komponen ack-onepilot yang ditingkatkan untuk memantau aplikasi Anda. ack-onepilot sepenuhnya kompatibel dengan arms-pilot, memungkinkan migrasi mulus tanpa mengubah konfigurasi aplikasi Anda. Topik ini menjelaskan cara menguninstall arms-pilot dan menginstal ack-onepilot.

Solusi

Gejala

Jika Anda melihat prompt No related monitoring dashboard found di halaman Operations > Prometheus Monitoring setelah mengaktifkan pemantauan Prometheus, ikuti langkah-langkah berikut untuk mengatasi masalah.

Solusi

1. Instal ulang add-on pemantauan Prometheus.

   1. Nonaktifkan pemantauan Prometheus.

   2. Instal ulang komponen:

      1. Setelah mengonfirmasi bahwa komponen telah diuninstall, klik Install. Di dialog konfirmasi, klik OK.

      2. Setelah instalasi selesai, kembali ke halaman Pemantauan Prometheus untuk memeriksa apakah masalah telah teratasi.

         Jika masalah masih berlanjut, lanjutkan dengan langkah-langkah berikut.

2. Periksa integrasi instans Prometheus.

   1. Di panel navigasi kiri Konsol ARMS, klik Integration Management.

   2. Pada tab Integrations, periksa daftar Container Service untuk menemukan lingkungan kontainer yang namanya sama dengan kluster Anda.

      • Jika tidak ada lingkungan kontainer seperti itu, lihat Integrasikan layanan di konsol ARMS atau Prometheus.

      • Jika ada lingkungan kontainer seperti itu, klik Settings di kolom Actions lingkungan kontainer target untuk membuka halaman Settings.

        Periksa apakah agen yang diinstal berjalan seperti yang diharapkan.

Penyebab

Data mungkin tidak ditampilkan di Managed Service for Prometheus karena tugas sinkronisasi dengan layanan Prometheus Alibaba Cloud gagal—yang menyebabkan kegagalan pendaftaran sumber daya—atau karena instans Prometheus tidak disediakan dengan benar. Ikuti proses berikut untuk memeriksa dan mengatasi masalah.

Solusi

1. Periksa status tugas penyediaan untuk Managed Service for Prometheus.

   1. Login ke Konsol ACK. Di panel navigasi kiri, klik Clusters.

   2. Di halaman Clusters, klik nama kluster Anda. Di panel navigasi kiri, klik Workloads > Jobs.

   3. Di halaman Jobs, atur Namespace ke arms-prom di bagian atas halaman, lalu klik o11y-init-environment untuk memverifikasi bahwa job berhasil.

      Jika tidak berhasil, kemungkinan besar disebabkan oleh kegagalan sinkronisasi dengan layanan Prometheus Alibaba Cloud dan pendaftaran sumber daya. Anda dapat melihat log pod-nya untuk menemukan alasan spesifik kegagalannya. Untuk informasi lebih lanjut, lihat Atasi exception pod.

      Jika pod tersebut sudah tidak ada, lanjutkan dengan langkah-langkah berikut.

2. Instal ulang add-on pemantauan Prometheus.

   1. Nonaktifkan pemantauan Prometheus.

   2. Instal ulang komponen:

      1. Setelah mengonfirmasi bahwa komponen telah diuninstall, klik Install. Di dialog konfirmasi, klik OK.

      2. Setelah instalasi selesai, kembali ke halaman Pemantauan Prometheus untuk memeriksa apakah masalah telah teratasi.

         Jika masalah masih berlanjut, lanjutkan dengan langkah-langkah berikut.

3. Periksa penyediaan instans Prometheus.

   1. Di panel navigasi kiri Konsol ARMS, klik Integration Management.

   2. Di tab Integrasi, periksa daftar Container Service untuk lingkungan kontainer dengan nama yang sama dengan kluster Anda.

      • Jika tidak ada lingkungan kontainer seperti itu, lihat Integrasikan layanan di konsol ARMS atau Prometheus.

      • Jika ada lingkungan kontainer seperti itu, klik Settings di kolom Actions lingkungan kontainer target untuk membuka halaman Settings.

        Periksa apakah agen yang diinstal berjalan seperti yang diharapkan.

Gejala

Saat menguninstall dan menginstal ulang agen Prometheus, muncul pesan error berikut:

rendered manifests contain a resource that already exists. Unable to continue with install: existing resource conflict: kind: ClusterRole, namespace: , name: arms-pilot-prom-k8s

rendered manifests contain a resource that already exists. Unable to continue with install: existing resource conflict: kind: ClusterRole, namespace: , name: arms-pilot-prom-k8s

Penyebab

Solusi

1. Jalankan perintah berikut untuk menemukan ClusterRole agen Prometheus:

   kubectl get ClusterRoles --all-namespaces | grep prom

2. Jalankan perintah berikut untuk menghapus ClusterRole yang ditemukan pada langkah sebelumnya:

    kubectl delete ClusterRole [$Cluster_Roles] -n arms-prom

   Catatan

   Parameter [$Cluster_Roles] menentukan ClusterRole yang ditemukan pada langkah sebelumnya.

3. Jika masalah masih berlanjut setelah menghapus ClusterRole, periksa nilai kind dalam pesan error untuk memastikan tidak ada sumber daya lain selain ClusterRole. Lakukan langkah serupa untuk menghapusnya secara berurutan.

Latar Belakang

Anda perlu memeriksa versi add-on ack-arms-prometheus yang diterapkan di kluster Anda dan menentukan apakah perlu diperbarui.

Solusi

Penyebab

Solusi

Latar Belakang

Solusi

Penyebab

Saat menerapkan add-on ack-arms-prometheus, muncul error "xxx in use". Hal ini kemungkinan disebabkan oleh sumber daya yang sedang digunakan atau sisa sumber daya, sehingga instalasi add-on gagal.

Solusi

1. Di halaman Kluster, klik nama kluster target. Di panel navigasi kiri, pilih Applications > Helm.

2. Di halaman Helm, periksa apakah ack-arms-prometheus ada.

   • Jika ada, hapus ack-arms-prometheus dari halaman Helm dan instal ulang di halaman Add-ons. Untuk informasi lebih lanjut tentang cara menginstal ack-arms-prometheus, lihat Kelola komponen.

   • Jika tidak ada:

     1. Rilis Helm ack-arms-prometheus mungkin memiliki sumber daya sisa. Uninstall ARMS Prometheus secara manual sepenuhnya.

     2. Aktifkan kembali pemantauan Prometheus.

Gejala

Saat mencoba menginstal add-on ack-arms-prometheus, muncul pesan "Component Not Installed" terlebih dahulu, dan instalasi tetap gagal pada percobaan kedua.

Solusi

• Periksa apakah add-on ack-arms-prometheus telah diinstal.

  1. Di halaman Kluster, klik nama kluster target. Di panel navigasi kiri, pilih Applications > Helm.

  2. Di halaman Helm, periksa apakah ack-arms-prometheus ada.

     • Jika ada, hapus ack-arms-prometheus dari halaman Helm dan instal ulang di halaman Add-ons. Untuk informasi lebih lanjut tentang cara menginstal ack-arms-prometheus, lihat Kelola komponen.

     • Jika tidak ada:

       1. Rilis Helm ack-arms-prometheus mungkin memiliki sumber daya sisa. Uninstall ARMS Prometheus secara manual sepenuhnya.

       2. Aktifkan kembali pemantauan Prometheus.

• Periksa log ack-arms-prometheus untuk error.

  1. Di panel navigasi kiri halaman detail kluster, pilih Workloads > Deployments.

  2. Di bagian atas halaman Deployments, atur Namespace ke arms-prom lalu klik arms-prometheus-ack-arms-prometheus.

  3. Klik tab Logs untuk memeriksa error di log.

• Periksa apakah terjadi error selama instalasi agen.

  1. Masuk ke atau Konsol ARMS. Di panel navigasi sebelah kiri, klik Integration Management.

  2. Pada tab Integrations, periksa daftar Container Service. Di kolom Actions untuk lingkungan kontainer target, klik Settings guna membuka halaman Settings.

Gejala

Setelah menerapkan Prometheus open source, Anda perlu mengonfigurasinya untuk mengirim notifikasi peringatan melalui DingTalk.

Solusi

1. Dapatkan URL webhook untuk chatbot DingTalk Anda. Lihat Pemantauan Event.

2. Temukan bidang DingTalk, atur enabled menjadi true, lalu masukkan URL webhook DingTalk di bidang Token. Lihat Configure DingTalk alerts di Konfigurasi Peringatan.

Gejala

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

Solusi

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

Gejala

Setelah menerapkan Prometheus open source, notifikasi peringatan melalui email yang telah dikonfigurasi tidak dikirim.

Solusi

Peringatan email mungkin gagal jika Anda memasukkan kata sandi login pada smtp_auth_password alih-alih kode otorisasi. Pastikan alamat server SMTP mencakup nomor port.

Gejala

Setelah menerapkan Prometheus open source, saat mengklik Update YAML, muncul pesan error: "Kluster saat ini sementara tidak dapat diakses. Silakan coba lagi nanti atau kirim tiket untuk umpan balik."

Solusi

Hal ini terjadi ketika file konfigurasi Tiller terlalu besar sehingga menyebabkan kluster tidak dapat diakses. Kurangi ukuran file dengan menghapus komentar, lalu pasang sebagai ConfigMap. Prometheus-operator hanya mendukung pemasangan ConfigMap untuk Pod Prometheus dan Alertmanager. Lihat Pasang ConfigMap kustom ke Prometheus.

Gejala

Setelah menerapkan Prometheus open source, Anda mungkin perlu melakukan konfigurasi tambahan untuk mengaktifkan fitur-fiturnya.

Solusi

Aktifkan fitur setelah menerapkan prometheus-operator. Di halaman detail kluster, pilih Applications > Helm. Temukan ack-prometheus-operator, lalu klik Update di kolom Actions. Pilih fitur yang akan diaktifkan, konfigurasikan, kemudian klik OK.

Gejala

Saat memilih solusi penyimpanan, bagaimana cara menentukan pilihan antara TSDB dan disk Alibaba Cloud, serta mengonfigurasi kebijakan retensi data?

Solusi

## Berapa lama metrik disimpan
##
retention: 10d

Gejala

Setelah menerapkan Prometheus open source, dasbor Grafana tidak ditampilkan secara optimal.

Solusi

Di halaman detail kluster, pilih Applications > Helm. Temukan ack-prometheus-operator, lalu klik Update pada kolom Actions. Pastikan nilai clusterVersion sesuai dengan versi kluster Anda: untuk kluster sebelum v1.16, masukkan 1.14.8-aliyun.1; untuk v1.16 atau yang lebih baru, masukkan 1.16.6-aliyun.1.

Penyebab

Menghapus hanya namespace dapat meninggalkan konfigurasi sisa. Bersihkan sumber daya berikut:

Solusi

1. Hapus izin RBAC.

   1. Hapus ClusterRole.

      kubectl delete ClusterRole ack-prometheus-operator-grafana-clusterrole
      kubectl delete ClusterRole ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRole psp-ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRole psp-ack-prometheus-operator-prometheus-node-exporter
      kubectl delete ClusterRole ack-prometheus-operator-operator
      kubectl delete ClusterRole ack-prometheus-operator-operator-psp
      kubectl delete ClusterRole ack-prometheus-operator-prometheus
      kubectl delete ClusterRole ack-prometheus-operator-prometheus-psp

   2. Hapus ClusterRoleBinding.

      kubectl delete ClusterRoleBinding ack-prometheus-operator-grafana-clusterrolebinding
      kubectl delete ClusterRoleBinding ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRoleBinding psp-ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRoleBinding psp-ack-prometheus-operator-prometheus-node-exporter
      kubectl delete ClusterRoleBinding ack-prometheus-operator-operator
      kubectl delete ClusterRoleBinding ack-prometheus-operator-operator-psp
      kubectl delete ClusterRoleBinding ack-prometheus-operator-prometheus
      kubectl delete ClusterRoleBinding ack-prometheus-operator-prometheus-psp

2. Hapus CRD.

   kubectl delete crd alertmanagerconfigs.monitoring.coreos.com
   kubectl delete crd alertmanagers.monitoring.coreos.com
   kubectl delete crd podmonitors.monitoring.coreos.com
   kubectl delete crd probes.monitoring.coreos.com
   kubectl delete crd prometheuses.monitoring.coreos.com
   kubectl delete crd prometheusrules.monitoring.coreos.com
   kubectl delete crd servicemonitors.monitoring.coreos.com
   kubectl delete crd thanosrulers.monitoring.coreos.com

Gejala

Di Pusat Peringatan, status sinkronisasi aturan peringatan menampilkan pesan The Project does not exist : k8s-log-xxx.

Penyebab

Sumber daya Pusat Event SLS belum dibuat.

Solusi

1. Di Konsol Simple Log Service, periksa apakah batas kuota telah tercapai. Untuk informasi lebih lanjut tentang sumber daya, lihat Batas sumber daya dasar.

   1. Jika batas kuota telah tercapai, hapus proyek yang tidak diperlukan atau kirim tiket untuk mengajukan peningkatan batas kuota sumber daya proyek. Untuk informasi tentang cara menghapus proyek, lihat Kelola proyek.

   2. Jika batas belum tercapai, lanjutkan ke langkah berikutnya.

2. Instal ulang add-on ack-node-problem-detector.

   Penginstalan ulang komponen ini akan membuat kembali proyek default bernama k8s-log-xxxxxx.

   1. Uninstall add-on ack-node-problem-detector.

      1. Di halaman manajemen kluster target di Konsol Container Service for Kubernetes, pada panel navigasi kiri, pilih O&M > Component Management.

      2. Klik tab Logs and Monitoring. Lalu, klik Uninstall pada kartu komponen ack-node-problem-detector dan klik Confirm di dialog konfirmasi.

   2. Setelah proses uninstall selesai, instal kembali add-on ack-node-problem-detector.

      1. Pada panel navigasi kiri, pilih O&M > Alerting

      2. Di halaman Alert Rules, klik Start Installation. Konsol secara otomatis membuat proyek serta menginstal dan memperbarui komponen.

3. Di halaman Alert Rules, nonaktifkan set aturan peringatan yang sesuai. Tunggu hingga Alert Rule Status berubah menjadi Rule Disabled, lalu aktifkan kembali set aturan tersebut untuk mencoba lagi.

Gejala

Aturan peringatan gagal disinkronkan selama konfigurasi atau penerapan, dan sistem menampilkan pesan error seperti this rule have no xxx contact groups reference. Akibatnya, notifikasi untuk aturan peringatan ini tidak dikirimkan.

Penyebab

Sinkronisasi aturan peringatan gagal dengan pesan error seperti this rule have no xxx contact groups reference.

Solusi

1. Anda telah membuat kontak dan menambahkannya ke kelompok kontak.

2. Di sebelah kanan set aturan peringatan target, klik Edit Notification Policy untuk mengonfigurasi grup kontak yang berlangganan set aturan peringatan tersebut.

Mengapa tidak ada data yang dikembalikan untuk kubectl top pod/node?

Mengapa sebagian data hilang untuk kubectl top pod/node?

Apa yang harus saya lakukan jika HPA tidak dapat memperoleh data metrik?

Mengapa HPA membuat Pod tambahan selama penyebaran bergulir?

--metric-resolution=15s
--enable-hpa-rolling-update-skipped=true