Konfigurasi log kelompok sumber daya EAS - Platform For AI

Anda dapat mengonfigurasi Simple Log Service (SLS) untuk mengumpulkan log dari layanan Elastic Algorithm Service (EAS) yang dideploy di dalam kelompok sumber daya. Log tersebut, termasuk output standar atau file kustom, dikirim ke Logstore tujuan. Topik ini menjelaskan cara mengonfigurasi pengumpulan log untuk kelompok sumber daya publik dan spesifikasi khusus.

Prasyarat

Sebelum memulai, pastikan Anda telah mengaktifkan Simple Log Service (SLS) serta membuat Project dan Logstore. Untuk informasi lebih lanjut, lihat Kumpulkan dan analisis log teks dari instance ECS.

Langkah 1: Buat kelompok mesin untuk kelompok sumber daya

Kelompok sumber daya publik

Untuk layanan yang dideploy di kelompok sumber daya publik, Anda harus membuat kelompok mesin secara manual.

Masuk ke Konsol Simple Log Service.
Pada bagian Projects, klik Project yang diinginkan.
Di panel navigasi sebelah kiri, pilih Resources > Machine Groups.
Di sisi kanan Machine Groups, pilih > Create Machine Group.
Buat kelompok mesin menggunakan pengenal kustom.
Penting
Pengenal kustom khusus untuk layanan EAS adalah eas-log-group-{region_id}. Sebagai contoh, pengenal kustom untuk Zhangjiakou adalah eas-log-group-cn-zhangjiakou.
Setelah layanan dideploy, buka halaman Machine Group Configuration. Di daftar status kelompok mesin, Anda dapat melihat status heartbeat dari instans-instans tersebut. OK menunjukkan bahwa kelompok mesin berjalan dengan baik.
Catatan
Jika tidak ada layanan yang dideploy, daftar instans akan kosong.

Kelompok sumber daya spesifikasi khusus

Untuk mengaktifkan pengiriman log ke SLS pada kelompok sumber daya spesifikasi khusus, lakukan langkah-langkah berikut di Konsol EAS.

Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Pada tab Resource Group, klik nama kelompok sumber daya untuk membuka halaman detailnya.
Di halaman detail kelompok sumber daya spesifikasi khusus, klik Configure SLS.

Di kotak dialog Configure Log Service Settings, pilih SLSProject dan logstore, lalu klik OK.

Parameter	Deskripsi
SLSProject	Unit manajemen sumber daya dalam Simple Log Service untuk isolasi dan kontrol sumber daya. Jika tidak tersedia Project, klik Create SLSProject untuk membuatnya. Untuk informasi lebih lanjut, lihat Manage Projects.
logstore	Unit dalam Simple Log Service untuk mengumpulkan, menyimpan, dan mengkueri data log. Jika tidak tersedia Logstore dalam daftar drop-down, klik Create Logstore untuk membuatnya. Untuk informasi lebih lanjut, lihat Create a Logstore.

Setelah layanan diaktifkan, sebuah kelompok mesin akan dibuat secara otomatis di SLS dengan format nama eas-sls-{resource-id}-mg, misalnya eas-sls-eas-r-9u2lq6ij1pk5yvvh****-mg. Dalam format ini, resource-id adalah ID kelompok sumber daya.

EAS juga secara otomatis membuat konfigurasi Logtail di Logstore yang ditentukan untuk mengumpulkan log internal EAS.

Kuota sumber daya

Jika Anda menggunakan kuota sumber daya (Lingjun), ikuti langkah-langkah berikut untuk membuat kelompok mesin.

Masuk ke Konsol Simple Log Service.
Pada bagian Projects, klik Project yang diinginkan.
Di panel navigasi sebelah kiri, pilih Resources > Machine Groups.
Di sisi kanan Machine Groups, pilih > Create Machine Group.
Buat kelompok mesin menggunakan pengenal kustom.
Penting
Pengenal kustom untuk kuota sumber daya adalah eas-log-group-{region_id}-for-resource-quota. Sebagai contoh, pengenal kustom untuk wilayah Zhangjiakou adalah eas-log-group-cn-zhangjiakou-for-resource-quota.
Setelah layanan dideploy, buka halaman Machine Group Configuration. Di daftar status kelompok mesin, Anda dapat melihat status heartbeat dari instans-instans tersebut. OK menunjukkan bahwa kelompok mesin berjalan dengan baik.
Catatan
Jika tidak ada layanan yang dideploy, daftar instans akan kosong.

Langkah 2: Konfigurasikan Logtail

Anda dapat mengonfigurasi Logtail untuk mengumpulkan log. Bagian ini menjelaskan dua konfigurasi umum: output standar kontainer dan log file kontainer. Untuk konfigurasi yang lebih kompleks, lihat Kumpulkan log teks dari host.

Kelompok sumber daya publik dan khusus

Container standard output

Masuk ke Konsol Simple Log Service.
Di bagian Import Data, klik K8S-Std-Output(Old).
Pilih Project dan Logstore tujuan, lalu klik Next.
Klik Use Existing Machine Groups, pilih kelompok mesin dari Langkah 1 (yang Anda buat secara manual untuk kelompok sumber daya publik atau yang dibuat otomatis oleh EAS untuk kelompok sumber daya spesifikasi khusus), lalu klik Next.
(Opsional) Untuk mengecualikan log internal EAS saat menggunakan custom image, aktifkan Container Filtering di bagian Input configuration. Kemudian, tambahkan Container Label Blacklist. Atur Label Name menjadi io.kubernetes.container.name dan Label Value menjadi easworker.
Klik Next hingga konfigurasi selesai.

Container file logs

Di bagian Import Data, klik Kubernetes - File.
Pilih Project dan Logstore tujuan, lalu klik Next.
Klik Use Existing Machine Groups, pilih kelompok mesin dari Langkah 1 (yang Anda buat secara manual untuk kelompok sumber daya publik atau yang dibuat otomatis oleh EAS untuk kelompok sumber daya spesifikasi khusus), lalu klik Next.
Di halaman wizard Logtail Configurations, konfigurasikan parameter dan klik Next.
Di bagian Input configuration, Anda harus mengonfigurasi File Path, yang menentukan path file yang akan dikumpulkan. Untuk informasi lebih lanjut tentang parameter lainnya, lihat Kumpulkan log teks dari kontainer Kubernetes dalam mode DaemonSet.
Klik Next hingga konfigurasi selesai.

Kuota sumber daya

Container standard output

Masuk ke Konsol Simple Log Service.
Di bagian Import Data, klik Single Line - Text Logs.
Catatan
Anda dapat memilih metode impor data yang berbeda. Misalnya, jika perlu mencocokkan log menggunakan ekspresi reguler, pilih Regular Expression - Text Logs. Jika perlu mengurai log dalam format JSON, pilih JSON - Text Logs. Anda juga dapat mengubah konfigurasi nanti.
Atur Use Case menjadi Host Scenarios dan Installation Environment menjadi ECS. Pilih kelompok mesin yang telah Anda buat secara manual untuk kuota sumber daya di Langkah 1, lalu klik Next.
Dalam konfigurasi Logtail, tentukan parameter berikut:
- Atur File Path menjadi /var/log/containers-stdout/{container_name}, di mana {container_name} adalah nama kontainer. Sebagai contoh, untuk mengumpulkan log dari semua kontainer kustom, Anda dapat mengatur path menjadi /var/log/containers-stdout/worker*.
- Atur File Name menjadi *.log.
Klik Next hingga konfigurasi selesai.

Container file logs

Saat mendeploy layanan, tentukan direktori file log yang akan dikumpulkan dalam konfigurasi JSON.

{
  "cloud": {
    "logging": {
      "paths": [
        "/home/admin/logs",
        "/home/workspace/logs",
        "/var/log"
      ]
    },
    // Konfigurasi lainnya dihilangkan.
    "networking": {
      "security_group_id": "sg-xxxxx",
      "vswitch_id": "vsw-xxxxx",
      "vpc_id": "vpc-xxxxx",
    }
  }
}

Di bagian Import Data, klik Single Line - Text Files.
Atur Use Case menjadi Host Scenarios dan Installation Environment menjadi ECS. Pilih kelompok mesin yang telah Anda buat secara manual untuk kuota sumber daya di Langkah 1, lalu klik Next.
Di bagian Konfigurasi Logtail, atur File Path ke path yang telah Anda tentukan dalam konfigurasi JSON layanan.
Klik Next hingga konfigurasi selesai.

Dokumentasi terkait

Setelah mengonfigurasi layanan log untuk kelompok sumber daya, Anda dapat melihat log di Logstore. Untuk informasi lebih lanjut, lihat Quick start for query and analysis.
Jika layanan Anda perlu mengakses internet atau layanan cloud lain yang memiliki pembatasan akses, lihat Configure public network connections and whitelists.