Konfigurasikan pengumpulan log untuk grup sumber daya EAS - Platform For AI

Anda dapat mengonfigurasi pengumpulan log untuk grup sumber daya di Platform for AI (PAI). Sistem akan mengumpulkan log yang dihasilkan oleh Elastic Algorithm Service (EAS) dalam grup tersebut dan menyimpannya di penyimpanan log Simple Log Service Anda. Topik ini menjelaskan cara mengonfigurasi pengumpulan log untuk grup sumber daya publik atau khusus.

Prasyarat

Anda telah mengaktifkan Simple Log Service dan membuat proyek dan penyimpanan log.

Langkah 1: Buat grup mesin untuk grup sumber daya

Buat grup mesin untuk grup sumber daya publik

Anda perlu membuat grup mesin secara manual untuk grup sumber daya publik.

Masuk ke konsol Simple Log Service.
Di bagian Proyek, klik yang ingin Anda kelola.
Di panel navigasi sebelah kiri, pilih Resources > Machine Groups.
Di sebelah kanan Machine Groups, pilih > Create Machine Group.
Buat grup mesin menggunakan pengenal kustom.
Penting
Pengenal kustom untuk layanan EAS adalah eas-log-group-{region_id}. Sebagai contoh, pengenal kustom untuk wilayah China (Zhangjiakou) adalah eas-log-group-cn-zhangjiakou.
Setelah layanan diterapkan, buka halaman Machine Group Configurations. Di bagian Status Grup Mesin, Anda dapat melihat denyut jantung dari instance. OK menunjukkan bahwa grup mesin berjalan sesuai harapan.
Catatan
Jika tidak ada layanan yang diterapkan, daftar instance kosong.

Buat grup mesin untuk grup sumber daya khusus

Untuk membuat grup mesin untuk grup sumber daya khusus, Anda harus mengaktifkan Konfigurasi SLS pada halaman detail grup di konsol PAI.

Masuk ke konsol PAI. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Enter Elastic Algorithm Service (EAS).
Di tab Resource Groups, klik nama grup sumber daya khusus untuk masuk ke halaman detail.
Di halaman detail grup sumber daya khusus, klik Configure SLS.

Di kotak dialog Configure Log Service Settings, konfigurasikan SLSProject dan LogStore, lalu klik OK.

Parameter	Deskripsi
SLSProject	Proyek Layanan Log digunakan untuk mengisolasi dan mengelola sumber daya di Layanan Log Sederhana. Jika tidak ada proyek yang tersedia di daftar drop-down, Anda dapat mengklik Create SLSProject untuk membuat satu.
LogStore	Penyimpanan log yang digunakan untuk mengumpulkan, menyimpan, dan meminta data log. Jika tidak ada penyimpanan log yang tersedia di daftar drop-down, Anda dapat mengklik Create Logstore untuk membuat satu.

Setelah konfigurasi selesai, grup mesin secara otomatis dibuat di Simple Log Service. Nama grup mesin dalam format eas-sls-{resource-id}-mg. Sebagai contoh, eas-sls-eas-r-9u2lq6ij1pk5yvvh****-mg.

EAS secara otomatis membuat konfigurasi Logtail di penyimpanan log yang ditentukan untuk mengumpulkan log yang dihasilkan oleh layanan EAS.

Buat grup mesin untuk kuota sumber daya

Jika Anda menggunakan sumber daya komputasi cerdas Lingjun, ikuti langkah-langkah berikut untuk membuat grup mesin.

Masuk ke konsol Simple Log Service.
Di bagian Proyek, klik yang ingin Anda kelola.
Di panel navigasi sebelah kiri, pilih Resources > Machine Groups.
Di sebelah kanan Machine Groups, pilih > Create Machine Group.
Buat grup mesin menggunakan pengenal kustom.
Penting
Pengenal kustom untuk kuota sumber daya adalah eas-log-group-{region_id}-for-resource-quota. Sebagai contoh, pengenal kustom di wilayah China (Zhangjiakou) adalah eas-log-group-cn-zhangjiakou-for-resource-quota.
Setelah layanan diterapkan, buka halaman Machine Group Configurations. Di bagian Status Grup Mesin, Anda dapat melihat denyut jantung dari instance. OK menunjukkan bahwa grup mesin berjalan sesuai harapan.
Catatan
Jika tidak ada layanan yang diterapkan, daftar instance kosong.

Langkah 2: Buat konfigurasi Logtail kustom

Anda dapat membuat konfigurasi Logtail kustom untuk mengumpulkan log yang diinginkan. Bagian berikut menjelaskan dua item konfigurasi yang sering digunakan: output standar kontainer dan log file kontainer. Untuk konfigurasi yang lebih kompleks, lihat Kumpulkan log teks dari server.

Untuk grup sumber daya publik atau khusus

Kumpulkan output standar kontainer

Masuk ke konsol Simple Log Service.
Di kotak dialog Import Data, klik K8S - Stdout and Stderr - Old Version.
Pilih proyek dan penyimpanan log yang diinginkan, lalu klik Next.
Klik Use Existing Machine Groups. Pilih grup mesin yang Anda buat secara manual atau otomatis di Langkah 1. Lalu, klik Next.
(Opsional) Jika Anda menggunakan gambar kustom untuk menerapkan layanan dan Anda tidak ingin mengumpulkan log EAS, di bagian Input Configurations, aktifkan Container Filtering dan tambahkan Container Label Blacklist. Masukkan io.kubernetes.container.name untuk Label Name dan easworker untuk Label Value.
Klik Next hingga konfigurasi selesai.

Kumpulkan log file kontainer

Di kotak dialog Import Data, klik Kubernetes - Object.
Pilih proyek dan penyimpanan log yang diinginkan, lalu klik Next.
Klik Use Existing Machine Groups. Pilih grup mesin yang Anda buat secara manual atau otomatis di Langkah 1. Lalu, klik Next.
Di halaman wizard Logtail Configuration, konfigurasikan parameter dan klik Berikutnya.
Anda perlu mengonfigurasi File Path (dari file yang akan dikumpulkan) di bagian Input Configurations. Untuk informasi tentang parameter lainnya, lihat Kumpulkan log teks dari kontainer Kubernetes dalam mode DaemonSet.
Klik Next hingga konfigurasi selesai.

Untuk kuota sumber daya

Kumpulkan output standar kontainer

Masuk ke konsol Simple Log Service.
Di kotak dialog Import Data, klik Single Line - Text Logs.
Catatan
Anda dapat menggunakan tipe lain berdasarkan kebutuhan Anda. Sebagai contoh, jika Anda perlu menggunakan ekspresi reguler untuk mencocokkan log yang dikumpulkan, pilih Ekspresi Reguler - Log Teks. Jika Anda perlu mengurai log dalam format JSON, pilih JSON - Log Teks. Anda juga dapat mengubah tipe setelah membuat konfigurasi Logtail.
Pilih Servers untuk Scenario dan ECS untuk Installation Environment. Pilih grup mesin yang Anda buat secara manual di Langkah 1. Lalu, klik Next
Di bagian Konfigurasi Input, masukkan pengaturan berikut:
- Untuk Jalur File, masukkan /var/log/containers-stdout/{container_name}. Sebagai contoh, jika Anda ingin mengumpulkan log dari semua kontainer kustom, Anda dapat memasukkan /var/log/containers-stdout/worker*.
- Untuk Nama File, masukkan *.log.
Klik Next sampai konfigurasi selesai.

Kumpulkan log file kontainer

Saat Anda menerapkan layanan, tentukan jalur file log yang akan dikumpulkan dalam JSON.

{
  "cloud": {
    "logging": {
      "paths": [
        "/home/admin/logs",
        "/home/workspace/logs",
        "/var/log"
      ]
    },
    //Konfigurasi lainnya dihilangkan
    "networking": {
      "security_group_id": "sg-xxxxx",
      "vswitch_id": "vsw-xxxxx",
      "vpc_id": "vpc-xxxxx",
    }
  }
}

Di kotak dialog Import Data, klik Single Line - Text Logs.
Pilih Servers untuk Scenario dan ECS untuk Installation Environment. Pilih grup mesin yang Anda buat secara manual di Langkah 1. Lalu, klik Next.
Di Input Configurations, masukkan jalur yang telah Anda tentukan dalam JSON.
Klik Next hingga konfigurasi selesai.

Referensi

Setelah Anda mengonfigurasi pengumpulan log untuk grup sumber daya, buka penyimpanan log untuk melihat log.
Jika Anda perlu mengakses Internet atau layanan cloud lain dengan pembatasan akses, konfigurasikan akses Internet dan daftar putih.