Simple Log Service：[Direkomendasikan] Gunakan AliyunPipelineConfig untuk mengelola konfigurasi Logtail

Prasyarat

• Komponen Logtail versi 0.5.1 atau lebih baru telah diinstal. Untuk informasi selengkapnya, lihat Instal komponen Logtail di kluster ACK dan Instal komponen Logtail di kluster Kubernetes yang dikelola sendiri.

• Kontainer target terus-menerus menghasilkan log.

  Penting

  Logtail hanya mengumpulkan log inkremental. Jika file log tidak diperbarui setelah konfigurasi Logtail dikirimkan, Logtail tidak akan mengumpulkan log dari file tersebut. Untuk informasi selengkapnya, lihat Baca log.

Prosedur

vim cube.yaml

apiVersion: telemetry.alibabacloud.com/v1alpha1 # Gunakan nilai default. Jangan ubah.
kind: ClusterAliyunPipelineConfig               # Gunakan nilai default. Jangan ubah.
metadata:
  name: test-config                             # Tetapkan nama resource. Nama harus unik dalam kluster Kubernetes saat ini.
spec:
  project:                                      # Tetapkan nama proyek tujuan.
    name: k8s-your-project                      
  config:                                       # Tetapkan konfigurasi pengumpulan iLogtail.
    inputs:                                     # Tetapkan plug-in input untuk konfigurasi pengumpulan iLogtail.
      ...
    flushers:                                   # Tetapkan plug-in output untuk konfigurasi pengumpulan iLogtail.
      ...

kubectl apply -f cube.yaml

vim cube.yaml

kubectl apply -f cube.yaml

kubectl delete clusteraliyunpipelineconfigs <config_name>

Parameter CR

• apiVersion

  Nilainya tetap sebagai telemetry.alibabacloud.com/v1alpha1.

• kind

  Nilainya tetap sebagai ClusterAliyunPipelineConfig.

• metadata

  Parameter	Tipe data	Diperlukan	Deskripsi
  name	string	Ya	Pengenal unik CR. Nilai ini juga merupakan nama konfigurasi pengumpulan iLogtail yang dibuat. Catatan: Parameter ini berfungsi sebagai nama konfigurasi pengumpulan iLogtail. Nilainya harus unik dalam proyek dan tidak dapat diubah setelah pembuatan. Nilai harus memenuhi persyaratan berikut: Hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Harus dimulai dan diakhiri dengan huruf kecil atau angka. Panjangnya harus antara 2 hingga 128 karakter.

• spec

  Parameter	Tipe data	Diperlukan	Deskripsi
  project	PipelineProject	Ya	Informasi tentang proyek tujuan. Catatan Bidang project tidak dapat diubah setelah CR dibuat. Untuk mengganti proyek, buat CR baru.
  config	PiplineConfig	Ya	Menentukan detail konfigurasi pengumpulan iLogtail.
  logstores	PipelineLogstore	Tidak	Daftar Logstore yang akan dibuat. Anda dapat membuat beberapa Logstore. Catatan Semua parameter kecuali name hanya berlaku saat membuat Logstore. Daftar ini tidak menentukan Logstore tujuan untuk konfigurasi pengumpulan iLogtail. Daftar ini hanya membuat Logstore sesuai kebutuhan. Logstore tujuan ditentukan oleh plug-in flusher di bidang config. Jika Logstore tujuan yang ditentukan dalam konfigurasi pengumpulan iLogtail sudah ada, Anda dapat mengosongkan bidang ini. Anda hanya dapat menambah atau menghapus definisi Logstore dalam daftar ini. Anda tidak dapat memodifikasi Logstore yang sudah ada.
  machineGroups	PipelineMachineGroup	Tidak	Daftar kelompok mesin yang akan dikaitkan dengan konfigurasi pengumpulan iLogtail. Saat Anda menginstal komponen logtail-ds, Simple Log Service secara otomatis membuat kelompok mesin bernama k8s-group-${your_k8s_cluster_id}. Secara default, daftar ini hanya berisi kelompok mesin tersebut. Catatan alibaba-log-controller memastikan bahwa konfigurasi pengumpulan iLogtail hanya dikaitkan dengan kelompok mesin yang ditentukan dalam machineGroups. Kelompok mesin yang tidak tercantum akan diputuskan kaitannya.
  enableUpgradeOverride	bool	Tidak	Nilai default: false. Saat konfigurasi pengumpulan yang didefinisikan oleh AliyunLogConfig sudah ada di kluster dan mengarah ke konfigurasi pengumpulan iLogtail yang sama dengan AliyunPipelineConfig saat ini, Anda dapat: Mengaktifkan opsi ini: alibaba-log-controller melakukan peningkatan override pada konfigurasi pengumpulan yang didefinisikan oleh AliyunLogConfig yang sudah ada. Menonaktifkan opsi ini: Terjadi konflik konfigurasi, dan penerapan AliyunPipelineConfig gagal. Catatan Definisi yang mengarah ke konfigurasi pengumpulan iLogtail yang sama: Proyek sumber dan tujuan sama. Untuk AliyunLogConfig, proyeknya adalah proyek default kluster atau spec.project. Untuk AliyunPipelineConfig, proyeknya adalah spec.project.name. Nama konfigurasi pengumpulan iLogtail sama. Pada AliyunLogConfig, parameternya adalah spec.logtailConfig.configName. Pada AliyunPipelineConfig, parameternya adalah metadata.Name. Definisi peningkatan override: Pertama, AliyunPipelineConfig berlaku dan memperbarui konfigurasi pengumpulan iLogtail. Kemudian, jika AliyunPipelineConfig berhasil, sistem menghapus AliyunLogConfig di kluster yang mengarah ke konfigurasi pengumpulan iLogtail yang sama. Akhirnya, peningkatan override selesai.

  • PipelineProject

    Catatan

    Bidang project tidak dapat diubah setelah CR dibuat. Untuk beralih ke proyek yang berbeda, Anda harus membuat CR baru.

    Parameter	Tipe data	Diperlukan	Deskripsi
    name	string	Ya	Nama proyek tujuan. Catatan Jika proyek yang ditentukan belum ada, Simple Log Service secara otomatis membuatnya.
    description	string	Tidak	Deskripsi proyek tujuan. Catatan Parameter ini hanya berlaku saat membuat proyek.
    endpoint	string	Tidak	Titik akhir layanan proyek tujuan. Untuk informasi selengkapnya, lihat Endpoints. Secara default, digunakan titik akhir untuk wilayah tempat kluster saat ini berada. Jika proyek tujuan dan kluster berada di wilayah yang berbeda, konfigurasikan parameter ini. Catatan Parameter ini hanya mengontrol wilayah konfigurasi pengumpulan. Untuk mengirimkan data iLogtail ke wilayah ini, konfigurasikan secara terpisah config_server_address dan data_server_list iLogtail. Untuk informasi selengkapnya, lihat File konfigurasi dan file catatan Logtail.
    uid	string	Tidak	UID akun tujuan. Secara default, digunakan akun tempat kluster saat ini berada. Untuk mengirimkan log lintas akun, konfigurasikan parameter ini dan atur variabel lingkungan berikut untuk alibaba-log-controller: ALICLOUD_LOG_ACCOUNT_INFOS={"<uid>":{"accessKeyID":"<your_access_key_id>","accessKeySecret":"<your_access_key_secret>"}}. Catatan Parameter ini hanya mengontrol akun pemilik proyek. Untuk mengirimkan data iLogtail ke akun ini, konfigurasikan secara terpisah identitas pengguna iLogtail. Untuk informasi selengkapnya, lihat Konfigurasikan identitas pengguna.

  • PipelineConfig

    Konfigurasikan parameter berdasarkan persyaratan API CreateLogtailPipelineConfig. Parameter configName menggunakan `metadata.name` dari CR dan tidak dapat dikonfigurasi secara terpisah.

    Parameter	Tipe data	Diperlukan	Deskripsi
    sample	string	Tidak	Contoh log. Mendukung beberapa log, dengan panjang total tidak melebihi 1.500 byte.
    global	object	Tidak	Konfigurasi global. Untuk informasi selengkapnya, lihat Parameter permintaan.
    inputs	daftar objek	Ya	Daftar plug-in input. Untuk detail dan parameter plug-in, lihat Parameter permintaan. Catatan Hanya satu plug-in input yang diizinkan.
    processors	daftar objek	Tidak	Daftar plug-in pemrosesan. Untuk detail dan parameter plug-in, lihat Parameter permintaan.
    aggregators	daftar objek	Tidak	Daftar plug-in agregasi. Untuk detail dan parameter plug-in, lihat Parameter permintaan.
    flushers	daftar objek	Ya	Daftar plug-in output. Untuk detail dan parameter plug-in, lihat Parameter permintaan. Catatan Hanya satu plug-in flusher_sls yang diizinkan.
    configTags	map	Tidak	Tag kustom yang digunakan untuk menandai konfigurasi pengumpulan iLogtail.

  • PipelineLogstore

    Catatan

    Semua parameter kecuali `name` hanya berlaku saat Anda membuat Logstore.

    Parameter	Tipe data	Diperlukan	Deskripsi
    name	string	Ya	Nama Logstore yang akan dibuat.
    queryMode	string	Tidak	Tipe Logstore tujuan. Untuk informasi selengkapnya, lihat Tipe Logstore. Nilai default: standard. Nilai yang valid: query: Query Logstore standard: Standard Logstore
    ttl	int	Tidak	Periode retensi data Logstore tujuan, dalam hari. Untuk informasi selengkapnya, lihat Kelola Logstore. Nilai default: 30. Nilai yang valid: 1 hingga 3650. Nilai 3650 menunjukkan retensi permanen.
    hotTtl	int	Tidak	Periode retensi untuk penyimpanan data hot di Logstore tujuan. Satuan: hari. Nilai default: 0. Nilai bidang ini harus kurang dari nilai bidang ttl dan lebih besar atau sama dengan 7.
    infrequentAccessTTL	int	Tidak	Periode penyimpanan IA untuk Logstore tujuan, dalam hari. Nilai default adalah 0. Parameter hotTtl harus ditentukan. Nilainya harus kurang dari ttl dan lebih besar atau sama dengan 30. Jika hotTtl+infrequentAccessTTL tidak sama dengan ttl, nilai ttl-(hotTtl+infrequentAccessTTL) juga harus lebih besar atau sama dengan 60. Parameter ini hanya berlaku ketika versi komponen loongcollector-operator adalah 1.0.6 atau yang lebih baru.
    shardCount	int	Tidak	Jumlah shard di Logstore tujuan. Untuk informasi selengkapnya, lihat Kelola Logstore. Nilai default: 2. Nilai yang valid: 1 hingga 100.
    maxSplitShard	int	Tidak	Jumlah maksimum shard untuk sharding otomatis di Logstore tujuan. Untuk informasi selengkapnya, lihat Kelola Logstore. Nilai default: 64. Nilai yang valid: 1 hingga 256.
    autoSplit	bool	Tidak	Menentukan apakah akan mengaktifkan pemisahan shard otomatis untuk Logstore tujuan. Untuk informasi selengkapnya, lihat Kelola Logstore. Nilai default: true.
    telemetryType	string	Tidak	Tipe data observabel Logstore tujuan. Untuk informasi selengkapnya, lihat Buat Logstore. Nilai default: None. Nilai yang valid: None: tipe log. Metrics: Tipe metrik.
    appendMeta	bool	Tidak	Menentukan apakah akan mengaktifkan pencatatan Alamat IP publik untuk Logstore tujuan. Untuk informasi selengkapnya, lihat Kelola Logstore. Nilai default: true.
    enableTracking	bool	Tidak	Menentukan apakah akan mengaktifkan Web Tracking untuk Logstore tujuan. Untuk informasi selengkapnya, lihat Kelola Logstore. Nilai default: false.
    encryptConf	object	Tidak	Informasi konfigurasi enkripsi untuk Logstore tujuan. Untuk informasi selengkapnya, lihat EncryptConf. Nilai default: kosong.
    meteringMode	string	Tidak	Mode penagihan Logstore tujuan. Untuk informasi selengkapnya, lihat Kelola Logstore. Nilai default: kosong. Nilai yang valid: ChargeByFunction: pay-by-function ChargeByDataIngest: pay-by-ingested-data Catatan Jika queryMode Logstore adalah query, hanya ChargeByFunction yang didukung. Jika penagihan pay-by-ingested-data tidak diaktifkan untuk akun Anda, Anda tidak dapat mengatur parameter ini ke ChargeByDataIngest.
    index	object	Tidak	Menentukan indeks (hanya berlaku saat pembuatan Logstore). Untuk formatnya, lihat format data umum index. Parameter ini hanya berlaku ketika versi komponen loongcollector-operator adalah 1.0.6 atau yang lebih baru.

  • PipelineMachineGroup

    Parameter	Tipe data	Diperlukan	Deskripsi
    name	string	Ya	Nama kelompok mesin yang akan dikaitkan dengan konfigurasi pengumpulan iLogtail. Catatan Jika kelompok mesin belum ada, alibaba-log-controller secara otomatis membuat kelompok mesin berbasis pengenal dengan nama yang sama seperti pengenal tersebut. Untuk informasi selengkapnya, lihat Buat kelompok mesin berbasis pengenal kustom. Perilaku ini hanya berlaku saat pembuatan kelompok mesin.