All Products
Search

This Product

    Simple Log Service:AliyunPipelineConfig parameters

    Document Center

    Simple Log Service:AliyunPipelineConfig parameters

    Last Updated:Sep 12, 2026

    Tentukan aturan pengumpulan log dalam file YAML terstruktur, lalu kirimkan file tersebut menggunakan kubectl untuk membuat ClusterAliyunPipelineConfig. Topik ini menjelaskan struktur file YAML dan definisi bidangnya.

    Penting

    Custom Resource (CR) merupakan sumber kebenaran untuk konfigurasi pengumpulan yang dibuat menggunakan CustomResourceDefinition (CRD). Jangan ubah konfigurasi ini di konsol Simple Log Service. Perubahan yang dilakukan di konsol akan ditimpa oleh CR, yang dapat menyebabkan error format data atau kehilangan data.

    Cara kerja

    1. Buat CR: Tetapkan aturan pengumpulan dalam file YAML ClusterAliyunPipelineConfig, lalu terapkan file tersebut menggunakan kubectl.

    2. Controller memantau perubahan: loongcollector-operator terus-menerus memantau CR di kluster untuk mendeteksi perubahan.

    3. Sinkronisasi konfigurasi: Saat terdeteksi perubahan pada CR, operator mengonversi CR tersebut menjadi konfigurasi spesifik dan mengirimkannya ke proyek yang ditentukan.

    4. Collector menarik konfigurasi terbaru: loongcollector-ds secara berkala mengirim heartbeat ke Simple Log Service untuk menarik konfigurasi pengumpulan terbaru, lalu melakukan hot-reload.

    5. Mulai pengumpulan dan pelaporan: loongcollector-ds mengumpulkan log berdasarkan konfigurasi terbaru dan mengirimkan log tersebut ke SLS menggunakan endpoint yang dikonfigurasi.

    Bidang dasar

    Semua konfigurasi harus dimulai dengan mendefinisikan versi API dan jenis resource sebagai berikut:

    apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig

    Contoh struktur

    apiVersion: telemetry.alibabacloud.com/v1alpha1 # Gunakan nilai default. Jangan ubah.
kind: ClusterAliyunPipelineConfig               # Gunakan nilai default. Jangan ubah.
metadata:
  name: test-config                             # Tetapkan nama resource. Harus unik dalam kluster Kubernetes saat ini.
spec:
  project:                                      # Tetapkan nama proyek tujuan.
    name: k8s-your-project                      
  config:                                       # Tetapkan konfigurasi pengumpulan Logtail.
    inputs:                                     # Tetapkan plugin input untuk konfigurasi pengumpulan Logtail.
      ...
    flushers:                                   # Tetapkan plugin output untuk konfigurasi pengumpulan Logtail.
      ...

    Parameter inti

    metadata.name

    Nama konfigurasi pengumpulan. Wajib diisi. Nama harus unik dalam proyek dan tidak dapat diubah setelah pembuatan.

    Konvensi penamaan:

    • Hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_).

    • Harus diawali dan diakhiri dengan huruf kecil atau angka.

    • Panjangnya harus antara 2 hingga 128 karakter.

    Contoh:

    metadata:
  name: nginx-access-log

    spec.project

    Proyek tujuan untuk konfigurasi pengumpulan.

    Catatan

    Proyek tidak dapat diubah setelah CR dibuat. Untuk beralih ke proyek berbeda, buat CR baru.

    Parameter

    Jenis data

    Wajib

    Deskripsi

    name

    string

    Ya

    Nama proyek tujuan. Jika proyek belum ada, proyek tersebut akan dibuat secara otomatis.

    description

    string

    Tidak

    Deskripsi proyek. Parameter ini hanya berlaku saat proyek dibuat.

    endpoint

    string

    Tidak

    Endpoint wilayah tempat proyek berada. Nilai default adalah wilayah kluster.

    • Parameter ini hanya mengontrol wilayah tempat konfigurasi pengumpulan dibuat, bukan tujuan pengiriman data dari collector.

    • Untuk pengumpulan cross-region, konfigurasikan config_server_address dan data_server_list.

    uid

    string

    Tidak

    UID Akun Alibaba Cloud yang memiliki proyek tujuan. Nilai default adalah UID Akun Alibaba Cloud tempat kluster saat ini berada.

    • Parameter ini hanya mengontrol akun tempat konfigurasi pengumpulan dibuat.

    • Untuk mengumpulkan log lintas akun, konfigurasikan variabel lingkungan untuk komponen:

      • jika menggunakan alibaba-log-controller:

        ALICLOUD_LOG_ACCOUNT_INFOS={"<uid>":{"accessKeyID":"<your_access_key_id>","accessKeySecret":"<your_access_key_secret>"}}.

      • jika menggunakan loongcollector-operator:

        GLOBAL_ACCOUNT_INFOS={"<uid>":{"accessKeyID":"<your_access_key_id>","accessKeySecret":"<your_access_key_secret>"}}.

    spec.config

    Bagian utama konfigurasi pengumpulan, yang mendefinisikan plugin input, pemrosesan, dan output.

    Sub-bidang

    Jenis

    Wajib

    Deskripsi

    sample

    string

    Tidak

    Contoh log. Anda dapat memberikan beberapa log. Panjang total tidak boleh melebihi 1.500 byte.

    global

    object

    Tidak

    Konfigurasi global.

    inputs

    List of objects

    Ya

    Daftar plugin input. Hanya satu plugin input yang diperbolehkan.

    processors

    List of objects

    Tidak

    Daftar plugin pemrosesan:

    flushers

    List of objects

    Ya

    Daftar plugin output. Saat ini, hanya satu plugin flusher_sls yang diperbolehkan.

    spec.LogStores

    Opsional. Mendeklarasikan Logstore yang akan dibuat secara otomatis. Perhatikan hal berikut:

    • Hanya berlaku saat pembuatan: Semua parameter kecuali name hanya berlaku saat Logstore dibuat. Jika Logstore sudah ada, sistem mengabaikan pengaturan ini dan tidak mengubah properti Logstore yang sudah ada.

    • Tidak menentukan tujuan data: Daftar ini tidak menentukan Logstore tujuan untuk log. Tujuan sebenarnya ditentukan oleh plugin output di config.flushers, seperti flusher_sls.

    • Konfigurasi opsional: Jika Logstore tujuan sudah ada, Anda tidak perlu memasukkannya dalam konfigurasi ini.

    • Hanya mendukung operasi tambah dan hapus: Anda dapat menambahkan Logstore baru ke daftar atau menghapus item dari daftar tersebut. Namun, Anda tidak dapat mengubah konfigurasi ini untuk mengubah properti Logstore yang sudah ada, seperti TTL atau jumlah shard. Untuk mengubah properti tersebut, gunakan konsol atau operasi API.

    Parameter

    Jenis data

    Wajib

    Deskripsi

    name

    string

    Ya

    Nama Logstore yang akan dibuat.

    queryMode

    string

    Tidak

    Spesifikasi Logstore. Nilai default adalah standard. Nilai yang valid:

    • query: Logstore Kueri.

    • standard: Logstore Standar.

    ttl

    int

    Tidak

    Periode retensi data dalam hari. Nilai yang valid: 1 hingga 3650. Nilai default adalah 30. Nilai 3650 menunjukkan penyimpanan permanen.

    hotTtl

    int

    Tidak

    Periode penyimpanan data hot dalam hari. Nilai default adalah 0. Nilainya harus kurang dari ttl dan lebih besar atau sama dengan 7.

    infrequentAccessTTL

    int

    Tidak

    Periode penyimpanan akses jarang untuk LogStore tujuan, dalam hari. Nilai default adalah 0. Nilainya harus lebih besar atau sama dengan 30 dan kurang dari ttl, serta parameter hotTtl harus ditentukan. Jika hotTtl + infrequentAccessTTL tidak sama dengan ttl, kondisi berikut juga harus dipenuhi: ttl-(hotTtl+infrequentAccessTTL)>=60. Parameter ini hanya berlaku jika versi komponen loongcollector-operator adalah 1.0.6 atau lebih baru.

    shardCount

    int

    Tidak

    Jumlah shard. Nilai default adalah 2. Nilai yang valid: 1 hingga 100.

    maxSplitShard

    int

    Tidak

    Jumlah maksimum shard yang dapat dipisah secara otomatis. Nilai default adalah 64. Nilai yang valid: 1 hingga 256.

    autoSplit

    bool

    Tidak

    Menentukan apakah pemisahan shard otomatis diaktifkan. Nilai default: true.

    telemetryType

    string

    Tidak

    Jenis data observabel. Nilai default adalah None. Nilai yang valid:

    • None: Data log.

    • Metrics: Data time series.

    appendMeta

    bool

    Tidak

    Menentukan apakah alamat IP publik dan waktu penerimaan log dicatat. Nilai default: true.

    • true: Mencatat alamat IP publik dan waktu penerimaan log. Simple Log Service secara otomatis menambahkan alamat IP publik perangkat sumber dan waktu penerimaan log ke bidang tag log.

    • false: Tidak mencatat alamat IP publik atau waktu penerimaan log.

    enableTracking

    bool

    Tidak

    Menentukan apakah pelacakan web diaktifkan. Nilai default: false.

    encryptConf

    object

    Tidak

    Struktur data konfigurasi enkripsi. Berisi parameter enable, encrypt_type, dan user_cmk_info. Parameter ini kosong secara default.

    meteringMode

    string

    Tidak

    Mode penagihan. Untuk informasi selengkapnya, lihat Mengelola logstore. Bidang ini kosong secara default. Nilai yang valid:

    • ChargeByFunction: Pay-by-feature

    • ChargeByDataIngest: Pay-by-ingested-data

    Catatan

    Logstore dengan queryMode bernilai query hanya mendukung mode penagihan pay-by-feature.

    Jika pay-by-ingested-data belum diaktifkan untuk akun Anda, Anda tidak dapat mengatur parameter ini ke ChargeByDataIngest.

    index

    object

    Tidak

    Konfigurasi indeks. Parameter ini hanya berlaku saat LogStore dibuat. Untuk formatnya, lihat index. Fitur ini memerlukan versi loongcollector-operator 1.0.6 atau lebih baru.

    spec.machineGroups

    Kelompok mesin yang dapat menggunakan konfigurasi pengumpulan ini.

    • Perilaku default: Saat LoongCollector diinstal, sistem secara otomatis membuat kelompok mesin bernama k8s-group-${clusterId}. Jika Anda tidak secara eksplisit menentukan parameter machineGroups, konfigurasi pengumpulan ini secara default dikaitkan dengan kelompok mesin tersebut.

    • Mekanisme sinkronisasi: loongcollector-operator memastikan bahwa kelompok mesin yang dikaitkan dengan konfigurasi pengumpulan secara ketat sesuai dengan daftar yang ditentukan di machineGroups. Sistem secara otomatis memutus asosiasi kelompok mesin apa pun yang tidak ada dalam daftar ini.

    • Dukungan pembuatan otomatis: Jika kelompok mesin yang ditentukan belum ada, sistem secara otomatis membuat kelompok mesin berbasis identifier dengan nama yang sama dan mengaitkannya ke konfigurasi pengumpulan saat ini.

    Parameter

    Jenis data

    Wajib

    Deskripsi

    name

    string

    Tidak

    Nama kelompok mesin yang akan dikaitkan.

    spec.enableUpgradeOverride

    Opsional. Menentukan apakah sistem dapat menimpa konfigurasi sebelumnya untuk menyelesaikan konflik antara versi berbeda dari konfigurasi pengumpulan. Nilai default: false.

    • true: loongcollector-operator menimpa serta meningkatkan konfigurasi pengumpulan yang telah didefinisikan oleh AliyunLogConfig.

    • false: Jika terjadi konflik dalam konfigurasi pengumpulan, penerapan AliyunPipelineConfig akan gagal.

    Skenario: Konflik terjadi ketika resource AliyunLogConfig yang mendefinisikan konfigurasi pengumpulan sudah ada di kluster, dan Anda menerapkan AliyunPipelineConfig yang mereferensikan konfigurasi pengumpulan yang sama.

    Definisi konfigurasi pengumpulan yang sama:

    • Proyek yang sama

      • AliyunLogConfig: Menggunakan proyek default kluster atau spec.project.

      • AliyunPipelineConfig: Menggunakan spec.project.name.

    • Nama konfigurasi pengumpulan yang sama

      • AliyunLogConfig: spec.logtailConfig.configName

      • AliyunPipelineConfig: metadata.name

    Proses peningkatan:

    1. Terapkan konfigurasi baru: Controller menerapkan ClusterAliyunPipelineConfig untuk memperbarui konfigurasi pengumpulan log.

    2. Hapus konfigurasi lama: Setelah pembaruan berhasil, controller secara otomatis menghapus resource AliyunLogConfig lama yang sesuai dari kluster.

    3. Migrasi selesai: Migrasi dari konfigurasi lama ke konfigurasi baru telah selesai.