Container Service for Kubernetes:Collecte de journaux depuis les services Knative

CRD - AliyunPipelineConfig (recommandé)

Créez une ressource personnalisée (CR) à partir du CRD AliyunPipelineConfig. La configuration s'applique automatiquement. Pour la modifier, mettez à jour la CR.

Contraintes principales :

• La valeur configName doit être unique au sein du projet SLS.

• Créez une CR par configuration Logtail. Si plusieurs CR font référence à la même configuration, seule la première CR prend effet.

Étapes :

1. Obtenez le fichier kubeconfig et connectez-vous à votre cluster à l'aide de kubectl.

2. Créez un fichier YAML :

   vim cube.yaml

3. Ajoutez la configuration au fichier YAML. Reportez-vous aux exemples ci-dessous.

4. Appliquez la configuration :

   kubectl apply -f cube.yaml

   Logtail commence à collecter les journaux des conteneurs spécifiés et à les envoyer à SLS.

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  # The name must be unique in the Kubernetes cluster. It is also used as the Logtail configuration name.
  name: example-k8s-file
spec:
  # Specify the project to collect logs into.
  project:
    name: k8s-log-test
  # Create a Logstore to store logs.
  logstores:
    - name: k8s-file
  config:
    inputs:
      # Use input_file to collect text logs from containers.
      - Type: input_file
        # Log file path inside the containers.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Enable container discovery.
        EnableContainerDiscovery: true
        # Filter containers. Multiple conditions use logical AND.
        ContainerFilters:
          # Match containers in the default namespace.
          K8sNamespaceRegex: default
          # Match containers whose name contains "app".
          K8sContainerRegex: ^(.*app.*)$
    flushers:
      # Use flusher_sls to send logs to a Logstore.
      - Type: flusher_sls
        Logstore: k8s-file
        # For valid endpoint and region values, see https://www.alibabacloud.com/help/en/sls/developer-reference/service-entrance
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  name: example-k8s-file
spec:
  project:
    name: k8s-log-test
  logstores:
    - name: k8s-file
  config:
    # Optional: add a sample log for reference.
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    inputs:
      - Type: input_file
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        EnableContainerDiscovery: true
        # Enable multi-line log collection.
        Multiline:
          # Use a custom regex to identify the first line of each log entry.
          Mode: custom
          StartPattern: \d+-\d+-\d+.*
    processors:
      # Parse logs using a regular expression. Capturing groups define extracted fields.
      - Type: processor_parse_regex_native
        SourceKey: content
        Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
        Keys: ["time", "level", "msg"]
    flushers:
      - Type: flusher_sls
        Logstore: k8s-file
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

CRD - AliyunLogConfig

Créez une CR à partir du CRD AliyunLogConfig. La configuration s'applique automatiquement. Pour la modifier, mettez à jour la CR.

Étapes :

1. Obtenez le fichier kubeconfig et connectez-vous à votre cluster à l'aide de kubectl.

2. Créez un fichier YAML :

   vim cube.yaml

3. Ajoutez la configuration. Reportez-vous à l'exemple ci-dessous. La valeur configName doit être unique dans le projet SLS.

4. Appliquez la configuration :

   kubectl apply -f cube.yaml

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  name: example-k8s-file
  namespace: kube-system
spec:
  # If left blank, the project named k8s-log-<your_cluster_id> is used.
  project: k8s-log-test
  # If the specified Logstore does not exist, SLS creates it automatically.
  logstore: k8s-file
  logtailConfig:
    # Set to "file" for text logs.
    inputType: file
    configName: example-k8s-file
    inputDetail:
      # Simple mode for text logs.
      logType: common_reg_log
      logPath: /data/logs/app_1
      # Supports wildcard characters (* and ?). Example: log_*.log
      filePattern: test.LOG
      # Required for container log collection.
      dockerFile: true
      advanced:
        k8s:
          K8sPodRegex: '^(app.*)$'

Console SLS

1. Connectez-vous à la console Simple Log Service.

2. Dans la section Quick Data Import, cliquez sur Import Data. Dans la boîte de dialogue Import Data, cliquez sur la carte Kubernetes - File.

   

3. Sélectionnez le projet et le Logstore, puis cliquez sur Next. Utilisez le projet créé lors de l'installation de Logtail.

4. À l'étape Machine Group Configurations, configurez les éléments suivants :

   1. Sélectionnez une option de groupe de machines en fonction de votre configuration :

      • Kubernetes Clusters > ACK Daemonset

      • Kubernetes Clusters > Self-managed Cluster in DaemonSet Mode

      Important

      Les paramètres suivants varient selon l'option sélectionnée.

   2. Confirmez que les groupes de machines apparaissent dans Applied Server Groups, puis cliquez sur Next. SLS crée automatiquement un groupe de machines nommé k8s-group-${your_k8s_cluster_id} lors de l'installation de Logtail.

      Important

      • Pour créer un nouveau groupe de machines, cliquez sur Create Machine Group et configurez les paramètres. Consultez la section Collecter les journaux de conteneur depuis les clusters ACK.

      • Si l'état du heartbeat d'un groupe de machines est FAIL, cliquez sur Automatic Retry. Si le problème persiste, consultez la section Comment résoudre les erreurs liées aux groupes de machines Logtail ?

5. Créez une configuration Logtail et cliquez sur Next. La collecte de journaux commence après la création. Options de filtrage des conteneurs Disponibles pour Logtail 1.0.34 et versions ultérieures. Versions antérieures : variables d'environnement et libellés de conteneur uniquement.

   • K8s Pod Name Regular Matching : faites correspondre les conteneurs par nom de pod à l'aide d'une expression régulière. Exemple : ^(nginx-log-demo.*)$ correspond à tous les conteneurs dans les pods dont le nom commence par nginx-log-demo.

   • K8s Namespace Regular Matching : faites correspondre les conteneurs par namespace. Exemple : ^(default|nginx)$ correspond aux conteneurs dans les namespaces nginx et default.

   • K8s Container Name Regular Matching : faites correspondre les conteneurs par nom de conteneur (tel que défini dans spec.containers). Exemple : ^(container-test)$ correspond aux conteneurs nommés container-test.

   • Container Label Whitelist / Blacklist : filtrez les conteneurs par libellés de conteneur (paires clé-valeur). Les namespaces Kubernetes et les noms de conteneurs correspondent aux libellés io.kubernetes.pod.namespace et io.kubernetes.container.name. Les paires clé-valeur sont évaluées avec une logique OU. La correspondance de chaîne est la valeur par défaut ; préfixez avec ^ et suffixez avec $ pour la correspondance regex.

   • Environment Variable Whitelist / Blacklist : filtrez les conteneurs par paires clé-valeur de variables d'environnement. Une logique OU s'applique. Exemple : définissez Environment Variable Name sur NGINX_SERVICE_PORT et Environment Variable Value sur ^(80|6379)$ pour faire correspondre les conteneurs sur les ports 80 ou 6379.

   • Kubernetes Pod Label Whitelist / Blacklist : filtrez les conteneurs par libellés de pod Kubernetes (distincts des libellés de conteneur). Une logique OU s'applique. Exemple : définissez Label Name sur environment et Label Value sur ^(dev|pre)$ pour faire correspondre les conteneurs avec les libellés de pod environment:dev ou environment:pre.

   Remarque

   Une configuration Logtail prend jusqu'à 3 minutes pour prendre effet.

   Important

   Les libellés de conteneur (récupérés via docker inspect) diffèrent des libellés Kubernetes. Consultez les sections Obtenir les libellés et Obtenir les variables d'environnement.

   Configurations globales

   Paramètre	Description
   Nom de la configuration	Nom unique au sein du projet. Ne peut pas être modifié ultérieurement.
   Type de sujet de journal	Source du sujet de journal. Machine Group Topic : par groupe de machines. File Path Extraction : regex sur le chemin du fichier. Custom : défini par l'utilisateur. Consultez la section Sujets de journal.
   Paramètres avancés	Facultatif. Consultez l'API CreateLogtailPipelineConfig.

   Configurations d'entrée

   Paramètre	Description
   Logtail deployment mode	Sélectionnez Daemonset pour ce cas d'utilisation.
   File path type	Sélectionnez Path in Container dans la plupart des cas. Sélectionnez Host Path uniquement pour les volumes montés hostPath.
   File path	Spécifiez le chemin du fichier journal. Les chemins Linux commencent par / (exemple : /apsara/nuwa//app.Log). Les chemins Windows commencent par une lettre de lecteur (exemple : C:\Program Files\Intel\\*.Log). Utilisez * et ? comme caractères génériques uniquement. Exemples : /apsara/nuwa/**/*.log collecte tous les fichiers .log sous /apsara/nuwa de manière récursive. /var/logs/app_*/**/*.log collecte les fichiers .log dans les sous-répertoires correspondant à app_* sous /var/logs. /var/log/nginx/**/access* collecte les fichiers commençant par access sous /var/log/nginx de manière récursive.
   Maximum directory monitoring depth	Profondeur maximale des sous-répertoires pour le caractère générique **. 0 surveille uniquement le répertoire spécifié. Maintenez une valeur faible — des valeurs plus élevées augmentent la consommation de ressources et peuvent provoquer de la latence.
   Enable container metadata preview	Affiche les métadonnées de conteneur correspondantes après la création de la configuration.
   Container filtering	Filtrez les conteneurs pour la collecte de journaux. Logtail antérieur à 1.0.34 : variables d'environnement et libellés de conteneur uniquement. Logtail 1.0.34 et versions ultérieures : filtrage au niveau Kubernetes (K8s Pod Name, Namespace, Container Name, Pod Label).
   Log tag enrichment	Ajoutez des tags de journal à partir des variables d'environnement et des libellés de pod.
   File encoding	Format d'encodage des fichiers journaux.
   First collection size	Taille des données pour la collecte initiale. Par défaut : 1 024 Ko. Plage : 0–10 485 760 Ko. Les fichiers inférieurs à 1 024 Ko sont lus depuis le début ; les fichiers plus grands sont lus à partir des derniers 1 024 Ko.
   Collection blacklist	Excluez des répertoires ou des fichiers par chemin exact ou caractères génériques (* et ?). Maximum 10 entrées. Les chemins ne peuvent pas se terminer par /. Types : File Path, File et Directory.
   Allow file to be collected multiple times	Par défaut, une configuration Logtail par fichier. Activez cette option pour autoriser plusieurs configurations par fichier.
   Advanced parameters	Facultatif. Consultez la section Créer une configuration de pipeline Logtail.

   Configurations de processeur

   Paramètre	Description
   Exemple de journal	Journaux d'exemple pour la configuration de traitement. Maximum : 1 500 caractères.
   Mode multiligne	Détection des journaux multilignes. Custom : utilisez Regex to Match First Line pour les limites des journaux. Multi-line JSON : chaque objet JSON s'étend sur plusieurs lignes. Processing Method If Splitting Fails : Discard (supprimer les journaux non correspondants) ou Retain Single Line (une ligne par entrée).
   Méthode de traitement	Ajoutez des processeurs pour le traitement des données. Logtail V2.0 : combinez librement les processeurs natifs et étendus (les processeurs étendus doivent suivre les natifs). Versions antérieures : aucun mélange autorisé.

6. Créez des index et prévisualisez les données, puis cliquez sur Next. L'indexation en texte intégral est activée par défaut. Pour créer automatiquement des index de champ, cliquez sur Automatic Index Generation. Consultez la section Créer des index.

   Important

   Utilisez les index en texte intégral pour interroger tous les champs. Utilisez les index de champ pour interroger des champs spécifiques et réduire le trafic d'indexation. Les index de champ sont requis pour l'analyse des journaux (les requêtes doivent inclure une instruction SELECT).

7. Cliquez sur Query Log. Attendez environ 1 minute que les index prennent effet, puis affichez les journaux dans l'onglet Raw Logs. Consultez le Guide de requête et d'analyse des journaux.

Variables d'environnement

Configurez la collecte de journaux dans le YAML de votre service Knative à l'aide de variables d'environnement. Les noms doivent utiliser le préfixe aliyun_logs_. La partie {key} n'autorise que les lettres minuscules, les chiffres et les traits d'union (-).

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go-log
spec:
  template:
    spec:
      containers:
      - name: my-demo-app
        image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
        env:
        # Collect stdout to Logstore "log-stdout".
        - name: aliyun_logs_log-stdout
          value: stdout
        # Collect /var/demo/*.log files to Logstore "log-varlog".
        - name: aliyun_logs_log-varlog
          value: /var/demo/*.log
        # Add a custom tag to all logs collected by this container.
        - name: aliyun_logs_mytag1_tags
          value: tag1=v1
        volumeMounts:
        - name: volumn-sls-mydemo
          mountPath: /var/demo
        # Optional: add a sleep command if the pod restarts repeatedly.
        command: ["sh", "-c"]
        args: ["sleep 3600"]
      volumes:
      - name: volumn-sls-mydemo
        emptyDir: {}