Collect Spark job logs with Simple Log Service - E-MapReduce

Utilisez Simple Log Service pour collecter et interroger les journaux des tâches Spark exécutées sur EMR on ACK.

Prérequis

Vous avez créé un cluster Spark dans la console EMR on ACK. Pour plus d'informations, consultez la rubrique Prise en main d'EMR on ACK.
Vous avez activé Simple Log Service (SLS). Pour plus d'informations, consultez la rubrique Utilisation de Logtail pour collecter et analyser les journaux texte des instances ECS.

Procédure

Activez le composant Logtail pour Simple Log Service. Pour plus d'informations, consultez la rubrique Collecte des journaux de conteneurs depuis les clusters ACK.

Remarque
Si Logtail est déjà activé, ignorez cette étape et passez à l'étape 2.
Accédez à la console du projet Log Service correspondant.
1. Connectez-vous à la console Container Service for Kubernetes.
2. Sur la page Clusters, cliquez sur le nom du cluster cible ou sur Details dans la colonne Actions.
3. Sur la page Basic Information, dans la zone Cluster Resources, cliquez sur le lien situé dans la ligne Log Service Project.
  
  La console du projet Log Service correspondant s'ouvre.
Dans l'onglet Logstore, créez deux Logstores.

Dans cet exemple, les deux Logstores sont nommés spark-driver-log et spark-executor-log. Pour plus d'informations, consultez la rubrique Utilisation de Logtail pour collecter et analyser les journaux texte des instances ECS.
Dans le Logstore spark-driver-log, procédez comme suit.
1. Créez une configuration Logtail. Pour la source de données, sélectionnez Kubernetes Standard Output. Dans l'assistant de configuration, sélectionnez un groupe de machines Kubernetes existant.
2. Sous Data Collection > Logtail Configurations, sélectionnez votre groupe de machines Kubernetes existant.
3. Passez en mode éditeur et saisissez la configuration suivante.
```
{
    "inputs": [
        {
            "detail": {
                "IncludeEnv": {
                    "SPARKLOGENV": "spark-driver"
                },
                "Stderr": true,
                "Stdout": true,
                "BeginLineCheckLength": 10,
                "BeginLineRegex": "\\d+/\\d+/\\d+.*"
            },
            "type": "service_docker_stdout"
        }
    ]
}
```

Dans le Logstore spark-executor-log, répétez l'étape Étape 4 avec la configuration suivante.

{
    "inputs": [
        {
            "detail": {
                "IncludeEnv": {
                    "SPARKLOGENV": "spark-executor"
                },
                "Stderr": true,
                "Stdout": true,
                "BeginLineCheckLength": 10,
                "BeginLineRegex": "\\d+/\\d+/\\d+.*"
            },
            "type": "service_docker_stdout"
        }
    ]
}

Activez l'indexation pour le Logstore. Pour plus d'informations, consultez la rubrique Création d'index.

Vous pouvez désormais interroger les journaux des tâches dans SLS.