Simple Log Service:Importation de données OSS

Prérequis

• Les fichiers journaux sont chargés dans un compartiment Object Storage Service (OSS). Pour plus d'informations, consultez Charger des objets.

• Un projet et un Logstore ont été créés. Pour plus d'informations, consultez Gérer les projets et Créer un Logstore de base.

• Vous avez effectué l'autorisation d'accès aux ressources cloud, qui autorise Simple Log Service à accéder à vos ressources OSS avec le rôle AliyunLogImportOSSRole.

• Votre compte dispose de l'autorisation oss:ListBuckets pour répertorier les compartiments OSS. Pour plus d'informations, consultez Attacher une stratégie personnalisée à un utilisateur RAM.

  Si vous utilisez un utilisateur RAM, vous devez également lui accorder l'autorisation PassRole. Pour plus d'informations, consultez Créer une stratégie personnalisée et Gérer les autorisations des utilisateurs RAM.

  {
    "Statement": [
      {
        "Effect": "Allow",
        "Action": ["ram:PassRole", "ram:GetRole"],
        "Resource": "acs:ram:*:*:role/aliyunlogimportossrole"
      },
      {
        "Effect": "Allow",
        "Action": "oss:GetBucketWebsite",
        "Resource": "*"
      },
      {
        "Effect": "Allow",
        "Action": "oss:ListBuckets",
        "Resource": "*"
      }
    ],
    "Version": "1"
  }    

  Si vous souhaitez importer des données entre différents comptes, le compte racine B doit d'abord autoriser le compte A et un rôle au sein du compte A à l'aide d'une stratégie de compartiment dans la console OSS. Exemple de rôle : acs:ram::123456789:role/aliyunlogimportossrole.

  Autorisation entre comptes

  Effectuez les étapes suivantes en tant que compte B, propriétaire du compartiment OSS, pour accorder un accès en lecture au compartiment au compte A et au rôle d'importation sous le compte A.

  1. Connectez-vous à la console OSS en tant que compte B.

  2. Dans la liste Buckets, cliquez sur le compartiment cible.

  3. Dans le volet de navigation de gauche, cliquez sur Bucket Policy, puis sur Add Authorization.

  4. Accordez l'accès au compte A : définissez Resource sur l'intégralité du compartiment, définissez Authorized User sur Other Accounts et saisissez l'ID de compte (UID) du compte A, configurez les Actions requises, puis cliquez sur OK.

  5. Générez la stratégie pour le rôle d'importation sous le compte A : saisissez le rôle (par exemple, acs:ram::123456789:role/aliyunlogimportossrole), cliquez sur Generate Policy, ajustez Action dans la stratégie générée, puis enregistrez-la.

  6. Après avoir enregistré la stratégie, une nouvelle entrée apparaît dans la liste Bucket Policy. Cette entrée correspond à la stratégie pour ce rôle sous le compte A.

  Une fois l'autorisation terminée, le compte A peut sélectionner le compartiment du compte B lors de la création d'une configuration d'importation de données OSS.

Créer une configuration d'importation de données

1. Connectez-vous à la console Simple Log Service.

2. Dans la section Import Data, cliquez sur l'onglet Data Import, puis sur OSS - Data Import.

3. Sélectionnez le projet et le Logstore de destination, puis cliquez sur Next.

4. Configurez les paramètres d'importation.

   1. À l'étape Import Configuration, configurez les paramètres suivants.

      Paramètres

      Paramètre	Description
      Task Name	Nom unique de la tâche d'importation.
      Display Name	Nom d'affichage de la tâche.
      Job Description	Description de la tâche d'importation.
      OSS Region	Région dans laquelle se trouve le bucket OSS source. Si le bucket OSS et le projet Log Service se trouvent dans la même région, vous pouvez réduire les coûts de trafic réseau public et bénéficier d'un transfert de données plus rapide.
      Bucket	Bucket source contenant les fichiers de données à importer.
      File Path Prefix Filter	Filtre les fichiers OSS en fonction d'un préfixe de chemin d'accès. Par exemple, si tous les fichiers à importer se trouvent dans le répertoire csv/, vous pouvez spécifier le préfixe csv/. Si vous ne définissez pas ce paramètre, la tâche parcourt l'intégralité du bucket OSS. Remarque Nous vous recommandons de configurer ce paramètre. Si un bucket contient un grand nombre de fichiers, le parcours intégral du bucket réduit considérablement l'efficacité de l'importation des données.
      File Path Regex Filter	Filtre les fichiers OSS en faisant correspondre leurs chemins d'accès à une expression régulière. Seuls les fichiers dont les chemins correspondent à l'expression régulière sont importés. Par défaut, ce paramètre est vide, ce qui signifie qu'aucun filtrage n'est appliqué. Par exemple, si le chemin d'accès au fichier est testdata/csv/bill.csv, vous pouvez définir l'expression régulière sur (testdata/csv/)(.*). Pour plus d'informations sur la façon de tester une expression régulière, consultez Comment tester une expression régulièreComment tester une expression régulière.
      File Modification Time Filter	Filtre les fichiers OSS en fonction de leur heure de modification. All : sélectionnez cette option pour importer tous les fichiers correspondants. From Specific Time : sélectionnez cette option pour importer les fichiers modifiés après un moment précis. Specific Time Range : sélectionnez cette option pour importer les fichiers modifiés dans une plage horaire spécifique.
      Data Format	Format d'analyse du fichier. Valeurs possibles : CSV : fichier texte délimité. Vous pouvez utiliser la première ligne comme noms de champs ou spécifier manuellement les noms de champs. Chaque ligne suivante est analysée comme une entrée de journal. Single-line JSON : lit le fichier OSS ligne par ligne, en analysant chaque ligne comme un objet JSON distinct. Les clés de l'objet JSON deviennent les noms de champs dans le journal. JSON array : lit l'intégralité du fichier OSS en une seule fois. Le contenu du fichier doit être un tableau JSON contenant un ou plusieurs objets JSON. CloudTrail : lit l'intégralité du fichier OSS en une seule fois. Le contenu doit respecter le format de structure de données CloudTrail standard. Single-line Text Log : analyse chaque ligne du fichier OSS comme une entrée de journal unique. Multi-line Text Logs : mode multiligne qui utilise une expression régulière pour identifier le début ou la fin d'une entrée de journal s'étendant sur plusieurs lignes. ORC : format Optimized Row Columnar (ORC). Le fichier est automatiquement analysé en journaux sans configuration supplémentaire. Parquet : format Parquet. Le fichier est automatiquement analysé en journaux sans configuration supplémentaire. Alibaba Cloud OSS Access Log : format des journaux d'accès Alibaba Cloud OSS. Pour plus d'informations, consultez Expédition des journaux. Alibaba Cloud CDN Download Log : format des journaux de téléchargement Alibaba Cloud CDN. Pour plus d'informations, consultez Démarrage rapide.
      Compression Format	Format de compression des fichiers sources. Log Service décompresse les fichiers selon le format spécifié avant de lire les données.
      Encoding Format	Format d'encodage des fichiers sources. Actuellement, seuls les formats UTF-8 et GBK sont pris en charge.
      New File Check Cycle	Si de nouveaux fichiers sont continuellement ajoutés au chemin OSS source, vous pouvez définir un New File Check Cycle. La tâche d'importation s'exécute en arrière-plan et découvre et lit périodiquement les nouveaux fichiers. Le système garantit que les données d'un même fichier OSS ne sont pas importées plusieurs fois. Par exemple, si vous créez une tâche à 12 h 00 avec un cycle de vérification de 30 minutes, la première importation s'exécute à 12 h 00. Si de nouveaux fichiers sont générés, la prochaine importation s'exécute à 12 h 30. Si aucun nouveau fichier n'est attendu dans le chemin OSS source, définissez le cycle sur Never Check. La tâche d'importation s'arrête après avoir lu tous les fichiers existants correspondant aux critères.
      Import Archive Files	Si les fichiers sources sont stockés sous les classes de stockage Archive ou Cold Archive dans OSS, ils doivent être restaurés avant de pouvoir être lus. Activez cette option pour restaurer automatiquement les fichiers. La classe de stockage Deep Cold Archive n'est pas prise en charge. Remarque La restauration des fichiers Archive prend environ une minute, ce qui peut entraîner un dépassement du délai lors de la prévisualisation initiale. En cas de dépassement du délai, attendez quelques instants et réessayez. La restauration des fichiers Cold Archive prend environ une heure. Si la prévisualisation expire, vous pouvez ignorer la prévisualisation ou attendre une heure avant de réessayer. Lors de la restauration des fichiers Cold Archive, les copies restaurées restent disponibles pendant sept jours afin de garantir un temps suffisant pour l'importation.
      Log Time Configuration
      Time Field	Lorsque vous sélectionnez Data Format, Single-line JSON, Single-line JSON, CloudTrail, ORC, Parquet, Alibaba Cloud OSS Access Log ou Alibaba Cloud CDN Download Log comme Data Format, vous devez spécifier un champ temporel. Log Service utilise ce champ pour définir l'heure de chaque entrée de journal importée.
      Time Field Extraction Regular Expression	Lorsque vous sélectionnez Data Format ou Single-line Text Log comme Multi-line Text Logs, vous devez utiliser une expression régulière pour extraire l'heure du contenu du journal. Par exemple, pour l'entrée de journal 127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1,1", vous pouvez définir Time Field Extraction Regular Expression sur [0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+. Remarque Pour les autres formats de données, vous pouvez également utiliser une expression régulière si vous devez extraire uniquement une partie du champ temporel.
      Time Field Format	Spécifie le format temporel utilisé pour analyser la valeur du champ temporel. Prend en charge la syntaxe SimpleDateFormat de Java, telle que yyyy-MM-dd HH:mm:ss. Pour plus d'informations sur la syntaxe, consultez Class SimpleDateFormat. Pour les formats temporels courants, consultez Formats temporels. Prend en charge les formats epoch, notamment epoch, epochMillis, epochMicro et epochNano.
      Time Zone	Sélectionnez le fuseau horaire du champ temporel. Ce paramètre n'est pas requis si le format temporel est de type epoch. Pour prendre en compte l'heure d'été lors de l'analyse de l'heure du journal, sélectionnez un format basé sur UTC. Sinon, sélectionnez un format basé sur GMT.
      Advanced Settings
      OSS Metadata Indexing	Si le nombre de fichiers dans votre bucket OSS dépasse un million, nous vous recommandons vivement d'activer cette option. Sinon, la découverte des fichiers est inefficace. Avec l'indexation des métadonnées OSS, les nouveaux fichiers du bucket peuvent être découverts en quelques secondes, permettant une importation de données en quasi temps réel. Pour utiliser l'indexation des métadonnées OSS, vous devez d'abord activer la fonctionnalité de gestion des métadonnées pour le bucket dans la console OSS. Pour plus d'informations, consultez Recherche scalaire.

      Si vous sélectionnez Data Format ou Multi-line text log comme Multi-line Text Logs, vous devez configurer des paramètres supplémentaires comme décrit dans les tableaux suivants.

      CSV

      Paramètre	Description
      Delimiter	Délimiteur utilisé pour séparer les champs dans le journal. La valeur par défaut est une virgule (,).
      Quote	Caractère de guillemet utilisé pour les chaînes dans le fichier CSV.
      Quote	Caractère d'échappement pour les journaux. La valeur par défaut est une barre oblique inverse (\\).
      Maximum Lines	Nombre maximal de lignes qu'une seule entrée de journal peut couvrir. La valeur par défaut est 1.
      First Line as Field Name	Après avoir activé l'option First Line as Field Name, la première ligne du fichier CSV est utilisée comme noms de champs. Par exemple, la première ligne de l'exemple suivant est extraite comme noms des champs de journal. Aperçu du fichier exemple : remote_addr,remote_user,time_local,request_time,request_length xxx,5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET
      Custom Fields	Si vous désactivez l'option First Line as Field Name, vous devez spécifier une liste de noms de champs personnalisés séparés par des virgules.
      Lines to Skip	Nombre de lignes d'en-tête à ignorer. Par exemple, une valeur de 1 signifie que la collecte des données commence à partir de la deuxième ligne du fichier CSV.

      Journal texte multiligne

      Paramètre	Description
      Position to Match Regular Expression	Spécifie où faire correspondre l'expression régulière : Regular Expression to Match First Line : utilise une expression régulière pour faire correspondre la première ligne d'une entrée de journal. Les lignes suivantes qui ne correspondent pas sont ajoutées à l'entrée de journal actuelle, jusqu'au nombre maximal de lignes configuré. Regular Expression to Match Last Line : utilise une expression régulière pour identifier la fin d'une entrée de journal. Une entrée de journal inclut toutes les lignes jusqu'à et y compris la ligne qui correspond à cette expression.
      Regular Expression	Saisissez une expression régulière en fonction du contenu de votre journal. Pour plus d'informations, consultez Comment tester une expression régulièreComment tester une expression régulière.
      Maximum Lines	Nombre maximal de lignes qu'une seule entrée de journal peut couvrir.

   2. Cliquez sur Preview pour prévisualiser les résultats de l'importation.

   3. Une fois les paramètres confirmés, cliquez sur Next.

5. Créez des index et prévisualisez les données. Ensuite, cliquez sur Next. Par défaut, l'indexation en texte intégral est activée dans Simple Log Service. Vous pouvez également créer manuellement des index de champ pour les journaux collectés ou cliquer sur Automatic Index Generation. Simple Log Service génère alors des index de champ. Pour plus d'informations, consultez Créer des index.

   Important

   Si vous souhaitez interroger tous les champs des journaux, nous vous recommandons d'utiliser des index en texte intégral. Si vous souhaitez interroger uniquement des champs spécifiques, nous vous recommandons d'utiliser des index de champ. Cela permet de réduire le trafic lié aux index. Si vous souhaitez analyser des champs, vous devez créer des index de champ. Vous devez inclure une instruction SELECT dans votre instruction de requête pour l'analyse.

6. Cliquez sur Query Log pour ouvrir la page de requête et d'analyse et vérifier si les données OSS ont été importées avec succès.

   Attendez environ une minute. Si les données OSS cibles apparaissent, l'importation a réussi.

Opérations connexes

Après avoir créé une configuration d'importation de données, vous pouvez consulter cette configuration ainsi que ses rapports statistiques dans la console.

1. Dans la liste Project, cliquez sur le projet souhaité.

2. Dans le volet de navigation de gauche, choisissez Log Storage > Logstore. Sur la page qui s'affiche, localisez le Logstore souhaité, choisissez Data Collection > Data Import, puis cliquez sur le nom de la configuration.

3. Aperçu

   Sur la page Import Configuration Overview, vous pouvez consulter les informations de base de la configuration ainsi que les rapports statistiques.

   La page Import Configuration Overview contient les informations suivantes : La section Basic Information affiche des paramètres tels que Configuration Name, Status, Bucket, Compression Format, Encoding Format, File Path Regex Filter, Import Archive Files, OSS Region, New File Check Interval, Data Format et Use System Time. La section Statistical Reports (Data Processing Insight) présente six métriques : Successful Reads, Failed Reads, Public Read Traffic, Successful Writes, Failed Writes et Public Write Traffic, ainsi qu'un graphique linéaire du taux de traitement et un graphique du décalage de progression. Le tableau Running Status en bas de page répertorie les informations relatives à chaque tâche, telles que Time, Type, Instance, Successful Items, Failed Items et Average Response Time. Dans le coin supérieur droit, vous trouverez les boutons d'action Edit Configurations, Stop et Delete Configuration.

   Modifier

   Cliquez sur Edit Configurations pour modifier la configuration d'importation de données. Pour plus d'informations, consultez la rubrique Créer une configuration d'importation de données.

   Supprimer

   Cliquez sur Delete Configuration pour supprimer la configuration d'importation de données.

   Avertissement

   Cette opération est irréversible. Procédez avec prudence.

   Arrêter

   Pour arrêter la tâche d'importation de données, cliquez sur Stop.

   Démarrer

   Cliquez sur Start pour démarrer la tâche d'importation de données.

FAQ

Gestion des erreurs

API d'ingestion OSS