Simple Log Service:Stabilité et limites

Élément

Description

Disponibilité

Haute disponibilité.

Si SLS rencontre une erreur empêchant la lecture des données, la tâche d'expédition de données MaxCompute tente au moins 10 fois en interne. En cas d'échec persistant, le système signale une erreur et redémarre la tâche.

Élément

Description

Concurrence

Les données sont partitionnées par shards SLS et des instances d'expédition sont créées en conséquence pour permettre une mise à l'échelle rapide.

En cas de fractionnement de shard sur un Logstore source dans SLS, les instances d'expédition montent en puissance en quelques secondes pour accélérer l'exportation des données.

Aucune perte de données

Les tâches d'expédition de données MaxCompute utilisent des consumer groups pour garantir la cohérence. Le décalage (offset) n'est validé qu'après la livraison des données, ce qui empêche toute perte.

Modifications du schéma

Si vous ajoutez une colonne à une table MaxCompute pendant l'expédition des données, la nouvelle colonne est écrite uniquement dans les nouvelles partitions, et non dans les partitions existantes ou actuelles.

Type d'erreur

Comptabilisé comme un enregistrement ayant échoué

Description

Erreur de partition

Oui

Cela concerne notamment les partitions invalides ou les colonnes de clé de partition inexistantes. L'enregistrement de données n'est pas écrit dans MaxCompute.

Colonne de données invalide

Non

Cela concerne notamment les incompatibilités de type de données ou les échecs de conversion de type. Seule la colonne concernée est ignorée ; les données des autres colonnes sont écrites normalement dans MaxCompute.

Colonne de données trop longue

Non

Cela se produit lorsque les données dépassent la limite de longueur du type string ou varchar. Les données de cette colonne sont tronquées avant l'écriture dans MaxCompute. Les données des autres colonnes sont écrites normalement.

Stabilité

Description

Surveillance et alertes

L'expédition de données propose une surveillance complète permettant de suivre en temps réel des métriques telles que la latence et le trafic. Configurez des alertes personnalisées selon vos besoins métier pour détecter rapidement les problèmes d'expédition, tels qu'un nombre insuffisant d'instances d'exportation ou des limites de quota réseau. Pour plus d'informations, consultez Configurer une alerte pour une tâche d'expédition de données MaxCompute (nouvelle version).

Élément

Description

Trop de partitions

<!--@p {"id":"a4ebfaa23cxw1"}--br>Au redémarrage d'une tâche, si le nombre de partitions est trop élevé et que l'opération d'écriture ne se termine pas dans les 5 minutes, des duplications de données peuvent survenir.

Échec d'écriture des données

Au redémarrage d'une tâche, si l'écriture des données dans MaxCompute échoue en raison d'erreurs d'autorisation ou de réseau, des duplications partielles de données peuvent survenir.

Élément

Description

Réseau pour l'expédition intra-région

Les données transitent par le réseau interne Alibaba Cloud lors de l'expédition au sein de la même région, ce qui garantit une meilleure stabilité et vitesse.

Élément

Description

Trafic de lecture

Une limite de trafic maximale s'applique à chaque projet et à chaque shard. Pour plus d'informations, consultez Lectures et écritures de données.

En cas de dépassement de la limite, fractionnez le shard ou demandez une augmentation de la limite de trafic de lecture pour le projet. Le dépassement entraîne l'échec de la tâche d'expédition de données MaxCompute lors de la lecture. La tâche tente au moins 10 fois en interne. En cas d'échec persistant, le système signale une erreur et redémarre la tâche.

Élément

Description

Instances concurrentes

Le nombre maximal d'instances d'exportation concurrentes est de 64.

Si le nombre de shards dépasse 64, plusieurs shards sont fusionnés dans une seule instance pour l'exportation. Le système s'efforce de maintenir un nombre équivalent de shards par instance.

Seuil d'écriture

• La vitesse d'écriture maximale pour une seule partition MaxCompute est de 10 Mo/s.

• La vitesse d'écriture maximale pour un seul projet MaxCompute varie selon la région. Par exemple, la limite pour la région Chine (Hangzhou) est de 1 Mo/s × 300 = 300 Mo/s. Voici le détail de la formule :

  • 1 Mo/s : vitesse d'écriture d'un seul slot dans MaxCompute. Pour plus d'informations, consultez Limites du service Lindorm Tunnel.

  • 300 : nombre maximal de slots disponibles pour un seul projet dans la région Chine (Hangzhou). Pour plus d'informations, consultez Ressources partagées.

Modification du schéma de table interdite pendant l'expédition

L'expédition de données MaxCompute (nouvelle version) utilise l'écriture en flux MaxCompute. Pendant l'écriture en flux, le service MaxCompute Tunnel interdit les modifications de schéma telles que l'insertion, la mise à jour ou la suppression de colonnes, ou la modification de l'ordre des colonnes dans la table cible. Pour plus d'informations, consultez Présentation du service Lindorm Tunnel.

En raison de cette restriction, vous ne pouvez pas utiliser simultanément l'expédition de données MaxCompute (nouvelle version) et l'expédition de données MaxCompute (version héritée) pour écrire dans la même table MaxCompute.

Tables spéciales non prises en charge

Vous ne pouvez pas écrire de données dans des tables externes MaxCompute, des tables transactionnelles ou des tables clusterisées.

Modifications du schéma de table

Si le schéma de votre table MaxCompute change, suspendez la tâche d'expédition de données MaxCompute pendant 20 minutes, puis redémarrez-la pour que la modification prenne effet.

Heure de début

• Démarrer à une heure spécifique : l'heure d'expédition des données est calculée en fonction de __receive_time__. L'heure de début ne peut pas être antérieure de plus de 24 heures à l'heure actuelle.

• Plage horaire spécifique : l'heure d'expédition des données est calculée en fonction de __receive_time__. L'heure de début ne peut pas être antérieure de plus de 24 heures à l'heure actuelle et ne peut pas être postérieure à l'heure de fin.

Élément

Description

Autorisation d'écriture

L'autorisation d'écriture MaxCompute prend en charge les utilisateurs RAM (Resource Access Management) et les rôles RAM. Vous devez accorder les autorisations séparément dans MaxCompute.

Élément

Description

Suspension d'une tâche d'expédition de données

Une tâche d'expédition de données enregistre le curseur de journal de la dernière livraison. Lors de la reprise, la tâche continue à partir du curseur enregistré. Les règles suivantes s'appliquent en cas de suspension d'une tâche d'expédition de données.

• Si vous suspendez une tâche pendant une période inférieure ou égale à la période de rétention des données, le système reprend l'expédition là où elle s'était arrêtée lors du redémarrage de la tâche. Aucune donnée n'est perdue.

• Si vous suspendez une tâche pendant une période supérieure à la période de rétention des données, le système commence l'expédition à partir de l'enregistrement de données le plus proche de la position de suspension lors du redémarrage de la tâche.

Élément

Description

L'activation d'une liste blanche dans la gestion de projet MaxCompute, telle qu'une liste blanche d'IP de réseau classique, peut entraîner l'échec de l'expédition des données

Exécutez les commandes suivantes dans MaxCompute pour résoudre l'échec de l'expédition des données causé par la liste blanche.

1. Exécutez setproject; select 1; pour interroger la configuration actuelle de la liste blanche.

2. Ajoutez AliyunLogSLRService,AliyunLogDefaultService à la liste blanche de service existante. La commande complète est la suivante :

   setproject odps.security.ip.whitelist.services=AliyunLogSLRService,AliyunLogDefaultService;

3. Une fois la configuration terminée, exécutez setproject; select 1; pour confirmer que la configuration de la liste blanche a pris effet.

Pour plus d'informations, consultez Échec de la tâche après activation d'une liste blanche IP