SQL dédié pour une analyse de journaux haute performance à grande échelle - Simple Log Service

Pourquoi utiliser le SQL dédié

Limites des requêtes standard

Les requêtes standard présentent les limitations suivantes pour les données à grande échelle :

Résultats inexacts : Les limites de ressources (tranches de temps, E/S et volume de données) peuvent empêcher le chargement complet des données, ce qui affecte la précision statistique.
Goulots d'étranglement de performance : Un seul shard prend en charge uniquement 400 Mo de données, ce qui limite l'analyse des journaux au niveau du téraoctet et les scénarios à haute concurrence.
Concurrence des ressources : Plusieurs locataires partagent les ressources, ce qui entraîne des conflits.

Valeurs clés du SQL dédié

Mode amélioré : Haute performance et haute concurrence

Le mode amélioré cible les performances en temps réel et la haute concurrence :

Performance : Un nœud unique traite jusqu'à 2 Go de données avec jusqu'à 100 requêtes simultanées.
Mise à l'échelle élastique : Les ressources de stockage et de calcul s'adaptent dynamiquement selon les besoins.
Scénarios typiques : Alertes sur le taux de réussite des API, surveillance en temps réel et requêtes ponctuelles à haute concurrence.

Mode pleine précision

Le mode pleine précision cible les scénarios nécessitant des résultats exacts :

Garantie zéro erreur : Assure le chargement complet des données en échangeant du temps contre des ressources.
Ressources dédiées : Garantit un fonctionnement stable jusqu'à la fin de la tâche ou l'expiration du délai.
Scénarios typiques : Rapprochement financier, audits de sécurité, analyse sur des périodes ultra-longues et analyse de tendances à grande échelle.

Important

La durée d'exécution maximale d'une requête SQL est de 55 secondes et la concurrence maximale est de 5.

Aspect

Mode amélioré

Mode pleine précision

Objectif principal

Accélération des performances

Précision des résultats

Politique de ressources

Pool de ressources partagées et mise à l'échelle élastique

Pool de ressources dédiées et compromis temps/précision

Scénarios typiques

Surveillance en temps réel et analyse à haute concurrence

Scénarios d'analyse rigoureuse, tels que le rapprochement financier, les audits de sécurité, l'analyse sur des périodes ultra-longues et l'analyse de tendances à grande échelle.

Tolérance à l'inexactitude

Des erreurs limitées sont autorisées

Zéro erreur requis

Fonctionnement du SQL dédié

Amélioration SQL

Les données dans Simple Log Service sont stockées dans des shard. Chaque shard dispose d'une capacité de traitement limitée ; si le volume de données est trop important, les requêtes peuvent être tronquées. L'ajout de shards améliore le débit, mais uniquement pour les nouvelles données, et augmente le nombre de clients de consommation en temps réel. Amélioration SQL met à l'échelle dynamiquement les ressources de calcul pour améliorer l'analyse. Scénarios typiques :

Analyses de données en temps réel nécessitant des analyses haute performance.
Analyse sur de longues périodes, telle que l'analyse mensuelle des données.
Analyse à grande échelle de centaines de milliards de lignes.
Analyse à haute concurrence (plus de 15 requêtes SQL simultanées), telle que les rapports multidimensionnels et les requêtes ponctuelles.

Précision complète SQL

Lors des analyses à grande échelle, le chargement des données peut être interrompu par :

Épuisement des tranches de temps : Les ressources temporelles allouées sont épuisées.
Seuil de volume de données : Le total des données chargées dépasse la limite.
Seuil de nombre de lignes : Le nombre de lignes chargées dépasse la limite.
Seuil d'E/S : Les lectures sur disque dépassent la limite.

Ces interruptions peuvent entraîner un chargement incomplet des données, affectant ainsi la précision des résultats. Précision complète SQL résout ces problèmes. Scénarios typiques :

Surveillance et alerting métier : Une surveillance critique nécessite des résultats d'analyse précis.
Analyse des opérations métier : Analyse des indicateurs clés impliquant les revenus, la finance, la rétention et la conversion.
Services de données en ligne : Fourniture aux utilisateurs externes de résultats SQL qui doivent être entièrement précis.

Informations sur la facturation

Les frais sont calculés en fonction du temps CPU réel utilisé pour l'analyse SQL. L'unité est le cœur-heure, qui représente le travail effectué par un cœur de CPU fonctionnant pendant une heure. Pour plus d'informations, consultez les exemples de facturation du SQL dédié.

Paiement à l'utilisation : Frais pour le SQL dédié = Temps CPU (heures) × Prix unitaire par heure
Forfait de ressources : L'utilisation est convertie en unités de coût (CU) et déduite de votre forfait prépayé.

Limites

Limite	Instance à usage général	SQL dédié
Limite	Instance à usage général	Amélioration SQL	Pleine précision
Concurrence	Jusqu'à 15 requêtes simultanées par projet.	Jusqu'à 100 requêtes simultanées par projet.	Jusqu'à 5 requêtes simultanées par projet.
Volume de données	Jusqu'à 400 Mo par requête (hors données mises en cache). Les données excédentaires sont tronquées avec un marqueur résultat de requête incomplet.	Jusqu'à 2 Go par requête (hors données mises en cache). Les données excédentaires sont tronquées avec un marqueur résultat de requête incomplet.	Illimité.
Activation du mode	Activé par défaut.	Activez via le commutateur. Amélioration SQL.	Activez via le commutateur. Précision complète SQL.
Frais	Gratuit.	Facturé en fonction du temps CPU réel utilisé.	Facturé en fonction du temps CPU réel utilisé.
Validité des données	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser les données historiques, vous devez réindexer les données.	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser les données historiques, vous devez réindexer les données.	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser les données historiques, vous devez réindexer les données.
Résultats renvoyés	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo renvoient une erreur. Pour renvoyer plus de données, utilisez la clause LIMIT.	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo renvoient une erreur. Pour renvoyer plus de données, utilisez la clause LIMIT.	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo renvoient une erreur. Pour renvoyer plus de données, utilisez la clause LIMIT.
Taille de la valeur du champ	La longueur maximale par défaut de la valeur du champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant la limite est exclu de l'analyse et de la recherche. Remarque Pour modifier la limite, définissez Maximum Length of Text Field. Le paramètre mis à jour s'applique uniquement aux données incrémentielles. Créez un index.	La longueur maximale par défaut de la valeur du champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant la limite est exclu de l'analyse et de la recherche. Remarque Pour modifier la limite, définissez Maximum Length of Text Field. Le paramètre mis à jour s'applique uniquement aux données incrémentielles. Créez un index.	La longueur maximale par défaut de la valeur du champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant la limite est exclu de l'analyse et de la recherche. Remarque Pour modifier la limite, définissez Maximum Length of Text Field. Le paramètre mis à jour s'applique uniquement aux données incrémentielles. Créez un index.
Longueur de l'instruction de requête	Le paramètre query de l'API `GetLogs` est limité à 65 536 octets (64 Ko). Les requêtes dépassant cette limite renvoient une erreur `ParameterInvalid` : « The length of query cannot be greater than 65536 ». Divisez les longues requêtes en plusieurs requêtes plus courtes et exécutez-les par lots. Cette limite s'applique aux instances à usage général et au SQL dédié.
Délai d'expiration	Délai d'expiration maximal : 55 secondes.	Délai d'expiration maximal : 55 secondes.	Délai d'expiration maximal : 55 secondes.
Nombre de bits pour les valeurs de champ de type double	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés avec plus de 52 bits perdent en précision.	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés avec plus de 52 bits perdent en précision.	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés avec plus de 52 bits perdent en précision.