Cette rubrique présente le moteur MaxQA (MaxCompute Query Accelerator 2.0), notamment son architecture, ses cas d'utilisation, ses limites et son mode d'emploi.
MaxQA est généralement disponible. Pour toute question, soumettez un ticket ; l'équipe technique MaxCompute vous apportera son assistance.
Pour plus de détails opérationnels, consultez Accélération des requêtes MaxQA.
Description de la fonctionnalité
MaxQA (MaxCompute Query Accelerator 2.0, anciennement MCQA 2.0) est une solution d'accélération des requêtes pour MaxCompute qui répond à la demande croissante d'analyses de données en temps réel et quasi temps réel. Elle réduit considérablement les temps de réponse grâce à des pools de ressources d'accélération dédiés et à des optimisations complètes appliquées au chemin de contrôle, à l'optimiseur de requêtes, au moteur d'exécution, au moteur de stockage et au mécanisme de mise en cache. MaxQA convient idéalement aux charges de travail sensibles à la latence nécessitant une grande stabilité, telles que la business intelligence (BI), l'analyse interactive et les scénarios d'entrepôt de données en quasi temps réel.
La fonctionnalité MaxCompute MaxQA (anciennement MCQA2,0) offre les capacités suivantes :
-
Requêtes et insertions haute performance
Accélère les requêtes et les jobs d'insertion de données pour les ensembles de données à l'échelle du téraoctet, avec des temps d'exécution inférieurs à la seconde.
-
Compatibilité SQL
Entièrement compatible avec les fonctionnalités SQL de MaxCompute, y compris les fonctions définies par l'utilisateur (UDF), les Delta Tables et les vues matérialisées incrémentielles.
-
Isolation des ressources et gestion élastique
Met à disposition des pools de ressources d'accélération de requêtes isolés, dédiés à un seul locataire pour une stabilité accrue.
Prend en charge les règles d'allocation des ressources basées sur le temps et l'Auto Scaling pour les groupes de quotas interactifs et les pools de ressources de traitement par lots, afin d'améliorer l'utilisation des ressources.
Dispose d'une mise en cache de bout en bout : les jobs mettent automatiquement en cache les résultats intermédiaires et finaux de plusieurs étapes d'exécution. Les jobs suivants peuvent exploiter ce cache à n'importe quelle étape, ce qui accélère considérablement l'exécution des requêtes.
Prend en charge plusieurs outils BI (FineBI, Tableau, Quick BI).
Limites
Seules les instructions DDL, DML et DQL peuvent être exécutées dans MaxQA (à l'exclusion des instructions de gestion des autorisations, des instructions liées à Tunnel, du chargement ou du téléchargement de ressources, etc.).
MaxQA prend en charge les fonctions définies par l'utilisateur (UDF). Pour garantir la sécurité, chaque UDF s'exécute dans un environnement isolé. Afin d'éviter des fluctuations de performances importantes, au maximum 50 % des ressources d'une instance MaxQA peuvent être utilisées pour exécuter des UDF.
Par défaut, les instructions DQL retournent au maximum 1 million de lignes. Vous pouvez dépasser cette limite en définissant le paramètre
odps.sql.select.auto.limitsur une valeur plus élevée. Il est recommandé de régler cette valeur avec précaution selon les besoins réels de l'entreprise, car un volume de retour trop important peut affecter l'efficacité d'exécution.Les jobs qui nécessitent des Workers résidents dans le plan d'exécution, tels que Distributed MapJoin, ne sont pas actuellement pris en charge.
Si un job MaxQA échoue en raison de ces limites, vous devez relancer manuellement le job ou le soumettre à un pool de ressources de traitement par lots.
Architecture du service
Les principaux avantages techniques de MaxQA incluent des pools de ressources intelligents et dynamiquement isolés, des mécanismes de mise en cache de bout en bout, des E/S localisées, des plans d'exécution optimisés pour la latence (QueryPlan) et un moteur d'exécution plus efficace pour améliorer la vitesse des requêtes.
-
Pools de ressources intelligents et dynamiquement isolés
Chaque instance MaxQA fonctionne dans un environnement de calcul complètement isolé. Un locataire peut créer plusieurs instances, chacune correspondant à un groupe de quotas interactif. Ce modèle empêche le problème du « voisin bruyant » courant dans les environnements multi-locataires et garantit une latence de requête stable.
-
Mécanisme de cache de bout en bout
Les données telles que les tables analysées, les métadonnées, les plans d'exécution, les résultats intermédiaires et les résultats de requête finaux sont automatiquement mis en cache. Les jobs suivants peuvent exploiter ce cache à plusieurs étapes, ce qui accélère l'exécution. Étant donné que l'environnement de calcul est isolé au niveau de l'instance, le cache a une durée de vie plus longue et n'est pas affecté par les jobs d'autres instances.
-
E/S locales
Maximise l'utilisation du stockage local pour les données d'E/S provenant d'opérations telles que shuffle et spill. Cela réduit la dépendance aux systèmes externes et améliore la stabilité de la latence.
-
Plan d'exécution optimisé pour la latence
L'optimiseur de requêtes privilégie la faible latence dans tous les aspects de la planification, y compris la sélection du plan d'exécution physique, le calcul de la concurrence et le choix de l'algorithme de compression.
-
Chemin de contrôle simplifié
Le frontend se connecte directement au coordinateur. L'architecture du chemin de contrôle est optimisée et asynchrone pour rendre l'interaction plus efficace.
L'architecture technique de MaxQA est illustrée dans la figure suivante.
Scénarios
La fonctionnalité MaxQA couvre divers scénarios d'application, des rapports opérationnels quotidiens à l'analyse de données avancée. Elle est particulièrement adaptée aux contextes commerciaux exigeants en matière de temps de réponse et de stabilité. Qu'il s'agisse de support décisionnel à court terme ou de planification stratégique à long terme, MaxQA fournit un socle technique solide aux entreprises, améliorant ainsi la création de valeur pilotée par les données.
Scénario | Description | Caractéristiques | Exemples |
Requête ad hoc | Sélectionnez灵活ement les conditions de requête selon les besoins réels, obtenez rapidement les résultats et ajustez la logique de requête. Ceci convient aux développeurs ou analystes de données souhaitant effectuer des analyses à l'aide d'outils clients familiers. | • Nécessite une latence de requête de quelques secondes à quelques dizaines de secondes. • Généralement utilisé par les développeurs et analystes de données maîtrisant SQL. • Permet des conditions de requête flexibles pour s'adapter rapidement aux besoins commerciaux changeants. | • Scientifiques des données effectuant une analyse exploratoire. • Ingénieurs de données déboguant des requêtes temporaires dans les processus ETL. |
Business intelligence (BI) | Utilisez MaxCompute pour construire des entrepôts de données à l'échelle de l'entreprise et traitez les données via ETL en données agrégées consommables par les métiers. Tirez parti de la faible latence, de l'isolation des ressources, de la concurrence élastique, de la mise en cache des données et d'autres fonctionnalités de MaxQA pour répondre aux exigences de génération de rapports multi-utilisateurs, à réponse rapide, ainsi qu'aux besoins d'analyse statistique et de rapports fixes. | • Les requêtes sont généralement exécutées sur des données de résultats agrégés. • Idéal pour les scénarios avec des volumes de données réduits, des requêtes multidimensionnelles, des requêtes fixes et une fréquence de requête élevée. • Nécessite des performances élevées, avec des réponses en quelques secondes (par exemple, la plupart des requêtes se terminent en moins de 5 secondes). | • Génération de rapports de ventes quotidiens. • Surveillance des indicateurs clés de l'entreprise en temps réel. • Génération périodique de rapports financiers. |
Analyse interactive des données | Les outils BI en libre-service et les plateformes d'exploration interactive des données permettent aux utilisateurs non techniques d'effectuer facilement des analyses complexes. Ces outils implémentent généralement le filtrage dynamique, le tri, l'agrégation et d'autres fonctions via une série de courtes requêtes, offrant une expérience opérationnelle flexible et intuitive. | • Prend en charge les opérations glisser-déposer, éliminant le besoin d'écrire des instructions SQL complexes. • Fournit un retour de requête rapide pour aider les utilisateurs à itérer sur leur analyse. • Convient aux analystes de données de tous niveaux, des débutants aux experts. | • Utilisation de Tableau ou Fine BI pour l'analyse visuelle. • Exploration de données sur les plateformes d'analyse en ligne. |
Requêtes détaillées et analyse de grands volumes de données | MaxQA identifie automatiquement les caractéristiques des jobs de requête, répond et traite rapidement les jobs à petite échelle, et adapte automatiquement les ressources aux jobs à grande échelle. Cela répond aux besoins des analystes qui doivent traiter des requêtes de différentes échelles et complexités. | Exploration de grands ensembles de données historiques, nécessitant généralement seulement un petit sous-ensemble des données. • Exigences de latence modérées, équilibrant les vitesses de traitement en temps réel et par lots. • Généralement utilisé par les analystes commerciaux pour découvrir des modèles, identifier des opportunités et valider des hypothèses à partir de données détaillées. | • Analyse des parcours comportementaux des utilisateurs. • Construction de segments et de profils clients. • Exploration des modèles d'utilisation des produits. |
Description des paramètres système pour différentes spécifications de CU
|
Nombre de CU |
Nombre maximal de jobs parallèles |
Délai d'expiration du job (min) |
Concurrence maximale par job |
|
25CU |
25CU |
120min |
Nombre de CU × 30 |
|
50CU |
50CU |
120min |
Nombre de CU × 30 |
|
75CU |
75CU |
120min |
Nombre de CU × 30 |
|
100CU |
100CU |
120min |
Nombre de CU × 30 |
|
125CU |
125CU |
120min |
Nombre de CU × 30 |
|
150CU |
150CU |
120min |
Nombre de CU × 30 |
|
200CU |
200CU |
120min |
Nombre de CU × 30 |
|
[200, 600)CU |
Identique au nombre de CU |
120min |
Nombre de CU × 30 |
|
[600, 1000)CU |
Identique au nombre de CU |
120min |
Nombre de CU × 30 |
|
[1000, 2000)CU |
Identique au nombre de CU |
240min |
Nombre de CU × 30 |
|
[2000, 3000)CU |
Identique au nombre de CU |
360min |
Nombre de CU × 30 |
|
[3000, 4000)CU |
Identique au nombre de CU |
480min |
Nombre de CU × 30 |
|
[4000, 5000)CU |
Identique au nombre de CU |
600min |
Nombre de CU × 30 |
|
[5000, 6000)CU |
Identique au nombre de CU |
720min |
Nombre de CU × 30 |
Résultats des tests de performance TPC-DS
Les résultats peuvent varier légèrement selon la région. Les performances réelles dans votre environnement peuvent différer.
|
Spécification |
10 Go |
100 Go |
1 To |
|
25CU |
550 s |
498 s |
3634 s |
|
50CU |
203 s |
295 s |
1531 s |
|
100CU |
198 s |
260 s |
692 s |
Le rapport de test de performance ci-dessus a été obtenu à partir de l'environnement de test de la région Chine (Pékin).
Pour les plans de test détaillés et le contenu, consultez Tests de performance TPC-DS.
MaxQA vs. MCQA (plus ouvert aux nouvelles activations)
|
Élément de comparaison |
MCQA |
MaxQA (MCQA2,0) |
|
Architecture |
Basé sur des pools de ressources Serverless. |
Environnement de calcul isolé mono-locataire. |
|
Stabilité de la latence |
Moyenne. |
Bonne. |
|
Performance de calcul |
Significativement meilleure que le mode hors ligne, mais la stabilité est insuffisante. |
Intègre plusieurs optimisations, offrant de meilleures performances. |
|
Types de jobs pris en charge |
Prend uniquement en charge DQL. |
Tous les types de capacités SQL, y compris DDL, DQL et DML. |
|
Méthode d'utilisation |
Activer le mode interactif. |
Spécifiez le nom du groupe de quotas interactif lors de la soumission d'un job, ou sélectionnez-le directement sur la page d'exécution ou de configuration de planification d'un nœud SQL DataWorks. Pour plus d'informations, consultez Accélération des requêtes MaxQA. |
|
Routage des quotas |
Pris en charge. |
Pris en charge. |
|
Paiement à l'utilisation |
Pris en charge. |
Non pris en charge actuellement. |
|
Concept de session |
Oui. Les jobs soumis depuis le même client dans des périodes adjacentes peuvent appartenir à une session, chaque session correspondant à un ID d'instance. |
Non. Chaque job SQL correspond à un ID d'instance. |
|
Mécanisme de secours |
Dispose de la capacité de basculer automatiquement vers le mode de traitement par lots. |
Pris en charge. Vous pouvez également configurer les règles de secours sur la page de configuration de planification DataWorks. Pour plus d'informations, consultez Utilisation de DataWorks DataStudio. |
Méthode d'utilisation
Pour les méthodes d'utilisation spécifiques de MaxQA, consultez Accélération des requêtes MaxQA.