Cette rubrique décrit les fonctionnalités d'AnalyticDB for MySQL.
Moteurs de calcul
AnalyticDB for MySQL prend en charge trois types de moteurs de calcul : Spark, XIHE avec traitement massivement parallèle (MPP) et XIHE avec traitement synchrone par lots (BSP).
Moteur Spark
La version Data Lakehouse Edition (V3.0) est entièrement compatible avec Apache Spark, un moteur de calcul programmable multilingue, et permet une migration transparente des applications. Ce moteur est idéal pour le traitement ETL (extraction, transformation, chargement) complexe et les scénarios d'apprentissage automatique.
Moteur XIHE MPP
Le moteur XIHE MPP utilise une architecture MPP et traite les données pour toutes les tâches d'une requête. Il met en œuvre l'informatique en flux continu via des pipelines de données, répondant ainsi aux exigences d'analyse ad hoc à faible latence.
Moteur XIHE BSP
Le moteur XIHE BSP divise les tâches au sein d'un graphe orienté acyclique (DAG) et utilise une architecture de calcul par lots pour traiter les données de chaque tâche. Ce moteur prend en charge le stockage sur disque et convient parfaitement aux scénarios d'analyse complexes impliquant de grands volumes de données, un débit élevé et des ressources limitées. La facturation des ressources consommées s'effectue selon le modèle paiement à l'utilisation. Des ressources dédiées sont allouées à chaque requête, évitant ainsi la contention entre les requêtes. De plus, le moteur XIHE BSP offre de puissantes capacités de basculement et peut relancer les tâches ayant échoué.
Le moteur XIHE BSP ne permet pas l'utilisation de fonctions définies par l'utilisateur (UDF) ni l'écriture dans des tables Hudi.
Comparaison entre XIHE MPP et XIHE BSP
Lorsque vous soumettez une requête au nœud frontal et spécifiez un groupe de ressources interactif pour l'exécuter, la requête est traitée en mode XIHE MPP sur les nœuds de calcul permanents. Si vous spécifiez un groupe de ressources de type Job, la requête est traitée en mode XIHE BSP sur les nœuds de calcul temporaires.
|
Élément |
XIHE MPP |
XIHE BSP |
|
Groupe de ressources |
Groupe de ressources interactif |
Groupe de ressources de type Job |
|
Temps de réponse (RT) |
De l'ordre de la milliseconde |
De l'ordre de la seconde ou de la minute |
|
Scénario |
Applications sensibles à la latence avec un nombre élevé de requêtes par seconde (QPS) |
Applications à haut débit avec des exigences de latence relativement faibles |
|
Isolation |
Entre les groupes de ressources |
Entre les requêtes |
|
Syntaxe SQL |
Aucune différence |
|
Moteurs de stockage
Moteur de stockage XUANWU (C-Store)
Le moteur de stockage XUANWU offre un stockage de données fiable, disponible et performant, adapté aux entreprises et économique, jetant les bases d'écritures en temps réel à haut débit et de requêtes en temps réel haute performance.
Moteur de stockage Hudi
La version Data Lakehouse Edition (V3.0) utilise Object Storage Service (OSS), économique, et des solutions de stockage open source Apache Hudi pour mettre en œuvre le traitement incrémentiel des données en quasi temps réel.
Méthodes de connexion
Le tableau suivant décrit les méthodes de connexion prises en charge par AnalyticDB for MySQL.
|
Méthode de connexion |
Références |
|
Outil de ligne de commande MySQL |
Utiliser l'outil de ligne de commande MySQL pour se connecter à AnalyticDB for MySQL |
|
Système métier |
Java, Pool de connexions Druid, Python, PHP, C# pour macOS, et Go |
|
Client |
|
|
Outil BI |
FineBI, Quick BI, Yonghong BI, DataV, Tableau, QlikView, FineReport, Power BI, et Smartb |
Sécurité
Listes d'autorisation d'adresses IP
Par défaut, les clusters AnalyticDB for MySQL n'autorisent pas l'accès depuis des connexions externes. Pour accéder à un cluster AnalyticDB for MySQL, ajoutez l'adresse IP ou le bloc CIDR de votre client à une liste d'autorisation du cluster. Pour plus d'informations, consultez la section Configurer une liste d'autorisation.
Audit SQL
L'audit SQL enregistre les informations relatives aux opérations DML et DDL. Il vous aide à effectuer des analyses de pannes, des analyses comportementales et des audits de sécurité, tout en améliorant la sécurité de la base de données. Pour plus d'informations, consultez la section Configurer l'audit SQL.
Chiffrement de disque
AnalyticDB for MySQL propose la fonctionnalité de chiffrement de disque. Celle-ci chiffre les données sur chaque disque de votre cluster en s'appuyant sur le stockage par blocs. Ainsi, vos données restent protégées même en cas de fuite. Pour plus d'informations, consultez la section Chiffrement de disque.
Contrôle d'accès
Resource Access Management (RAM) contrôle les autorisations d'accès des utilisateurs RAM aux ressources cloud. Lorsqu'un utilisateur RAM crée un cluster AnalyticDB for MySQL, seul cet utilisateur et le compte Alibaba Cloud auquel il appartient peuvent afficher et gérer le cluster. Si plusieurs utilisateurs de votre organisation doivent utiliser le cluster AnalyticDB for MySQL, créez plusieurs utilisateurs RAM et accordez-leur les autorisations nécessaires pour afficher ou gérer le cluster AnalyticDB for MySQL. Pour plus d'informations, consultez la section Gérer les utilisateurs RAM et les autorisations.
Contrôle des autorisations de base de données
Après avoir créé un compte de base de données, vous pouvez effectuer des opérations sur celle-ci. Par exemple, vous pouvez créer ou supprimer des bases de données, des tables et des vues. Vous pouvez également insérer, modifier et interroger des données. AnalyticDB for MySQL propose deux types de comptes de base de données : les comptes privilégiés et les comptes standard. Un compte privilégié peut accorder différents niveaux d'autorisations aux comptes standard, tels que des autorisations au niveau du cluster, de la base de données, de la table ou de la colonne. Pour plus d'informations, consultez les sections Types de compte et Modèle d'autorisation de base de données.
Surveillance et alertes
AnalyticDB for MySQL fournit des métriques de performance pour vous aider à comprendre clairement l'état de santé et les performances des nœuds du cluster. Pour plus d'informations, consultez la section Afficher les informations de surveillance. De plus, AnalyticDB for MySQL peut envoyer des alertes aux contacts si les valeurs d'utilisation du CPU, d'utilisation du disque, d'IOPS, de durée des requêtes et de nombre de connexions à la base de données dépassent les seuils spécifiés. Pour plus d'informations, consultez la section Configurer une règle d'alerte.
Sauvegarde et restauration
AnalyticDB for MySQL prend en charge la sauvegarde complète périodique et la sauvegarde des journaux, ce qui permet de prévenir efficacement la perte de données.
Sauvegarde complète des données
AnalyticDB for MySQL compresse les snapshots complets des données d'un cluster et les stocke sur des supports de stockage hors ligne. Pour effectuer une restauration complète des données, AnalyticDB for MySQL clone un cluster, télécharge les jeux de sauvegarde, puis restaure les données dans le nouveau cluster. Pour plus d'informations, consultez la section Gérer les sauvegardes.
Sauvegarde des journaux
AnalyticDB for MySQL télécharge en parallèle les journaux redo depuis plusieurs nœuds vers OSS pour stocker les journaux en temps réel. Vous pouvez restaurer les données d'un cluster à un instant précis en utilisant les sauvegardes complètes des données et leurs journaux redo subséquents jusqu'au moment souhaité. Cela garantit la sécurité des données pendant cette période. Pour plus d'informations, consultez la section Gérer les sauvegardes.
Restauration des données à partir des sauvegardes
AnalyticDB for MySQL prend en charge la restauration complète des données et la restauration à un instant précis. AnalyticDB for MySQL clone un cluster et restaure les données des jeux de sauvegarde téléchargés dans le nouveau cluster. Pour plus d'informations, consultez la section Cloner un cluster.
Diagnostics et optimisation intelligents
Optimisation du schéma
La conception et l'optimisation du schéma peuvent réduire considérablement les coûts de la base de données et améliorer les performances des requêtes. AnalyticDB for MySQL analyse régulièrement vos algorithmes en se basant sur les métriques de performance des requêtes SQL et sur des informations pertinentes telles que les tables et les index. Il propose automatiquement des suggestions d'optimisation et un déploiement en un clic, vous permettant d'appliquer facilement les recommandations. Cela simplifie grandement le processus d'optimisation. Pour plus d'informations, consultez la section Optimisation du schéma.
Modèle SQL
La fonctionnalité de modèle SQL est conçue pour les instructions SQL en temps réel. AnalyticDB for MySQL peut regrouper des instructions SQL similaires dans un modèle SQL et effectuer des diagnostics et des analyses intelligents sur ce modèle, améliorant ainsi l'efficacité du diagnostic. Les résultats des diagnostics des modèles SQL peuvent servir de base efficace pour l'optimisation de la base de données. Pour plus d'informations, consultez la section Optimisation du schéma.
Diagnostic SQL
AnalyticDB for MySQL fournit des résultats de diagnostic et des suggestions d'optimisation basés sur les statistiques des requêtes, des étapes et des opérateurs. Pour plus d'informations, consultez la section Présentation du diagnostic SQL.
Importation et exportation de données
Vous pouvez importer des données depuis d'autres bases de données, OSS, Tablestore, Apsara File Storage for HDFS, MaxCompute, ApsaraMQ for Kafka ou Log Service vers AnalyticDB for MySQL, et exporter des données depuis AnalyticDB for MySQL vers d'autres bases de données, OSS, Apsara File Storage for HDFS ou MaxCompute. Pour plus d'informations, consultez les sections Présentation de l'importation de données et Présentation de l'exportation de données.
Ingestion de données
Gestion des sources de données
AnalyticDB for MySQL Data Lakehouse Edition (V3.0) prend en charge les sources de données ApsaraMQ for Kafka, Log Service et Hive. Chaque travail de synchronisation ou de migration de données nécessite une source de données. Les sources de données peuvent être réutilisées entre différents travaux de synchronisation ou de migration de données, ce qui simplifie la création de travaux dupliqués. Vous pouvez créer, interroger, modifier et supprimer des sources de données.
Synchronisation des données
AnalyticDB for MySQL Data Lakehouse Edition (V3.0) vous permet de créer des travaux de synchronisation de données pour synchroniser les données d'ApsaraMQ for Kafka et de Log Service vers la version Data Lakehouse Edition en temps réel. Cela permet de répondre à des exigences telles que l'ingestion de données en quasi temps réel, l'archivage complet des données et l'analyse élastique. Pour plus d'informations, consultez les sections Utiliser la synchronisation des données pour synchroniser les données Kafka vers Data Lakehouse Edition et Utiliser la synchronisation des données pour synchroniser les données Log Service vers Data Lakehouse Edition.
Migration de données
AnalyticDB for MySQL Data Lakehouse Edition (V3.0) vous permet de créer des travaux de migration de données pour migrer les données Hive vers OSS. Pour plus d'informations, consultez la section Utiliser la migration de données pour migrer les données Hive vers Data Lakehouse Edition.
Découverte de métadonnées
AnalyticDB for MySQL Data Lakehouse Edition (V3.0) peut découvrir automatiquement les compartiments OSS et les objets de données stockés dans la même région, et créer et mettre à jour les métadonnées du lac de données. Pour plus d'informations, consultez la section Utiliser la découverte de métadonnées pour importer des données vers Data Lakehouse Edition.
Gestion des données
AnalyticDB for MySQL Data Lakehouse Edition (V3.0) vous permet de gérer les bases de données et les tables de manière visualisée. Vous pouvez afficher les informations relatives aux bases de données, aux tables et aux vues dans la console AnalyticDB for MySQL. Pour plus d'informations, consultez la section Gérer les données.
Développement de travaux
AnalyticDB for MySQL Data Lakehouse Edition (V3.0) propose deux moteurs pour mettre en œuvre différentes méthodes de développement de travaux : le moteur Spark open source et le moteur XIHE interne développé par l'équipe AnalyticDB for MySQL. Pour plus d'informations, consultez la section Développement de travaux.
Planification des travaux
AnalyticDB for MySQL Data Lakehouse Edition (V3.0) fournit une planification des travaux pour les applications SQL par lots et Spark afin de vous aider à effectuer un traitement ETL complexe. Pour plus d'informations, consultez la section Effectuer la planification des travaux dans Data Lakehouse Edition.
SQL
XIHE SQL
Lorsque vous exécutez des instructions XIHE SQL, AnalyticDB for MySQL utilise le moteur XIHE interne, hautement compatible avec MySQL. Le tableau suivant décrit la syntaxe, les fonctions et les types de données pris en charge par XIHE SQL.
Spark SQL
AnalyticDB for MySQL Data Lakehouse Edition (V3.0) prend en charge le moteur Spark, entièrement compatible avec Apache Spark. Vous pouvez utiliser Spark SQL pour effectuer des opérations sur le lac de données. Pour plus d'informations, consultez la section Référence SQL.