ApsaraDB for SelectDB est un service d'entreposage de données en temps réel natif cloud, fondé sur Apache Doris. Il dissocie le calcul du stockage : les instances gèrent le routage des requêtes, les clusters assurent le traitement et Object Storage Service (OSS) fournit le stockage persistant.
Fonctionnement
L'architecture répartit trois responsabilités sur des couches distinctes :
Couche service — Les instances reçoivent les connexions, analysent les requêtes SQL et routent les demandes. Chaque instance comprend un ensemble de frontends (FEs) gérés par ApsaraDB for SelectDB.
Couche calcul — Les clusters exécutent les requêtes et traitent les écritures. Chaque cluster contient un ou plusieurs backends (BEs), disposant chacun de ressources de calcul et de cache dédiées.
Couche stockage — OSS conserve l'ensemble des données persistantes. Grâce à la haute fiabilité intégrée d'OSS, ApsaraDB for SelectDB ne nécessite pas de réplicas de données séparés.
Requêtes d'écriture
Lorsqu'une requête d'écriture est reçue :
Initiez la requête via l'interface d'écriture fournie par ApsaraDB for SelectDB ou un outil d'importation existant.
L'instance transfère la requête au cluster spécifié.
Le cluster écrit les données dans le bucket OSS et dans le cache.
Une fois les données persistées dans OSS, le système renvoie une réponse de succès.
Requêtes de lecture
Lorsqu'une requête de lecture est reçue :
L'instance analyse l'instruction SQL et utilise un optimiseur intelligent pour générer un plan d'exécution efficace.
La requête est transférée au cluster spécifié.
Le cluster effectue un traitement massivement parallèle (MPP) en lisant les données depuis OSS ou le cache selon les besoins.
Les résultats sont retournés via le protocole MySQL.
Pour accélérer les requêtes, les clusters utilisent une architecture d'exécution par pipeline combinée à l'indexation, à la mise en cache et à la vectorisation.
Concepts clés
Instances
L'instance constitue l'unité de base pour l'achat et la gestion des ressources. Elle reçoit les connexions client et héberge un ensemble de FEs dont ApsaraDB for SelectDB assure la mise à l'échelle, sans aucune intervention de votre part.
Les ressources entre les instances sont physiquement isolées. Elles conviennent donc aux charges de travail indépendantes ou présentant des niveaux de sensibilité des données différents.
ApsaraDB for SelectDB est compatible avec le protocole de connexion MySQL et le langage SQL standard. Connectez-vous à l'aide de n'importe quel client compatible MySQL : CLI MySQL, pilotes Java Database Connectivity (JDBC), pilotes Open Database Connectivity (ODBC) ou outils de visualisation.
Déployez votre application dans la même région que votre instance ApsaraDB for SelectDB afin de minimiser la latence réseau.
Clusters
Un cluster est un système distribué chargé du traitement des requêtes. Il se compose d'un ou plusieurs BEs, chacun disposant de ressources de calcul et de cache.
L'accès à OSS présentant une latence plus élevée que le stockage local, les clusters utilisent une mise en cache multi-niveaux (en mémoire et sur disque) pour accélérer l'accès aux données. Lors de la mise à l'échelle du cluster, les caches sont préchargés et migrés afin de garantir des performances de requête fluides.
Architecture multi-cluster
Une seule instance peut contenir plusieurs clusters, à l'image des files d'attente ou groupes de calcul d'une architecture distribuée classique. Les clusters d'une même instance partagent les mêmes données sous-jacentes dans OSS, ce qui élimine tout stockage redondant.
L'architecture multi-cluster repose sur trois propriétés fondamentales :
Partage des données — Tous les clusters accèdent aux mêmes données stockées dans OSS.
Isolation du calcul — Les ressources de calcul et de cache sont totalement indépendantes d'un cluster à l'autre. Vous pouvez dimensionner chaque cluster individuellement.
Concurrence lecture/écriture — Les opérations de lecture et d'écriture s'exécutent en parallèle. Dès qu'une écriture se termine, les données deviennent immédiatement accessibles à tous les clusters.
Cas d'usage de l'architecture multi-cluster
| Scénario | Configuration recommandée |
|---|---|
| Isoler les lectures des écritures | Dédiez un cluster à l'ingestion et un autre à l'analyse |
| Séparer les charges en ligne et hors ligne | Exécutez les requêtes sensibles au temps sur un cluster distinct de celui des traitements par lots |
| Dissocier la production des tests | Isolez le trafic de test sur un cluster dédié pour éviter tout impact sur la production |
Stockage
ApsaraDB for SelectDB utilise OSS pour le stockage persistant des données, offrant deux avantages majeurs par rapport aux entrepôts de données traditionnels :
Absence de gestion des réplicas — La fiabilité inhérente à OSS supprime la nécessité de maintenir des réplicas de données.
Coût de stockage réduit — Le coût unitaire de stockage est inférieur de plus de 90 % à celui des solutions d'entreposage traditionnelles.
Le stockage est facturé selon le modèle paiement à l'utilisation, sans réservation de capacité préalable. Des plans de stockage sont également disponibles pour réduire davantage les coûts.
Afin d'améliorer les performances d'analyse, les systèmes de stockage et de calcul d'ApsaraDB for SelectDB sont étroitement intégrés.
Organisation des données
ApsaraDB for SelectDB organise les données pour maximiser les performances des requêtes :
Partitionnement des données — Les données sont divisées par temps ou par valeur de hachage, permettant un traitement parallèle entre les BEs et l'élagage des données lors des requêtes.
Stockage hybride ligne-colonne — Le stockage en colonnes, utilisé par défaut, est optimisé pour les requêtes analytiques à grande échelle. Le stockage en lignes reste disponible pour les requêtes ponctuelles nécessitant des performances élevées.
Index — Plusieurs types d'index permettent une localisation précise des données, améliorant les performances des requêtes d'un ordre de grandeur.
Modèles de données
Choisissez un modèle de données adapté à votre charge de travail :
| Modèle | Usage recommandé |
|---|---|
| Modèles uniques | Charges de travail exigeant des clés primaires uniques ou des mises à jour efficaces, telles que les commandes e-commerce ou les données d'attributs utilisateur |
| Modèles d'agrégation | Charges de travail conservant tous les enregistrements originaux, comme l'analyse de journaux ou de factures |
| Modèles dupliqués | Statistiques d'agrégation exploitant la pré-agrégation pour améliorer les performances, notamment pour l'analyse du trafic web ou les rapports personnalisés |
Écosystème externe
ApsaraDB for SelectDB s'intègre aux outils tiers de la pile de données :
Importation de données — Importez des données depuis des sources Alibaba Cloud ou auto-gérées à l'aide de divers outils d'intégration. Pour plus de détails, consultez Outils d'importation de données.
Visualisation des données — Connectez directement des outils de visualisation compatibles MySQL à ApsaraDB for SelectDB pour le développement et l'analyse de données. Pour plus de détails, consultez Visualisation des données.
Requêtes fédérées — Interrogez des lacs de données et des bases de données externes, avec prise en charge des lectures et écritures, grâce aux capacités intégrées de lakehouse. Cela réduit les coûts de ressources et de maintenance de votre pile technologique d'analyse de données. Pour plus de détails, consultez Lake warehouse.