Spark sans serveur pour AnalyticDB for MySQL est un service d'analyse de mégadonnées fondé sur Apache Spark, développé par l'équipe AnalyticDB for MySQL. Une fois votre cluster AnalyticDB for MySQL créé, soumettez des jobs Spark avec une configuration minimale : aucun déploiement de cluster Spark n'est requis.
Fonctionnement
Apache Spark est un système de traitement distribué open source conçu pour les charges de travail liées aux mégadonnées. Il prend en charge SQL et DataFrames dans plusieurs langages de programmation et couvre le SQL, le traitement par lots, le traitement en flux continu, l'apprentissage automatique et le calcul graphique.
Spark sans serveur intègre Apache Spark aux technologies serverless et cloud-native. L'équipe AnalyticDB for MySQL propose une personnalisation approfondie du moteur open source, notamment une intégration native avec les entrepôts de données AnalyticDB for MySQL et un accès optimisé à Object Storage Service (OSS).
Concepts clés
| Terme | Description |
|---|---|
| Job Spark | Unité de travail soumise à Spark sans serveur. Chaque job s'exécute indépendamment avec ses propres ressources allouées. |
| Driver | Processus pilote Spark qui coordonne l'exécution du job. |
| Executor | Processus exécuteur Spark qui effectue les tâches de calcul. |
Avantages
| Fonctionnalité | Description |
|---|---|
| Simplicité d'utilisation | Soumettez des jobs via des API, des scripts ou la console selon le même flux de travail qu'Apache Spark, sans configurer les composants sous-jacents. |
| Gestion opérationnelle simplifiée | Aucune configuration de serveur ni de Hadoop requise, et aucune mise à l'échelle manuelle des ressources. AnalyticDB for MySQL gère l'infrastructure. |
| Mise à l'échelle au niveau du job | Allouez des ressources indépendamment pour le driver et l'executor de chaque job. Les ressources montent en puissance en quelques secondes. |
| Réduction des coûts | Payez uniquement les ressources consommées par un job. Aucun frais n'est appliqué lorsque aucune ressource n'est utilisée. |
| Performances améliorées | Dans les scénarios typiques, l'accès aux données OSS est jusqu'à 5 fois plus rapide qu'avec Apache Spark standard. Les performances de connexion atteignent jusqu'à 6 fois celles d'une connexion Java Database Connectivity (JDBC). Une solution zero-ETL permet une intégration directe entre AnalyticDB for MySQL et Apache Spark. |
Cas d'utilisation
| Cas d'utilisation | Description |
|---|---|
| ETL à grande échelle | Traitez et transformez d'importants volumes de données sans provisionner de cluster Spark dédié. |
| Apprentissage automatique | Exécutez des jobs d'entraînement basés sur MLlib avec des ressources à la demande qui s'adaptent à la charge de travail. |
| Traitement en flux continu | Gérez des pipelines de données en temps réel à l'aide de Structured Streaming sur un environnement d'exécution entièrement géré. |
| Analyses ad hoc | Soumettez des jobs SQL par lots ou DataFrame de manière interactive, sans pré-allocation de cluster. |