MaxCompute Spark est un service de calcul Spark compatible avec l'open source, fourni par MaxCompute. S'appuyant sur un système unifié de ressources de calcul et d'autorisations d'accès aux données, il fournit le framework de calcul Spark et permet aux utilisateurs de soumettre et d'exécuter des jobs Spark selon des méthodes de développement familières, afin de couvrir un éventail plus large de scénarios de traitement et d'analyse des données.
Fonctionnalités clés
-
Prise en charge native des jobs Spark multiversions
Spark communautaire natif s'exécute sur MaxCompute, offre une compatibilité totale avec les API Spark et prend en charge plusieurs versions de Spark.
-
Ressources de calcul unifiées
MaxCompute Spark s'exécute sur les ressources de calcul unifiées activées pour les projets MaxCompute, au même titre que les autres types de tâches tels que MaxCompute SQL et MapReduce.
-
Gestion unifiée des données et des autorisations
Le service respecte le système d'autorisations des projets MaxCompute pour interroger les données en toute sécurité, dans la limite du périmètre d'autorisation de l'utilisateur.
-
Expérience utilisateur identique à celle des systèmes open source
Il propose une interface utilisateur Spark en temps réel native open source ainsi que des fonctionnalités d'historique des requêtes.
Fonctionnalités prises en charge
MaxCompute Spark prend actuellement en charge les fonctionnalités suivantes :
Calcul hors ligne : GraphX, MLlib, RDD, Spark-SQL, PySpark, etc.
Lecture et écriture des données de table MaxCompute.
Référencement des ressources de fichiers dans MaxCompute.
Accès aux services dans les environnements VPC Alibaba Cloud.
Accès au stockage non structuré Alibaba Cloud OSS.
Lecture des tables externes MaxCompute OSS.
DataWorks Notebook
Limites
MaxCompute Spark ne prend pas actuellement en charge les scénarios suivants :
Les scénarios interactifs tels que Spark-Shell, Spark-SQL-Shell et PySpark-Shell ne sont pas pris en charge.
L'accès aux fonctions intégrées MaxCompute et aux fonctions définies par l'utilisateur (UDF MaxCompute) n'est pas pris en charge.
L'accès aux tables externes MaxCompute autres que les tables externes OSS n'est pas pris en charge.