E-MapReduce:Qu'est-ce qu'E-MapReduce

Services big data open source de niveau entreprise. Déployez rapidement des clusters Hadoop, Spark, Flink, Kafka et HBase.

• Composants 100 % open source communautaire, adaptés et optimisés pour offrir des performances supérieures aux versions standard.

• Mise à l'échelle élastique basée sur le temps avec prise en charge des instances Spot pour réduire les coûts.

• Découplage du calcul et du stockage pour une utilisation élastique des ressources.

• Créez et mettez à l'échelle des clusters en quelques minutes sans configuration manuelle.

EMR Serverless Spark

• Moteur de calcul haute vitesse cloud-native

  • Fusion Engine intégré (Spark Native Engine) : offre des performances supérieures de 300 % par rapport à la version open source et accélère considérablement les jobs de calcul big data. Un moteur vectorisé et des technologies de traitement des données par lots optimisent l'efficacité du calcul et réduisent l'utilisation de la mémoire, ce qui améliore grandement les performances globales.

  • Celeborn intégré (Remote Shuffle Service) : prend en charge le traitement des données de shuffle à l'échelle du pétaoctet et améliore considérablement la stabilité et les performances des gros jobs de shuffle. Les nœuds de calcul ne nécessitent pas de disques de grande capacité. La capacité de mise à l'échelle dynamique des ressources de Spark est pleinement exploitée pour réduire les coûts de stockage et diminuer le coût total des ressources de calcul jusqu'à 30 %.

• Architecture de lac de données ouverte

  • Mise à l'échelle élastique à la demande : prend en charge une architecture de séparation du stockage et du calcul. Les ressources de calcul peuvent être mises à l'échelle en quelques secondes, avec une granularité minimale d'un cœur. Les ressources sont mesurées au niveau fin du job ou de la file d'attente. Le stockage utilise la méthode de facturation au paiement à l'utilisation pour éviter le gaspillage de ressources et réduire considérablement les coûts opérationnels des entreprises.

  • Migration transparente et compatibilité : s'intègre à OSS-HDFS, un service de stockage cloud entièrement compatible avec HDFS, pour prendre en charge la migration fluide de vos charges de travail vers le cloud. DLF fournit une interconnexion complète des métadonnées pour le lakehouse afin de garantir la cohérence de l'accès aux données et une gestion complète des autorisations, ce qui vous aide à construire facilement une architecture moderne de lac de données.

• Expérience développeur tout-en-un

  • Support de développement de bout en bout : offre une expérience de développement tout-en-un couvrant le développement, le débogage, la publication et la planification des jobs pour répondre aux normes élevées de développement et de publication de niveau entreprise. La fonctionnalité intégrée de gestion des versions enregistre l'historique complet des publications et prend en charge la comparaison des différences de code source et de configuration pour garantir la traçabilité des modifications.

  • Collaboration efficace et stabilité : les environnements de développement et de production sont strictement isolés pour garantir la stabilité commerciale et prendre en charge une collaboration d'équipe efficace ainsi qu'une livraison stable.

• Plateforme de ressources serverless

  • Prêt à l'emploi : démarrez rapidement le développement de jobs sans gestion manuelle ni configuration complexe de l'infrastructure.

  • Élasticité à la seconde : les ressources sont provisionnées dynamiquement pour démarrer des pods en fonction des besoins en ressources des jobs Spark, et sont libérées immédiatement après la fin du calcul. Vous n'êtes facturé que pour les ressources que vous utilisez réellement, ce qui réduit encore le coût total du calcul.

  • Estimation des coûts : fournit une mesure des ressources et une estimation des coûts au niveau du job pour aider les entreprises à réaliser des opérations fines.