Qu'est-ce qu'Alibaba Cloud MaxCompute - MaxCompute - Centre de documentation Alibaba Cloud

MaxCompute, anciennement appelé ODPS, est un service de calcul big data natif du cloud. Il s'agit d'un entrepôt de données intelligent SaaS (Software as a Service) de niveau entreprise développé par Alibaba Cloud. Cette solution se distingue par son rapport qualité-prix, son approche pilotée par l'IA, ses capacités de calcul multimodal et sa sécurité de niveau entreprise.

Présentation du produit

MaxCompute est un entrepôt de données intelligent cloud basé sur le modèle SaaS SaaS de niveau entreprise orienté vers l'analytique. Grâce à une architecture serverless, il fournit un service d'entrepôt de données en ligne entièrement géré et prêt à l'emploi, éliminant ainsi les limites de scalabilité et d'élasticité des plateformes de données traditionnelles.

L'optimisation intelligente du calcul et du stockage, l'architecture ouverte de data lakehouse, l'accélération des requêtes en temps quasi réel et interactives, ainsi que les capacités intégrées Data+AI vous permettent d'analyser des ensembles de données massifs de manière économique et efficace, avec une charge opérationnelle minimale.

Des dizaines de milliers d'entreprises utilisent MaxCompute pour le calcul et l'analyse de données, transformant efficacement leurs données en insights business.

Architecture du service

L'architecture de MaxCompute comprend une couche de stockage, une couche de calcul et une plateforme unifiée d'exploitation et de gestion. Ces composants reposent sur une infrastructure stable déployée sur plusieurs zones.

La couche de stockage utilise son moteur de stockage pour intégrer un système de stockage natif avec des classes de stockage Standard, Infrequent Access et Archive. Elle prend également en charge une architecture ouverte de data lakehouse (OpenLake).
La couche de calcul s'appuie sur plusieurs moteurs pour prendre en charge diverses tâches de calcul, telles que les traitements hors ligne, en temps quasi réel et les tâches Data+AI.
La couche d'exploitation et de gestion constitue le cœur de contrôle et de gestion de la plateforme. Elle assure l'administration des ressources pour les projets, les quotas et les priorités. Elle offre également une surveillance complète, incluant l'observation des ressources, la surveillance des alertes et le diagnostic des jobs, ainsi que des capacités complètes d'audit de sécurité.
La plateforme entière s'intègre aux produits de couche supérieure tels que DataWorks et PAI via des interfaces d'accès au développement standard, telles que les kits de développement logiciel (SDK), les API et Java Database Connectivity (JDBC).

Avantages

Entrepôt de données entreprise rentable
- Facilité d'utilisation : Pré-intégré avec plusieurs services et compatible avec le SQL standard pour un développement prêt à l'emploi.
- Scalabilité : L'architecture serverless découple le stockage du calcul. Elle offre une scalabilité flexible sans planification préalable et utilise un modèle de facturation à l'utilisation. Cela permet de s'adapter à une croissance soudaine de l'activité et de soutenir l'allocation dynamique des ressources lors des pics et des creux d'activité.
- Sécurité et stabilité : Dispose de capacités intégrées de contrôle d'accès, de sécurité et de reprise après sinistre. Elle fournit également des fonctionnalités d'observation des ressources et de diagnostic des jobs.
- Rentabilité : Propose des solutions d'analytique intelligente pour optimiser continuellement les performances et les coûts.
Calcul optimisé pour les données incrémentielles et complètes dans plusieurs scénarios
- Prise en charge des écritures en flux continu et du calcul incrémentiel en temps quasi réel : Le calcul incrémentiel de MaxCompute découple le calcul du stockage, offrant un traitement unifié des données incrémentielles et complètes, ainsi que des capacités unifiées de traitement de flux et par lots sur un moteur SQL unique. Grâce à Delta Live MV, il détecte automatiquement les modifications des données en amont et actualise continuellement les vues, simplifiant ainsi la construction de pipelines de calcul incrémentiel. Il est également compatible avec diverses méthodes d'ingestion de données, telles que la synchronisation en temps réel de base de données complète et les écritures et mises à jour en flux continu via Flink.
- L'accélération des requêtes MaxQA améliorée peut renvoyer les résultats de requête portant sur 2,8 milliards de lignes de données en une seconde seulement.
Data lakehouse Data lakehouse avec une architecture ouverte
- Le data lakehouse MaxCompute prend en charge la solution OpenLake, qui permet à plusieurs moteurs d'accéder aux mêmes données OpenLakehouse.
- Prend en charge l'analyse par requête fédérée et est compatible avec plusieurs formats de données open source principaux.
- MaxCompute permet d'exposer les données à des moteurs open source tiers via l'API Storage et des connecteurs, ce qui simplifie l'intégration des moteurs de calcul. Par exemple, Spark est profondément intégré aux ressources de calcul, aux données et au système d'autorisations de MaxCompute.
Data+AI
- Le framework de calcul distribué MaxFrame fournit des interfaces de programmation Python, est compatible avec les opérateurs Pandas et s'intègre parfaitement à PAI.
- MaxFrame intègre des packages de dépendances tiers et des modèles polyvalents. Il prend en charge la gestion personnalisée des images et fournit une intégration Data+AI pour les scénarios d'apprentissage profond, tels que les grands modèles, grâce à ses capacités de prétraitement big data natives du cloud.
Large éventail de scénarios

MaxCompute propose des solutions d'entrepôt de données et des services de modélisation analytique pour divers scénarios de calcul. Il sert de plateforme unifiée pour l'entreposage de données, la BI, l'analytique en temps quasi réel, l'analyse de data lake, l'apprentissage automatique, etc. Il est utilisé à grande échelle au sein du groupe Alibaba.
Écosystème produit riche :

MaxCompute est profondément intégré aux produits Alibaba Cloud tels que DataWorks, l'entrepôt de données en temps réel Hologres, PAI et Quick BI pour divers scénarios d'analytique de données.
- Utilisez DataWorks pour la synchronisation des données de bout en bout, la conception des processus métier, le développement des données, la gestion ainsi que l'exploitation et la maintenance (O&M).
- Utilisez les composants algorithmiques de la plateforme d'apprentissage automatique PAI pour effectuer des opérations telles que l'entraînement de modèles sur les données MaxCompute.
- Utilisez Hologres pour accélérer les requêtes sur les données MaxCompute via des tables externes, ou exportez les données vers Hologres pour une analyse interactive.
- Utilisez Quick BI pour créer des rapports à partir des données MaxCompute afin de réaliser des analyses visuelles.

Fonctionnalités

MaxCompute propose les fonctionnalités principales suivantes.

Catégorie de fonctionnalité	Description
Capacités de base de l'entrepôt de données	Élasticité à la demande Alibaba Cloud MaxCompute fournit un service d'entrepôt de données entièrement géré et prêt à l'emploi. Il utilise une architecture serverless qui découple le stockage du calcul. Les ressources de stockage et de calcul peuvent être mises à l'échelle indépendamment et dynamiquement. Vous n'avez pas besoin de planifier la capacité ni de réserver des ressources à l'avance, ce qui vous permet de gérer une croissance soudaine de votre activité. Développement SQL MaxCompute est pré-intégré avec plusieurs services. Vous pouvez utiliser le SQL standard pour un développement direct, simple et facile à apprendre.
Capacités de calcul multi-scénarios	Framework de calcul IA Le framework de calcul distribué MaxFrame prend en charge les interfaces de programmation Python, est compatible avec les interfaces Pandas et effectue un calcul distribué automatique. Il convient aux scénarios tels que le traitement de données à grande échelle, le calcul scientifique, l'apprentissage automatique et le développement IA. MaxCompute s'intègre parfaitement à PAI. Vous pouvez utiliser les composants algorithmiques de la plateforme d'apprentissage automatique pour effectuer des opérations telles que l'entraînement de modèles sur les données MaxCompute. Il fournit une intégration Data+AI pour les scénarios d'apprentissage profond comme les grands modèles grâce à ses capacités de prétraitement big data natives du cloud. Traitement des données incrémentielles et complètes Alibaba Cloud MaxCompute a amélioré son architecture basée sur le moteur de traitement par lots hors ligne original pour lancer une solution d'entrepôt de données en temps quasi réel. Il utilise des tables Delta pour implémenter un stockage et une gestion intégrés pour les données incrémentielles et complètes. Il introduit également de riches capacités de calcul incrémentiel et a amélioré la fonctionnalité d'accélération des requêtes courtes de MaxCompute MaxQA (MCQA 2.0) pour prendre en charge le renvoi des résultats de requête en quelques secondes. Basé sur le format Delta Table, MaxCompute ajoute une série de capacités telles que les vues matérialisées incrémentielles, Time Travel et Stream Tables. Intégration des capacités hors ligne et en temps réel S'intègre profondément à l'entrepôt de données en temps réel Hologres. Hologres prend en charge l'importation par lots des métadonnées MaxCompute, ce qui supprime le besoin de créer manuellement des tables externes. Il prend également en charge les lectures directes depuis la couche de stockage. Utilisez Hologres pour accélérer les requêtes sur les données MaxCompute, offrant une amélioration des performances de plus de 10 fois.
Architecture ouverte	Data lakehouse MaxCompute propose une solution Data Lakehouse 2.0. Cette solution vous permet de créer des objets de gestion qui définissent les métadonnées des sources de données externes et les méthodes d'accès aux données. Elle utilise également un mécanisme de mappage de schéma externe pour accéder directement à toutes les tables dans le périmètre de la base de données ou du schéma d'une source de données externe. Cette solution brise les silos entre les data lakes et les entrepôts de données. Elle combine la flexibilité et l'écosystème riche multi-moteurs d'un data lake avec les capacités de niveau entreprise d'un entrepôt de données pour vous aider à construire une plateforme de gestion de données intégrée. OpenLake OpenLake est une solution intégrée pour le big data, la recherche et l'IA, construite sur un data lakehouse ouvert et contrôlable. Elle utilise la plateforme de gestion des métadonnées DLF pour gérer les données structurées, semi-structurées et non structurées. Elle fournit un accès sécurisé et une accélération des E/S pour les tables et fichiers de data lakehouse. Elle prend en charge l'intégration multi-moteurs et le calcul collaboratif peer-to-peer, le développement unifié via DataWorks et la planification de tâches à grande échelle. Accès multi-moteurs Vous pouvez exécuter directement des tâches SQL MaxCompute ou des tâches provenant de moteurs tiers tels que Spark, MapReduce et Graph. Stockage ouvert Pour mieux s'intégrer à l'écosystème big data et prendre en charge l'accès des moteurs externes aux données dans MaxCompute, MaxCompute fournit une API de stockage ouvert (Storage API). Les moteurs de calcul tiers principaux peuvent appeler l'API Storage pour accéder directement au stockage sous-jacent de MaxCompute. Cela améliore considérablement l'efficacité de l'accès et de l'interaction avec les données.
Capacités de niveau entreprise	Exploitation et gestion de niveau entreprise Propose des fonctionnalités d'observation des ressources et d'exploitation et maintenance des jobs. Vous pouvez consulter l'utilisation des diverses ressources et les détails des jobs. Cela vous permet de détecter rapidement les conditions anormales des jobs et les problèmes, de traiter les jobs problématiques via la console, et d'optimiser les plans d'exécution des jobs et les configurations des ressources pour améliorer l'efficacité et les performances d'exécution. Entrepôt de données intelligent Propose une fonctionnalité d'optimisation des coûts. Basée sur les volumes réels de requêtes de jobs et les configurations de ressources attendues, elle peut générer de meilleurs plans de configuration des ressources et simuler leurs effets. Cela vous aide à optimiser les coûts et à améliorer l'utilisation des ressources. Propose une fonctionnalité de recommandation intelligente de vues matérialisées. Basée sur les relations entre les tables de données, elle suggère des vues matérialisées ayant un indice d'impact élevé. Cela vous aide à optimiser intelligemment les requêtes, à améliorer l'efficacité du calcul et à réduire les calculs redondants. Contrôle d'accès granulaire MaxCompute offre un contrôle granulaire sur les opérations concernant des objets tels que les projets, les quotas de ressources et les objets Networklink, ainsi que sur les objets au sein d'un projet comme les tables, les fonctions, les ressources et les instances. Il prend également en charge le contrôle des comportements tels que les téléchargements Tunnel, l'accès aux données sensibles et l'accès inter-projets. Lors de l'exploitation du projet, vous pouvez accorder des autorisations granulaires basées sur les rôles des utilisateurs pour garantir la sécurité de tous les objets.
Sécurité, reprise après sinistre et stabilité	Reprise après sinistre et tolérance aux pannes Reprise après sinistre inter-zones : Si un centre de données devient indisponible en raison d'un événement catastrophique tel qu'une panne du réseau de l'opérateur, une défaillance du système électrique ou un problème d'infrastructure, le mécanisme de reprise après sinistre du stockage garantit que les services de lecture et d'écriture des données ne sont pas interrompus et qu'aucune donnée n'est perdue. Cela répond à l'exigence d'un objectif de point de récupération (RPO) de 0. Masquage dynamique des données Le masquage des données MaxCompute est effectué dynamiquement au moment où les données sont lues depuis la couche de stockage. Cela garantit la sécurité sans compromettre les performances. Il garantit que les données sont masquées avant d'entrer dans les étapes suivantes telles que les requêtes, les téléchargements, les jointures et les calculs UDF, empêchant ainsi la fuite de données sensibles. Les politiques de masquage des données incluent le masquage, le hachage, le remplacement de caractères, l'arrondi des valeurs et l'arrondi des dates. Il prend en charge l'intégration avec les fonctionnalités de classification et de catégorisation des données de Data Security Guard pour répondre aux besoins de masquage des données pour les informations telles que les identités, les numéros de carte bancaire, les adresses et les numéros de téléphone. Chiffrement du stockage des données MaxCompute prend en charge le chiffrement du stockage des données au niveau du projet via Key Management Service (KMS). Cela fournit une protection des données au repos pour répondre aux exigences réglementaires et de conformité de sécurité des entreprises. Les algorithmes de chiffrement pris en charge incluent AES256, AESCTR et RC4. Liste blanche IP En plus du contrôle d'accès, MaxCompute fournit un contrôle basé sur une liste blanche IP. Lorsque la fonctionnalité de liste blanche est activée pour un projet MaxCompute, seuls les appareils figurant sur la liste blanche peuvent accéder au projet. Si un appareil ne figurant pas sur la liste blanche tente d'accéder au projet, l'authentification échouera même s'il dispose de l'AccessKey ID et de l'AccessKey secret corrects. SLA Alibaba Cloud MaxCompute est largement utilisé dans divers secteurs et offre à ses clients un engagement de disponibilité de service allant jusqu'à 99,9 %. Pour plus d'informations, consultez le Contrat de niveau de service (SLA) MaxCompute.

Annonces et mises à jour

Pour plus de mises à jour produit, consultez les Annonces et mises à jour MaxCompute.