Le calcul incrémentiel de MaxCompute exploite les capacités de stockage et de lecture/écriture des tables Delta pour réaliser des calculs complexes sur les données incrémentielles et capturer dynamiquement les modifications des données.
Contexte
Au cœur du calcul incrémentiel, la vue matérialisée dynamique (Delta Live MV) permet de réaliser des calculs complexes sur les données incrémentielles. Elle s'appuie sur la technologie de calcul incrémentiel pour prendre en charge une logique SQL unifiée, applicable aussi bien au traitement en flux continu qu'au traitement par lots. Elle capture automatiquement les modifications apportées à une table source et exécute en continu des calculs incrémentiels efficaces et peu coûteux, unifiant ainsi vos pipelines de données en flux et par lots. Ajustez la fréquence d'actualisation automatique d'une vue matérialisée dynamique (Delta Live MV) afin d'atteindre l'équilibre optimal entre la fraîcheur des données et le coût de calcul, selon les différents scénarios.
Si vous utilisez déjà MaxCompute pour votre entrepôt de données hors ligne, vous pouvez facilement faire évoluer vos services batch existants vers des opérations en quasi-temps réel, avec des modifications minimales. Cette approche vous permet de faire progressivement passer votre système MaxCompute d'une plateforme dédiée aux traitements par lots à une architecture d'entrepôt de données unifiée pour les flux et les lots. Pour les nouveaux utilisateurs de MaxCompute, il est recommandé d'utiliser la vue matérialisée dynamique dès le départ. Cela vous aide à construire une architecture d'entrepôt de données unifiée capable de gérer à la fois les données incrémentielles et complètes, ainsi que les traitements en flux et par lots, en fonction des exigences de temps réel de votre activité.
Vous pouvez également capturer dynamiquement les modifications des données en amont en utilisant un flux (Stream) et une tâche périodique.
Cas d'utilisation
Utilisez une vue matérialisée dynamique (Delta Live MV) pour créer des pipelines de données automatisés, tant pour les données incrémentielles que pour les données complètes.
Utilisez un flux (Stream) et une tâche périodique (aperçu sur invitation uniquement) pour capturer dynamiquement les modifications des données.
Utilisation
Les fonctionnalités de flux (Stream) et de vue matérialisée dynamique (Delta Live MV) sont désormais généralement disponibles. La fonctionnalité de tâche périodique est en aperçu sur invitation uniquement. Pour demander l'accès, veuillez soumettre un ticket.