Hologres:Release notes archive

Améliorations des fonctionnalités principales

Description

Références

Améliorations du moteur de calcul et optimisation des performances

• Mise à niveau du moteur d'exécution principal (QE v2)

  • Avancée majeure en matière de traitement simultané : lorsque les ressources des workers sont suffisantes mais que la distribution des shards est clairsemée, QE v2 augmente le parallélisme pour les opérateurs gourmands en CPU (JOIN, AGG) sans surcoût lié au shuffle, exploitant ainsi pleinement les ressources et réduisant la latence des requêtes.

  • Informations enrichies dans l'exécution adaptative : le plan d'exécution affiche désormais des états d'opérateur plus détaillés, notamment les conditions de filtrage, les conditions de jointure, les colonnes de redistribution et les colonnes de filtrage.

• Accélération intelligente des requêtes (optimisation et réécriture basées sur l'historique)

  • Réécriture automatique des requêtes pour les tables dynamiques : l'optimiseur redirige automatiquement les requêtes mono-table portant sur les tables de base vers des tables dynamiques précalculées, obtenant ainsi des réponses en quelques millisecondes sans modifier le code SQL.

  • Élargissement des règles d'optimisation basée sur l'historique (HBO) : introduction de nouvelles règles telles que l'ordre de jointure adaptatif, l'agrégation de segments adaptative et le filtre d'exécution adaptatif.

  • Optimisation forcée pour les requêtes volumineuses : pour les requêtes dont l'exécution dépasse 20 secondes et qui peuvent être optimisées, le moteur force les exécutions suivantes à utiliser le plan HBO. Le plan d'exécution indique clairement quand le plan HBO est utilisé.

• Optimisations avancées des opérateurs et de l'analytique en temps réel

  • Calcul UV haute vitesse amélioré : prend en charge l'encodage des ID utilisateur, qui mappe les chaînes à cardinalité élevée vers des ID entiers. Combiné au calcul incrémentiel des tables dynamiques, cela permet un calcul UV en temps réel à grande échelle, rapide et peu coûteux.

  • Exécution par flux optimisée pour Window TopN : dans les scénarios de partitionnement par hachage, Window TopN utilise désormais un tri par mini-lots basé sur un flux pour chaque partition au lieu d'un tri complet, réduisant ainsi la pression mémoire maximale.

  • Performances de balayage améliorées : le filtre TopN dans le processus de balayage peut désormais utiliser le cache de résultats, réduisant efficacement la surcharge liée au balayage sous-jacent.

  • DML hybride optimisé pour les tables orientées ligne : un nouveau mécanisme d'échantillonnage pour les instructions INSERT sur les tables orientées ligne détermine dynamiquement la stratégie de jointure, améliorant les performances lors de l'importation de volumes importants de données dans de petites tables.

• Réécriture des requêtes de table dynamique

• Fonctions de rafraîchissement incrémentiel prises en charge

• Solution de table dynamique Hologres pour le calcul UV sur de longues périodes

• Optimiser les performances des requêtes

Intégration approfondie au lac de données

• Fonction d'analyse EXTERNAL_FILES sans tables externes

  • Flux de travail simplifié pour les requêtes ad hoc : la nouvelle fonction EXTERNAL_FILES permet d'analyser directement les fichiers Parquet ou ORC sur OSS à l'aide de SQL standard, sans avoir besoin de créer une table externe.

  • Capacité d'exportation des données : cette fonction exporte les données des tables internes directement vers OSS, optimisant les flux de travail pour l'archivage des données froides et l'échange de données entre plateformes.

• Capacités de lecture directe améliorées pour MaxCompute

  • Prise en charge du pruning granulaire : lors de la lecture directe depuis des tables partitionnées, le moteur prend désormais en charge le pruning des partitions et le pruning des clés de clustering, ce qui réduit considérablement les opérations d'E/S de balayage.

  • Compatibilité native des types : ajout de la prise en charge de la lecture directe du type de données JSON de MaxCompute. Cela améliore l'efficacité du traitement des données semi-structurées.

• Prise en charge de l'ingestion quasi temps réel

  • Prise en charge de l'ingestion quasi temps réel : prend en charge l'ingestion quasi temps réel via une étape de stockage temporaire, offrant un meilleur équilibre entre les performances d'écriture, le coût des ressources et la visibilité des données que les chemins d'écriture en temps réel et par lots hors ligne existants.

• Fonction de lecture de fichier (EXTERNAL_FILES)

• Accéder à MaxCompute à l'aide d'un lien de table commun

Recherche et analyse multimodales

• Recherche en texte intégral améliorée

  • Capacités de tokenizer améliorées : prend en charge les tokenizers IK, N-gram et Pinyin pour la recherche de texte chinois, la recherche floue dans les journaux et la recherche de noms basée sur le pinyin.

• Recherche vectorielle améliorée

  • Ressources d'index vectoriel optimisées : l'index en mémoire HGraph prend désormais en charge la compression. Cela permet d'économiser 50 % de la mémoire avec seulement 5 % de perte de performance.

  • Performances d'index vectoriel optimisées : HGraph attache désormais les données de colonne aux fichiers d'index, permettant une récupération directe des colonnes pendant la recherche sans interroger la table cible.

• Index inversé en texte intégral

• Guide d'utilisation de l'index HGraph (recommandé)

O&M de niveau entreprise et stabilité du système

• Isolation architecturale de la charge de travail

  • Pools de threads de requête isolés : l'exécution des requêtes est désormais isolée dans un pool de threads dédié, empêchant toute interférence entre les charges de travail des requêtes, les écritures en temps réel et les chemins de contrôle du moteur de stockage dans les scénarios à forte concurrence.

• Capacités Serverless améliorées

  • Calcul Serverless adaptatif amélioré : prend en charge l'isolation automatique de la charge de travail, en acheminant le trafic vers un pool de ressources de calcul Serverless en cas de charge élevée pour améliorer le débit et la stabilité.

• Gestion des ressources et stabilité améliorées

  • Changement dynamique de warehouse avec SQL : changez le warehouse connecté à l'aide de SQL standard pour une isolation multi-locataire améliorée et une O&M flexible.

  • Capacité de modification de schéma de table (Rebuild) améliorée : la migration optimisée des métadonnées et des données réduit la fenêtre d'indisponibilité en écriture lors des modifications de schéma à moins de 10 secondes. Les tables restent interrogables.

  • Contrôle du délai d'attente d'acquisition de verrou : le paramètre hg_experimental_lock_wait_timeout_ms est introduit, permettant aux utilisateurs de personnaliser le délai d'attente d'acquisition de verrou pour les chemins d'écriture non FixedQE.

  • Gestion fine de la mémoire :

    • Les index en texte intégral sont désormais chargés via le cache de blocs au lieu d'être résidents en mémoire, libérant ainsi efficacement de l'espace mémoire.

    • L'algorithme mini-batch est optimisé et le ConcatRecordBatch basé sur un flux est désormais pris en charge. Cela atténue partiellement les erreurs causées par des structures Arrow dépassant 2 Go et réduit la pression mémoire maximale.

• Calcul Serverless adaptatif

• Utiliser SQL pour changer le warehouse actuel

• REBUILD

Fonctionnalité

Description

Références

Amélioration des capacités d'IA et de recherche

• (Bêta) La fonction IA alimentée par LLM vous permet d'analyser et de récupérer des données non structurées telles que du texte et des images. Tous les modèles sont entièrement hébergés sur les nœuds Hologres AI afin de garantir les performances, l'évolutivité, la gouvernance, la sécurité des données et la conformité. La fonction IA prend en charge les cas d'utilisation suivants :

  • Utilisez des modèles d'embedding avec une Object Table pour effectuer une recherche vectorielle et une recherche en texte intégral sur des données non structurées telles que du texte et des images.

  • Résumez les principales informations issues du texte et des images.

  • Filtrez et classez le texte en langage naturel, et traduisez et localisez le contenu multilingue.

  • Effectuez une analyse des sentiments et une analyse par dimension pour optimiser les services.

  • Analysez les documents pour prendre en charge l'analyse des données et les workflows RAG.

• (Bêta) La recherche vectorielle HGraph améliore les performances de plus de 10 fois grâce à la recherche hybride scalaire-vectorielle pour la récupération d'images/vidéos, les recommandations ainsi que la détection de la sécurité et de la fraude. Les index hybrides en mémoire et sur disque réduisent l'utilisation de la mémoire de 80 % avec seulement une baisse de 5 % du QPS (selon VectorDB Benchmark), permettant une recherche vectorielle rentable sur de grands ensembles de données tels que la conduite autonome.

• (Bêta) Cette version ajoute la prise en charge d'un index inversé en texte intégral et de tokenizeurs intégrés pour activer la recherche en texte intégral. Les scénarios pris en charge incluent :

  • Recherche par mot-clé, phrase ou langage naturel.

  • Calcul des scores BM25 pour la récupération de similarité textuelle.

  • Combinaison avec la recherche vectorielle pour prendre en charge la recherche hybride en texte intégral et vectorielle.

  • Prise en charge de la recherche hybride en texte intégral et scalaire.

• (Bêta) L'index secondaire global permet des requêtes ponctuelles clé-valeur efficaces sur les colonnes non clés primaires, idéal pour les magasins de fonctionnalités et les plateformes de commerce électronique.

• Fonction IA

• Index inversé en texte intégral

• Index secondaire global

Améliorations du moteur

• Cette version prend en charge le filtre d'exécution TopN pour accélérer les requêtes de données dans les scénarios TopN.

• (Bêta) Hologres prend désormais en charge Time Travel pour les tables internes, vous permettant d'interroger des données historiques à tout moment dans une période définie.

• (Bêta) Cette version prend en charge l'optimisation basée sur l'historique (HBO). Le système collecte les détails d'exécution des requêtes lentes, analyse automatiquement les plans de requête pour identifier les opportunités d'optimisation et ajuste intelligemment les plans en fonction de cet historique.

/

Dynamic Table

(Bêta) Les Dynamic Tables externes écrivent les données traitées dans Paimon en mode complet ou incrémentiel, prenant en charge le traitement quasi temps réel entre entrepôts, du lac à l'entrepôt, de l'entrepôt au lac et entre lacs. Combiné aux instances serverless, cela permet un traitement de data lake à coût ultra-réduit.

• Dynamic Table

• Instances serverless

Améliorations syntaxiques

Cette version prend en charge la clause QUALIFY, vous permettant de filtrer les résultats des fonctions de fenêtrage.

QUALIFY (Bêta)

Extensions de fonctions et d'écosystème

Compatibilité améliorée avec l'écosystème ClickHouse. Cette version ajoute la prise en charge de plusieurs fonctions de troncature temporelle, notamment toDayOfMonth, toDayOfYear et toHour. Ces fonctions peuvent améliorer les performances jusqu'à 50 % par rapport à la fonction originale extract(field from timestamp).

Fonctions de date et d'heure

Serverless et élasticité

• (Bêta) Les instances d'entrepôt virtuel prennent désormais en charge la mise à l'échelle élastique multi-cluster. Un entrepôt virtuel est composé d'un ou plusieurs clusters et s'étend automatiquement en fonction de la charge pour l'isolation des ressources et la haute concurrence.

• (Bêta) Les instances d'entrepôt virtuel offrent une isolation forte des écritures. Tout entrepôt virtuel peut effectuer des écritures par lots sans dépendre de l'entrepôt leader ni charger un groupe de tables.

• (Bêta) La capacité de mise à niveau à chaud des instances d'entrepôt virtuel est améliorée. Lors d'une mise à niveau, l'exécution SQL est sans perte et les connexions sont rétablies de manière transparente après une brève interruption.

• Vous pouvez désormais changer l'entrepôt virtuel pour la connexion actuelle à l'aide de SQL.

• Serverless Computing prend désormais en charge la lecture et l'écriture dans les tables étrangères DLF.

• Multi-cluster et Auto Scaling (Bêta)

• Gestion des entrepôts virtuels

• Architecture des instances d'entrepôt virtuel

• Gérer les autorisations utilisateur pour les entrepôts virtuels

• Changer l'entrepôt virtuel pour la connexion actuelle à l'aide de SQL

• Accélérer l'accès aux data lakes dans OSS à l'aide de DLF

• Utiliser Serverless Computing pour exécuter des tâches de lecture et d'écriture

Analytique de data lake

(Bêta) La mise en miroir des données MaxCompute préchauffe les données dans des tables internes en miroir sans ETL, correspondant aux performances de requête des tables internes Hologres sans travaux de synchronisation dédiés.

/

Fonctionnalités principales

Description

Documents associés

Améliorations du moteur

• Prend en charge la réutilisation adaptative ou l'inlining des expressions CTE.

• Optimise les calculs d'expression BETWEEN.

Optimisation de la stratégie de réutilisation CTE

Dynamic Table

• Le mode d'actualisation incrémentielle prend désormais en charge des fonctions telles que ARRAY_AGG et STRING_AGG.

• DataWorks Data Map prend désormais en charge l'analyse de lignée des Dynamic Tables.

• ARRAY_AGG

• STRING_AGG

Amélioration des capacités de service

Fixed Plan prend désormais en charge les expressions simples, permettant des requêtes ponctuelles clé-valeur et des écritures à haut QPS dans davantage de scénarios.

Accélérer l'exécution SQL à l'aide de Fixed Plan

Extensions de fonctions et d'écosystème

Ajoute la prise en charge des expressions lambda et des fonctions de tableau d'ordre supérieur.

Expressions lambda et fonctions associées

Capacités serverless

• Serverless Computing prend désormais en charge la lecture et l'écriture dans des tables chiffrées, y compris les tables internes et les tables externes MaxCompute.

• Query Queue est amélioré pour classer les instructions SQL par table et router automatiquement les requêtes pour des tables spécifiques vers Serverless Computing.

• Guide d'utilisation de Serverless Computing

• File d'attente de requêtes

Capacités d'analytique de data lake

• Prend en charge la mise en miroir des tables de data lake pour Paimon afin d'accélérer les requêtes de data lake.

• S'intègre au système de gestion des métadonnées DLF 2.5, prenant en charge les catalogues Paimon sur le data lake à l'aide de l'API REST DLF.

• Cette fonctionnalité utilise zéro ETL pour préchauffer les données du data lake dans des tables internes en miroir, améliorant considérablement l'efficacité des requêtes.

• La fonctionnalité Time Travel pour Paimon vous permet de lire des données historiques en spécifiant un horodatage ou un tag.

• Prend en charge la lecture des données de branche à partir des tables Paimon, y compris la lecture à partir d'une branche spécifiée et la lecture avec comportement de repli.

• Vous pouvez désormais désactiver les analyses complètes de table sur les tables partitionnées pour éviter une consommation excessive de ressources.

• Améliore les performances par un facteur 2 pour les requêtes sur les tables Paimon dans le benchmark TPC-H 1 TB.

• Mise en miroir des tables de data lake

• Accéder aux données Paimon basé sur le catalogue DLF

Améliorations de l'écosystème

Ajoute la prise en charge du rognage et de la compression des journaux binaires pour réduire la consommation d'E/S.

/

Fonctionnalité

Description

Documentation

L'instance serverless Hologres (Bêta) est disponible en aperçu gratuit sur invitation.

Un nouveau type d'instance serverless, bâti sur une architecture cloud native, offre des capacités de calcul et de stockage Hologres flexibles et évolutives, sans nécessiter l'achat préalable de ressources dédiées ni engendrer de coûts liés à l'inactivité.

Pour demander un essai, remplissez le formulaire en utilisant votre compte principal Alibaba Cloud.

Instance serverless

Améliorations des fonctionnalités principales

Description

Documentation associée

Table dynamique

• Prend en charge le partitionnement dynamique basé sur les tables partitionnées logiques, ce qui simplifie considérablement leur utilisation.

• Ajoute un mode Auto Refresh. Vous pouvez spécifier la fraîcheur des données souhaitée et le moteur optimise automatiquement la stratégie d'actualisation pour offrir une plus grande flexibilité.

• L'actualisation incrémentielle prend désormais en charge les scénarios de JOIN à double flux, améliorant ainsi la flexibilité du traitement des données en temps réel.

• L'actualisation incrémentielle prend désormais en charge les fonctions RoaringBitmap, permettant des calculs incrémentiels pour des scénarios complexes tels que l'analyse des visiteurs uniques (UV) et des pages vues (PV).

• Le mode d'actualisation complète prend désormais en charge l'exécution adaptative (Bêta), améliorant la stabilité en réduisant les erreurs OOM grâce à la dérivation dynamique des ressources et aux ajustements de plan, tout en maintenant une faible latence.

• CREATE DYNAMIC TABLE

• Actualisation incrémentielle

Capacités serverless

• Serverless Computing prend désormais en charge des scénarios DML plus complexes, notamment INSERT OVERWRITE, RESHARDING et CTAS, ainsi que les procédures stockées, les opérations REBUILD et les tables chiffrées.

• Introduit le redimensionnement sans perte des entrepôts virtuels (Bêta) pour garantir la continuité des activités lors des opérations de mise à l'échelle.

• Prend en charge la limitation automatique du débit (Bêta). Cette fonctionnalité limite dynamiquement la simultanéité de la file d'attente des requêtes en fonction de la charge de travail, améliorant considérablement la stabilité du cluster.

• Ajoute un routage adaptatif pour Serverless Computing, qui achemine automatiquement les requêtes volumineuses vers les ressources serverless pour exécution.

• Permet de définir une limite d'utilisation quotidienne pour Serverless Computing.

• Optimise la réutilisation du cache pour Serverless Computing dans les scénarios à forte concurrence afin d'améliorer les performances des requêtes.

• Permet d'utiliser un rôle RAM pour mettre à l'échelle les entrepôts virtuels.

• Guide d'utilisation de Serverless Computing

• Notes de version de Serverless Computing

• Gérer les entrepôts virtuels

• Mise à l'échelle planifiée (Bêta)

• Limitation automatique du débit (Bêta)

• Limite d'utilisation quotidienne

Optimisation des performances et améliorations des requêtes

• Le moteur de requête refactorisé (QEv2) prend en charge le calcul sur un encodage léger, offrant une amélioration des performances de 33 % sur le test de référence TPC-H 1 To.

• L'optimisation adaptative du moteur pousse automatiquement les plans d'agrégation vers le bas en fonction d'un modèle de coût. Cela réduit le volume de données dans les opérations JOIN, diminuant considérablement à la fois la latence et la consommation CPU.

• Le moteur déduit désormais automatiquement l'attribut NOT NULL pour les clés JOIN et pousse la condition NOT NULL vers le bas pour filtrer les valeurs NULL plus tôt. Il élimine également automatiquement les champs constants de la clause GROUP BY dans les agrégations.

• Ajoute une fonctionnalité de cache de requêtes qui accélère les requêtes en mettant en cache leurs résultats.

• Améliore les capacités de diagnostic de la vue hg_stats_missing en ajoutant de nouveaux champs, notamment autovacuum_enabled (indique si AUTO ANALYZE est activé) et reason (explique pourquoi les statistiques sont manquantes). Cela simplifie le diagnostic et la complétion des statistiques manquantes.

• Le système AUTO ANALYZE est optimisé. La collecte améliorée des statistiques récupère désormais automatiquement le nombre de lignes pour les tables sans statistiques, améliorant la qualité du plan de requête. De plus, les statistiques sont plus persistantes car elles ne sont plus effacées par les modifications de schéma qui n'affectent pas la validité statistique, telles que les opérations RENAME ou le déplacement des données vers le stockage froid. Cela réduit la charge du système et améliore la qualité des plans d'exécution.

• Résultats des tests de référence

• Cache de requêtes

• Vue HG_STATS_MISSING

Gestion des données et optimisation des écritures

• Optimisation du stockage et des index

  • Introduit de nouvelles tables partitionnées logiques (Bêta). Cette fonctionnalité offre une plus grande flexibilité avec une gestion légère des métadonnées et une administration simplifiée des données.

  • Ajoute la prise en charge des colonnes générées stockées (Bêta), qui simplifient le traitement des données et accélèrent les requêtes grâce au pré-calcul.

  • Introduit l'outil REBUILD (Bêta). Il permet de modifier les index légers (tels que la clé de distribution, la clé de clustering et la clé de segment) et d'effectuer d'autres modifications de la structure de la table.

• Améliorations des capacités d'écriture

  • La commande COPY pour les tables à clé primaire prend désormais en charge les mises à jour partielles de colonnes, réduisant le besoin de scénarios FIXED COPY. Lorsqu'un frontend (FE) fixe est utilisé, ses connexions ne comptent pas dans la limite de connexions du FE d'origine.

  • Ajoute la prise en charge native de la syntaxe INSERT OVERWRITE, permettant des opérations d'écrasement plus flexibles sur les tables standard et les tables partitionnées logiques.

• Table partitionnée logique (Bêta)

• Colonnes générées

• REBUILD

• COPY

• Bonnes pratiques pour les écritures de données par lots dans Hologres

• INSERT OVERWRITE

Extensions de fonctions et de l'écosystème

• Nouvelles fonctions intégrées

  • Ajoute des fonctions d'entonnoir pour l'association de propriétés et le regroupement dimensionnel.

  • Élargit l'ensemble des fonctions compatibles avec Spark et Presto pour améliorer l'efficacité du développement entre les moteurs.

  • Certaines fonctions Roaring Bitmap prennent désormais en charge les entiers 64 bits, élargissant leurs cas d'utilisation dans l'analyse des profils utilisateurs.

• Prise en charge des fonctions distantes

  • Prend en charge l'appel d'une UDF distante via Function Compute, offrant un moyen flexible d'étendre les capacités ETL.

• Fonction d'entonnoir d'association de propriétés (finder_funnel)

• Fonction d'entonnoir de regroupement dimensionnel (finder_group_funnel)

• Fonctions compatibles Spark

• Fonctions compatibles Presto

• Résumé des types de données

• Fonctions RoaringBitmap

• Fonctions définies par l'utilisateur (UDF distante)

Mises à niveau des fonctionnalités de niveau entreprise

• Améliore la gestion des autorisations de niveau entreprise. Vous pouvez désormais spécifier un jeton de sécurité dans les options de connexion du protocole PostgreSQL pour vous connecter avec un rôle RAM en utilisant JDBC ou PSQL.

• Introduit la corbeille de tables, qui vous permet de récupérer les tables et leurs données après une suppression accidentelle.

• Améliore le masquage des données pour prendre en charge le masquage des résultats de vue et des types de données autres que TEXT. Cela renforce considérablement la protection des données sensibles et aide à prévenir les attaques par force brute.

• Corbeille de tables

• Masquage des données

Capacités d'analytique du lac de données

• Prise en charge des sources de données externes

  • Améliore l'intégration avec les sources de données externes, permettant un accès transparent depuis les principaux outils BI tels que Quick BI, Tableau et Superset.

  • Vous pouvez désormais spécifier un intervalle d'actualisation des métadonnées pour les sources de données externes.

  • Les opérations ANALYZE et AUTO ANALYZE sont désormais prises en charge pour les sources de données externes.

  • Prend en charge l'écriture de données dans les tables à clé primaire Paimon en utilisant INSERT INTO, ce qui facilite le flux de données entre le lac de données et l'entrepôt.

  • Prend en charge l'écriture de données dans les tables Iceberg en utilisant INSERT INTO, élargissant la compatibilité avec les formats de lac de données ouverts.

• Accélération transparente pour MaxCompute

  • L'accès direct aux données MaxCompute est désormais en V2.0 (Bêta). Le mécanisme de lecture directe a été réarchitecturé sur la base du SDK natif C++ MaxCompute, améliorant encore les performances et l'expérience utilisateur de l'accès aux sources de données MaxCompute.

  • Prend en charge la lecture directe des Delta Tables MaxCompute (Bêta).

  • Prend en charge la lecture directe des données masquées dynamiquement depuis MaxCompute, offrant une expérience intégrée de masquage des données (Bêta).

  • Prend en charge la lecture directe des tables MaxCompute dont le schéma a évolué. Les opérations prises en charge incluent l'ajout, la suppression et le réordonnancement des colonnes, ainsi que la modification des types de colonnes.

  • Vous pouvez désormais utiliser la nouvelle fonctionnalité Data Development dans DataWorks pour mapper les projets, schémas et tables MaxCompute vers Hologres en un seul clic.

  • Vous pouvez désormais utiliser la nouvelle fonctionnalité Data Development dans DataWorks pour importer les données des tables MaxCompute vers Hologres en un seul clic.

• ANALYZE et AUTO ANALYZE

• Accélérer l'accès à MaxCompute

• Accéder aux Delta Tables MaxCompute depuis Hologres

• Mapper les métadonnées MaxCompute vers des tables externes Hologres

• Synchroniser les données MaxCompute vers des tables internes Hologres

Améliorations des fonctionnalités

Description

Documentation associée

Améliorations des capacités du moteur

• Introduction des Dynamic Table avec des modes d'actualisation complète et incrémentielle. Les flux de données s'actualisent automatiquement, permettant une mise en couches des données en temps réel, un traitement unifié stream-batch et une fraîcheur des données flexible pour l'analytique.

• Mise à niveau du Serverless Computing pour prendre en charge les opérations SELECT et COPY. Cette évolution offre une solution de ressources cloud native pour les requêtes temporaires à grande échelle.

• Les Virtual Warehouses prennent désormais en charge la mise à l'échelle automatique planifiée (Bêta), vous permettant d'ajuster les ressources de calcul selon un planning. Cela vous aide à répondre aux demandes fluctuantes, à prévenir les interférences entre charges de travail et à maximiser l'utilisation des ressources.

• Ajout de la prise en charge des files d'attente de requêtes :

  • Vous pouvez créer des files d'attente de requêtes en fonction des besoins métier et configurer leur concurrence et leur longueur pour améliorer la stabilité de l'instance.

  • Amélioration de la gouvernance des requêtes volumineuses. Vous pouvez désormais définir un délai d'expiration pour les requêtes volumineuses dans une file d'attente afin de réduire leur impact sur l'instance. Les requêtes expirées peuvent ensuite être réexécutées à l'aide des ressources Serverless Computing.

  • Vous pouvez utiliser Serverless Computing pour exécuter toutes les requêtes d'une file d'attente de requêtes.

• Amélioration des performances des écritures, des mises à jour et des requêtes ponctuelles utilisant Fixed Plan d'environ 10 % par rapport à la version V2.2.

• Prise en charge de l'exécution de INSERT OVERWRITE sur les tables parentes partitionnées.

• Ajout de la prise en charge des procédures stockées (Bêta), qui vous permettent de définir du SQL couramment utilisé pour simplifier la logique applicative.

• Amélioration de l'évolution du schéma pour prendre en charge la modification des types de données des colonnes.

• Amélioration de la commande COPY. Lorsque vous importez des données dans une table avec une clé primaire, vous pouvez configurer une politique de mise à jour de ligne complète pour éviter les erreurs de conflit de clé primaire.

• Ajout de la prise en charge des jointures croisées (cross join) pour de meilleures performances des prédicats de non-égalité, et agrégation partielle pour limiter l'utilisation de la mémoire et réduire les risques d'OOM (Out Of Memory) liés aux requêtes comportant de nombreuses clés GROUP BY.

• Amélioration du moteur de stockage, optimisant les performances de mise à jour des tables orientées colonnes lorsqu'une clé de segment est définie sur une colonne non écrite séquentiellement.

• Amélioration des capacités des fonctions :

  • Amélioration de la fonction TRY_CAST pour prendre en charge DATE, TIMESTAMP et TIMESTAMPTZ comme types de données cibles.

  • Prise en charge de l'exécution des fonctions ARRAY_AGG et STRING_AGG avec les clauses DISTINCT et ORDER BY sur le Hologres Query Engine (HQE) pour améliorer les performances des requêtes.

• Guide d'utilisation de Serverless Computing

• Mise à l'échelle automatique planifiée (Bêta)

• Utiliser les ressources Serverless Computing pour exécuter des requêtes dans une file d'attente

• Bonnes pratiques pour les tests de charge des écritures, mises à jour et recherches ponctuelles de données

• INSERT OVERWRITE

• Procédures stockées

• ALTER TABLE

• COPY

• EXPLAIN et EXPLAIN ANALYZE

• Résoudre les problèmes OOM courants

• Fonctions de conversion de type

• Historique des versions des fonctions

Améliorations de l'exploitation et de la stabilité

• Introduction de l'audit SQL en collaboration avec SLS pour surveiller, enregistrer et analyser les activités de la base de données afin de garantir la sécurité des données et la conformité aux politiques.

• Amélioration des capacités de mise à l'échelle horizontale des Virtual Warehouses, permettant aux opérations de lecture et d'écriture de se poursuivre sans interruption pendant le processus de mise à l'échelle.

• Prise en charge de la journalisation des opérations DML et des requêtes prenant moins de 100 ms dans la table système des journaux de requêtes au format agrégé, ce qui améliore l'observabilité et l'analyse SQL.

• CloudLens for Hologres

• Gérer les Virtual Warehouses

• Mise à l'échelle automatique planifiée (Bêta)

• Afficher et analyser les journaux de requêtes lentes

Intégration Lakehouse

• La nouvelle fonctionnalité External Database prend en charge le mappage des métadonnées au niveau du catalogue pour des sources de données telles que Data Lake Formation (DLF) et MaxCompute, améliorant ainsi les capacités de gestion des métadonnées et des données des lacs de données.

• Prise en charge de la connexion à un Hive metastore pour mapper les métadonnées et accélérer de manière transparente les clusters EMR.

• Prise en charge de l'écriture de données dans les tables d'ajout Paimon à l'aide de l'instruction INSERT INTO.

• Prise en charge de la lecture du format de table Iceberg, élargissant davantage l'écosystème du lac de données.

• Amélioration des capacités de sécurité. Par défaut, des rôles liés au service sont utilisés pour le relais d'identité lors de l'accès à DLF 2.0. Vous pouvez également accéder à DLF 2.0 à l'aide d'un rôle RAM.

• Amélioration des capacités des tables.

  • Refonte de l'architecture du lecteur pour le format Delta Lake, améliorant considérablement les performances de lecture.

  • Prise en charge de l'optimisation des vecteurs de suppression Paimon, améliorant les performances des requêtes dans les scénarios où une grande quantité de données a été supprimée mais pas encore compactée.

• À partir de la version V3.0.22, Hologres prend en charge l'accès aux MaxCompute Delta Tables.

• Accéder aux données d'un lac de données OSS à l'aide d'un Hive metastore (Bêta)

• Accéder aux MaxCompute Delta Tables depuis Hologres

Améliorations des fonctionnalités

Description

Documentation associée

Hologres Serverless Computing achève sa phase Bêta

Hologres Serverless Computing a achevé sa phase Bêta, est désormais prêt pour la production et est couvert par un SLA. Il devient généralement disponible le 1er juillet 2024 (UTC+8).

• Utilisation et facturation

• Serverless Computing

Améliorations des fonctionnalités

Description

Documentation associée

Améliorations des capacités du moteur

• Les performances globales du moteur s'améliorent d'environ 15 % par rapport aux versions précédentes, en se concentrant sur l'évolution du HQE et du Query Optimizer (QO) :

  • Optimisation du Hologres Query Engine (HQE), améliorant les performances dans les scénarios suivants :

    • Amélioration de la capacité Runtime Filter pour prendre en charge les scénarios de shuffle join, augmentant l'efficacité des requêtes dans ces scénarios d'environ 30 %.

    • Optimisation du mécanisme de connexion RPC du HQE. Les données au sein de chaque worker sont fusionnées avant d'être distribuées aux autres workers. Cela réduit considérablement la surcharge réseau et améliore les performances des requêtes de 8 % dans les scénarios impliquant des shuffles.

  • Optimisation du Query Optimizer (QO), augmentant la vitesse de traitement des instructions SQL lors de la phase de planification de 40 % :

    • Optimisation du mécanisme d'allocation de mémoire et de l'algorithme de jointure pour améliorer les performances des requêtes dans les scénarios de multi-jointures.

    • Optimisation du comportement de la fonction DATE_PART pour améliorer l'efficacité des requêtes sur les champs temporels, tels que l'année.

    • Optimisation du comportement de comparaison pour les champs de type DATE et TIMESTAMP afin d'améliorer l'efficacité des requêtes sur les colonnes basées sur le temps.

    • Optimisation des opérations dans les fonctions complexes avec filtres. Cette optimisation réorganise plusieurs filtres pour réduire la quantité de données calculées, améliorant ainsi l'efficacité des requêtes.

• Introduction de Serverless Computing pour exécuter des tâches de longue durée (importation de données, ETL) dans un pool de ressources partagé, réduisant la contention des tâches et améliorant la stabilité de l'instance. Disponible uniquement dans certaines régions.

• Auto Partition pour les partitions dynamiques prend désormais en charge la personnalisation des heures de création et de suppression des partitions, ainsi que l'heure de migration pour les tables de stockage froid, ce qui améliore l'utilisabilité de la fonctionnalité.

• Ajout de la prise en charge de la syntaxe des indices SQL (hints). Vous pouvez utiliser des hints pour modifier le plan d'exécution d'une instruction SQL, ce qui permet une optimisation fine des performances.

• Optimisation de la fonction hg_stat_activity pour fournir des métriques CPU et mémoire plus précises. Elle prend également en charge l'affichage de la progression des importations de données de MaxCompute vers Hologres, ce qui améliore considérablement l'observabilité des requêtes actives.

• Ajout de nouvelles fonctions d'analyse de parcours. Vous pouvez analyser le trafic et le temps passé à chaque nœud d'un parcours pour éclairer les stratégies opérationnelles produit et les optimisations de conception.

• Amélioration des capacités des fonctions :

  • Prise en charge de la fonction de conversion de type try_cast, qui convertit automatiquement les données invalides en NULL au lieu de générer une erreur, simplifiant ainsi la gestion des données exceptionnelles.

  • Ajout de nouvelles fonctions de date et d'heure : dateadd, datediff et last_day.

  • Prise en charge de l'exécution de fonctions d'agrégation plus générales sur le Hologres Query Engine (HQE) pour améliorer les performances des requêtes.

• Guide d'utilisation de Serverless Computing

• Gérer les partitions dynamiques

• HINT

• Gérer les requêtes

• Fonctions d'analyse de parcours

• Fonctions de conversion de type

• Historique des versions des fonctions

Améliorations de l'exploitation et de la stabilité

• Ajout de la prise en charge des empreintes digitales SQL et leur signalement dans les journaux de requêtes lentes. Le regroupement et l'analyse des empreintes digitales SQL améliorent les capacités de diagnostic des problèmes et de surveillance des anomalies.

• Exposition des métriques de surveillance pour QE, FixedQE et les binlogs pour améliorer l'observabilité et la maintenabilité.

• HoloWeb prend désormais en charge Query Insight, qui vous permet de récupérer les informations d'exécution des requêtes, les métadonnées des tables et les détails de dépannage des verrous en un seul clic, améliorant ainsi l'efficacité du dépannage.

• Ajout de la prise en charge de la reprise après sinistre inter-zones de disponibilité. (Cette fonctionnalité est disponible uniquement dans certaines régions.)

• Optimisation des codes d'erreur et des messages d'erreur du moteur pour améliorer l'efficacité de l'analyse des journaux de requêtes lentes.

  • Optimisation de la logique de calcul de la durée des DDL pour améliorer la précision des temps d'exécution collectés pour les opérations DDL.

  • Prise en charge de l'enregistrement des résultats EXPLAIN ANALYZE dans les journaux de requêtes lentes, fournissant des données d'exécution détaillées pour chaque opérateur.

• Optimisation de la technologie sous-jacente pour les mises à niveau de version. Cette optimisation utilise la nouvelle technologie Physical Restore pour réduire considérablement le temps de mise à niveau des instances contenant de grandes quantités de métadonnées, minimisant ainsi l'impact sur l'activité.

• Mise à niveau des verrous de table des nœuds FE vers des verrous à court terme, résolvant les opérations DDL bloquées et les erreurs d'incohérence des métadonnées pour une meilleure stabilité des FE.

• Mise à niveau des capacités OpenAPI avec de nouvelles API pour l'accélération du lac de données et les groupes de ressources afin d'améliorer l'exploitation et la gestion des instances.

• Afficher et analyser les journaux de requêtes lentes

• Query Insight

• Problèmes courants avec les instructions SQL Hologres

• Aperçu de l'API

Extensions de l'écosystème

• La fonctionnalité Auto Load pour les tables externes prend désormais en charge le modèle à trois couches de MaxCompute. Vous pouvez utiliser le paramètre hg_experimental_auto_load_foreign_schema_mapping pour spécifier les mappages de schéma. Cette fonctionnalité prend également en charge l'évolution du schéma pour les tables externes MaxCompute, y compris l'ajout ou la suppression de colonnes, et la modification des noms ou de l'ordre des colonnes.

• La fonctionnalité Auto Load pour les tables externes prend désormais en charge le chargement automatique via les métadonnées DLF pour accélérer les requêtes sur les tables stockées dans OSS.

• Mise à niveau de l'architecture du lac de données. Les tables externes aux formats ORC et Parquet prennent désormais en charge la mise en cache multiniveau à l'aide de disques haute vitesse intégrés et de la mémoire, et prennent également en charge le pushdown de prédicat. Cela améliore considérablement les performances de lecture.

• Accédez aux tables externes MaxCompute via un rôle lié au service, simplifiant la configuration des autorisations. Autorisez en un seul clic dans la console Hologres.

• HoloWeb vous permet désormais de parcourir visuellement les données dans OSS et les tables au sein des schémas spécifiés par le modèle à trois couches de MaxCompute.

• Auto Load pour les tables externes

• Rôle lié au service pour Hologres

• Créer une table externe OSS

• Créer une table externe MaxCompute

Fonctionnalité

Description

Documentation connexe

Améliorations du moteur

• Optimisation automatique des performances d'exécution pour les expressions COUNT DISTINCT simples et multiples, améliorant considérablement l'efficacité des requêtes dans les scénarios COUNT DISTINCT.

• Le filtre Row Group pour les tables orientées colonnes enregistre les valeurs min/max par groupe de lignes, permettant à l'optimiseur d'éliminer des groupes entiers sans lire les données, ce qui réduit les E/S et améliore les performances des requêtes.

• La capacité Runtime Filter est optimisée pour prendre en charge les scénarios de jointure multi-colonnes, améliorant significativement l'efficacité des jointures.

• Vous pouvez désormais déclencher manuellement une compaction complète pour fusionner les petits fichiers et améliorer l'efficacité des requêtes.

• Ajout de fonctions d'analyse en entonnoir basées sur des plages pour analyser et comparer la conversion de l'activité des utilisateurs.

• Ajout de l'extension Bit-Sliced Index (BSI) pour améliorer les performances et la facilité d'utilisation dans les scénarios de tags à haute cardinalité et pour les requêtes conjointes sur les tags de profil utilisateur et les tags de comportement.

• La clustering key prend désormais en charge l'ordre décroissant. Utilisez la clustering key dans les scénarios de tri pour améliorer les performances des requêtes.

• Le mécanisme de mise en cache pour le infrequent access storage est optimisé afin d'améliorer ses performances de requête.

• Ajout des syntaxes CREATE TABLE WITH et ALTER TABLE SET pour remplacer la syntaxe originale set_table_property, simplifiant ainsi la configuration des propriétés de table.

• Les écritures dans les tables sans primary key sont optimisées. Les écritures par lots dans ces tables utilisent désormais des verrous au niveau des lignes plutôt qu'au niveau de la table, permettant leur exécution simultanée avec Fixed Plan.

• Le Proxima vector computing permet désormais de créer une table et d'importer des données vectorielles avant de créer un vector index. Cela réduit le temps de création d'index et simplifie l'utilisation du calcul vectoriel.

• Améliorations des fonctions :

  • Plusieurs fonctions de tableau peuvent désormais s'exécuter sur HQE pour améliorer leurs performances.

  • Ajout de la fonction KeyValue pour fractionner les chaînes de caractères.

  • Ajout de la fonction IF pour simplifier les scénarios de vérification de type et réduire les coûts de migration depuis MySQL.

• Optimisation Count distinct

• Runtime Filter

• Compaction (Beta)

• Présentation des fonctions d'entonnoir

• Fonctions BSI

• Analyse de profil - Solution d'optimisation BSI

• Clustering key

• Stockage hiérarchisé des données

• CREATE TABLE

• Verrous et dépannage des verrous

• Proxima vector computing

• Notes de version des fonctions

• Fonction KeyValue

• IF

Améliorations de l'exploitation et de la stabilité

• Le diagnostic des requêtes lentes est amélioré pour une analyse plus efficace.

  • Vous pouvez désormais enregistrer les résultats de EXPLAIN ANALYZE dans les journaux de requêtes lentes, fournissant des données d'exécution détaillées pour chaque operator.

  • Le diagnostic Fixed Plan est amélioré. Dans les scénarios d'écriture, les données affected_rows sont rapportées au entrepôt de métadonnées. Dans les scénarios de requête, les données result_rows et result_bytes sont rapportées à l'entrepôt de métadonnées.

• Ajout de la fonction hg_relation_size pour interroger l'utilisation détaillée du stockage d'une table.

• Compatibilité avec le comportement natif de PostgreSQL et prise en charge du load balancing. Cela permet le load balancing et le automatic failover dans une primary/secondary architecture, améliorant la disponibilité du service.

• L'OpenAPI est enrichie de nouvelles API pour créer, renouveler, mettre à l'échelle et libérer des instances, améliorant l'exploitation et la gestion des instance.

• Afficher et analyser les journaux de requêtes lentes

• Accélérer l'exécution SQL avec des plans fixes

• Fonctions de stockage de table

• Load balancing basé sur JDBC

• Présentation de l'API

Expansion de l'écosystème

L'accélération du Data lake prend désormais en charge le format de stockage Paimon.

Accélérer l'accès aux données des lacs de données OSS à l'aide de DLF

Fonctionnalité

Description

Documentation connexe

Améliorations du moteur

• Introduction du Runtime Filter pour optimiser le filtrage lors des opérations de jointure. Cette fonctionnalité réduit la quantité de données analysées et diminue la surcharge des E/S, améliorant les performances de plus de 20 % dans les scénarios typiques de jointure multi-tables.

• Le engine de requête intègre un mécanisme Lazy Create Fragment Instance. Dans les scénarios d'aperçu utilisant une clause LIMIT N sur de grandes tables, ce mécanisme réduit la surcharge et améliore considérablement les performances des requêtes.

• Le format d'affichage des plans d'execution plans (EXPLAIN et EXPLAIN ANALYZE) est entièrement optimisé pour une meilleure lisibilité, simplifiant ainsi le réglage des performances SQL.

• La prise en charge des transactions distribuées est améliorée, incluant désormais les transactions contenant plusieurs instructions DML.

• Prise en charge de DROP COLUMN.

• Prise en charge de la syntaxe CREATE TABLE AS pour simplifier les scénarios d'itération et d'optimisation du schéma.

• Prise en charge du streaming COPY, qui améliore le débit d'écriture et élimine le besoin de traitement par lots.

• Prise en charge de la définition d'un bitmap index dans le stockage columnaire JSONB pour accélérer les requêtes avec des filtres d'égalité.

• Prise en charge de la définition du type DATE comme primary key et comme partition key pour une partitioned table. L'élagage de partition est optimisé et pris en charge même lorsque la longueur du tableau IN pour le champ de partition dépasse le seuil (par défaut : 100).

• Autres optimisations internes du moteur :

  • Le engine de stockage optimise le mécanisme Tablet Lazy Open, pris en charge pour les instances principales et secondaires. Les tables non accessibles depuis plus de 24 heures sont automatiquement fermées pour libérer de la mémoire. Lorsque la quantité de données dans les tables ouvertes dépasse un seuil, une politique LRU (Least Recently Used) est utilisée pour sélectionner dynamiquement une tablette correspondante à fermer. Cela réduit la surcharge mémoire résidente dans les scénarios comportant de nombreuses tables.

  • Le engine de stockage optimise le mécanisme de gestion du stockage de schéma. Une Meta Tablet gère désormais tous les schémas, ce qui réduit la surcharge mémoire résidente dans les environnements comportant de nombreuses tables et shards.

  • Le engine de stockage optimise sa capacité de récupération rapide. Il peut désormais démarrer en mode réparation pour une récupération rapide si certaines tables rencontrent des problèmes lors de la récupération conventionnelle. La gestion des Metadata prend désormais en charge la récupération logique par défaut, ce qui réduit efficacement le temps de récupération dans les scénarios comportant de nombreuses partitions. Pour les scénarios avec des dizaines de milliers de partitions, la récupération est plus de cinq fois plus rapide.

• Améliorations des fonctions :

  • Davantage de fonctions peuvent désormais s'exécuter sur HQE pour améliorer leurs performances.

    • Le framework de prise en charge des Table Function est réarchitecturé pour permettre l'exécution de generate_series (INT, BIGINT et NUMERIC) sur HQE.

    • Le framework de prise en charge des fonctions PQE est réarchitecturé pour permettre l'exécution de left, right, text::timestamp et timestamp::text sur HQE.

  • Ajout de fonctions de tableau, notamment array_max, array_min, array_contains, array_except, array_distinct et array_union.

  • Ajout des fonctions d'agrégation max_by et min_by pour simplifier les opérations ordonnées dans les scénarios de fenêtre.

• Runtime Filter

• EXPLAIN et EXPLAIN ANALYZE

• Capacités de transaction SQL

• Supprimer une colonne (Beta)

• CREATE TABLE AS

• COPY

• Columnar JSONB

• CREATE PARTITION TABLE

• Notes de version des fonctions

• Fonctions ARRAY

• MAX_BY

• MIN_BY

Améliorations de l'exploitation et de la stabilité

• Introduction de hg_stat_activity basé sur pg_stat_activity. Compatible avec la vue originale, elle fournit des informations de diagnostic d'exécution beaucoup plus riches, telles que l'étape d'exécution, le type d'engine d'exécution, l'utilisation des ressources et les informations de verrouillage d'exécution.

• Mise en œuvre de la réplication au niveau du shard. Cela prend en charge la haute disponibilité et le load balancing pour la mise à l'échelle du débit au sein d'une seule instance. Le système peut tolérer des pannes partielles de machines et des points chauds inégaux.

• Auto Analyze est repensé avec une architecture distribuée, prenant désormais en charge les tables externes, les clusters d'accélération lakehouse et l'analyse incrémentielle pour les tables partitionnées. Cela résout les échecs d'analyse sur des tables très grandes ou larges, conduisant à des plans d'exécution plus stables et à une surcharge réduite.

• La configuration du chiffrement du stockage est optimisée pour prendre en charge des paramètres de chiffrement flexibles par table.

• Le mécanisme de data lineage est amélioré. Il prend désormais en charge l'analyse de lignage inter-moteurs entre MaxCompute et Hologres dans DataWorks et peut analyser le lignage d'expressions telles que les CTE.

• Interroger la vue hg_stat_activity

• Réplica multiple au niveau du shard pour instance unique

• Paramètres de chiffrement du stockage au niveau de la table

• Data lineage

Expansion de l'écosystème

• Mise à niveau de l'engine d'accélération de requête pour les foreign tables MaxCompute, améliorant la compatibilité et la stabilité.

• Dans les scénarios d'accélération lakehouse avec gestion intégrée des metadata DLF, vous pouvez désormais utiliser les catalogues de données DLF (Multi-Catalog) pour l'isolation des metadata. Cela simplifie l'isolation des metadata entre les clusters de test, de développement et interdépartementaux.

• Dans les scénarios d'accélération lakehouse, cette version ajoute la prise en charge de l'accélération des données stockées sur OSS-HDFS (également connu sous le nom de JindoFS). Cela répond mieux aux besoins des scénarios de calcul de data lake dans l'écosystème big data Hadoop et les domaines de l'IA.

• Ajout de fonctions compatibles avec ClickHouse pour simplifier la migration des données et des tâches.

• Accélérer l'accès aux données des lacs de données OSS à l'aide de DLF

• Accélérer l'accès aux données des lacs de données OSS-HDFS à l'aide de DLF

• Importer des données depuis ClickHouse

Fonctionnalité

Description

Références

Améliorations du moteur

• Prise en charge des vues matérialisées en temps réel pour améliorer les performances des requêtes dans les scénarios d'agrégation en temps réel (Beta).

• Ajout du stockage columnaire pour JSONB, améliorant considérablement l'efficacité des requêtes statistiques et augmentant le taux de compression des données.

• Ajout de la gestion dynamique des partitions pour les tables partitionnées, incluant la création et la suppression automatiques des sous-tables de partition.

• Ajout de la fonction de déduplication précise UNIQ, qui améliore considérablement l'efficacité de la déduplication, optimise les scénarios multi-COUNT DISTINCT et réduit l'utilisation de la mémoire.

• Optimisations du moteur :

  • Prise en charge de l'écriture directe dans la table parente d'une table partitionnée à l'aide d'instructions INSERT conformes à Fixed Plan.

  • Prise en charge du filtrage dans les expressions d'agrégation, y compris string_agg() et array_agg().

  • Prise en charge du type de données RowType et des fonctions associées telles que row() et row_to_json().

  • Prise en charge de la modification du schéma d'une table.

  • Introduction de l'opérateur CTE Reuse pour améliorer les performances des expressions with.

• Prise en charge de la lecture du modèle à trois couches MaxCompute (project.schema.table).

• Intégration MaxCompute améliorée : vous pouvez désormais lire et écrire dans des tables transactionnelles, lire des tables après évolution du schéma (suppression de colonne, réordonnancement ou changement de type) et écrire des données ARRAY et DATE.

• Gérer les vues matérialisées avec SQL

• Types JSON et JSONB

• CREATE PARTITION TABLE

• Optimiser les performances des requêtes

• INSERT

• Accélérer l'exécution SQL avec des plans fixes

• Fonctions de chaîne

• Fonctions JSON

• ALTER TABLE

• CREATE FOREIGN TABLE

• IMPORT FOREIGN SCHEMA

• Accélérer les requêtes sur les données MaxCompute à l'aide d'une table externe

• Exporter vers MaxCompute

Améliorations de l'exploitation et de la stabilité

• Introduction de la configuration en libre-service d'une instance secondaire à stockage partagé pour renforcer l'élasticité et la haute disponibilité.

• Ajout de la table d'entrepôt de métadonnées table_info pour renforcer les capacités de gouvernance des données.

• Réduction de l'empreinte mémoire des métadonnées grâce à l'optimisation de l'utilisation de la mémoire.

• Prise en charge de la sauvegarde périodique automatique et de la sauvegarde manuelle, permettant la récupération des données après des opérations accidentelles.

• Déploiement haute disponibilité multi-instances avec séparation lecture/écriture (stockage partagé)

• Visualisation et analyse des informations statistiques des tables

• Sauvegarde et récupération locales

• Récupérer

Expansion de l'écosystème

• Prise en charge de niveau production pour l'extension PostGIS.

• Ajout du package d'extension Oracle, fournissant de nombreuses fonctions compatibles Oracle.

• À l'aide de DLF, vous pouvez désormais lire des tables externes aux formats Hudi et Delta, et écrire des données aux formats CSV, Parquet, SequenceFile et ORC dans des tables externes OSS.

• Compatibilité BI améliorée, atteignant un taux de réussite de 99 %+ dans le test de compatibilité Tableau (TDVT).

• Fonctions spatiales PostGIS

• Fonctions compatibles Oracle

• Accélérer l'accès aux lacs de données OSS basé sur DLF

Fonctionnalité

Description

Documentation associée

Améliorations des opérations et de la maintenance

• Ajout de l'isolation des groupes de ressources (Beta). Vous pouvez créer des groupes de ressources pour isoler les charges de travail au niveau des threads pour différents utilisateurs au sein d'une instance. Cette fonctionnalité prend mieux en charge les cas d'utilisation multi-utilisateurs et multi-scénarios.

• Prise en charge des mises à niveau à chaud en ligne pour les instances Hologres. Les opérations de lecture (requête) ne sont pas affectées pendant une mise à niveau. Pour utiliser cette fonctionnalité, demandez l'accès en rejoignant le groupe communautaire Hologres.

• Isoler les ressources de calcul dans une seule instance (Beta)

• Pour savoir comment rejoindre le groupe, consultez la rubrique Obtenir une assistance en ligne.

Améliorations du moteur

• Prise en charge du stockage hybride ligne-colonne, qui permet à une seule copie des données de servir à la fois les requêtes ponctuelles et les charges de travail OLAP.

• Prise en charge de la consommation en temps réel des journaux binaires Hologres via JDBC (Beta).

• Prise en charge de l'activation à la demande et de la configuration dynamique des journaux binaires.

• Prise en charge de la du renommage des colonnes.

• Ajout d'index JSONB (Beta) pour accélérer les requêtes sur les données JSON.

• Optimisation de la gestion des métadonnées en mémoire grâce à l'ajout de la mise en cache et de la compression pour une utilisation plus efficace de la mémoire.

• CREATE TABLE

• Consommer les journaux binaires Hologres à l'aide de JDBC

• S'abonner aux journaux binaires Hologres

• ALTER TABLE

• Types de données JSON et JSONB

Améliorations des tables externes

• Prise en charge de la lecture des données aux formats CSV, Parquet, SequenceFile et ORC depuis Object Storage Service (OSS) à l'aide de Data Lake Formation (DLF).

• Prise en charge des requêtes inter-bases de données et des requêtes fédérées sur plusieurs instances Hologres.

• Accélérer l'accès aux données des lacs de données OSS basés sur DLF

• Requêtes inter-bases de données (Beta)

Améliorations de la sécurité

• Prise en charge du chiffrement du stockage des données pour les tables internes Hologres (Beta) afin d'améliorer la sécurité d'accès aux données.

• Prise en charge de la lecture des données chiffrées depuis MaxCompute (Beta) pour améliorer la compatibilité avec l'écosystème MaxCompute.

• Chiffrement du stockage des données

• Interroger les données chiffrées dans MaxCompute

Fonctionnalité

Description

Documentation associée

Améliorations du moteur

• Prise en charge de la collecte automatique des statistiques de table. Le système échantillonne automatiquement les statistiques de table lors des écritures et des mises à jour de données pour générer de meilleurs plans de requête, ce qui élimine le besoin d'exécuter manuellement ANALYZE TABLE.

• Haute fiabilité au niveau de la milliseconde pour les requêtes ponctuelles (Beta) avec des configurations de réplicas multiples au niveau des shards, un basculement en quelques millisecondes et des nouvelles tentatives de requête pour les scénarios de service.

• Ajout d'une extension RoaringBitmap, qui fournit une prise en charge native du type de données Bitmap et des fonctions associées.

• Ajout des fonctions bit_construct et bit_match. Ces fonctions sont optimisées pour des scénarios tels que la segmentation des utilisateurs et l'analyse d'attribution, offrant un filtrage plus efficace pour les conditions d'agrégation basées sur les ID utilisateur.

• Ajout des fonctions range_retention_count et range_retention_sum pour optimiser les requêtes de plage sur plusieurs jours pour l'analyse de rétention.

• Introduction d'un outil de resharding avec une fonction intégrée qui vous permet de modifier le nombre de shards sans recréer les tables, simplifiant ainsi le processus de réglage.

• Optimisation du format de compression par défaut pour le stockage en colonne vers AliORC, améliorant le taux de compression du stockage de 30 % à 50 %.

• ANALYZE et AUTO ANALYZE

• Lectures à haut débit à partir de plusieurs réplicas d'un shard dans une seule instance (Beta)

• Fonctions RoaringBitmap

• Fonctions pour la segmentation des utilisateurs

• Aperçu des fonctions d'entonnoir

• Gérer les groupes de tables et le nombre de shards

• Modifier le format de stockage des données d'une table orientée colonne

Améliorations des requêtes de tables externes

• Amélioration des performances des requêtes pour les tables externes MaxCompute (Beta) de 30 % à 100 % par rapport à la version précédente, grâce à un nouveau moteur d'accélération.

• Ajout de l'intégration avec Data Lake Formation (DLF) (Beta) pour lire les données depuis Object Storage Service (OSS).

• Optimiser les performances des requêtes pour les tables externes MaxCompute

• Accélérer l'accès aux données des lacs de données OSS basés sur DLF

Optimisations des performances

• Amélioration des performances des requêtes ponctuelles, augmentant le débit total de 100 % pour le stockage en ligne et de 30 % pour le stockage en colonne.

• Optimisation des opérations de mise à jour, améliorant les performances des opérations UPDATE et DELETE de 30 %.

• Optimisation du cache du plan de requête pour réduire la charge de l'optimiseur.

/

Optimisations de la sécurité et des opérations et maintenance de niveau entreprise

• Introduction de l'identification des requêtes lentes. L'historique intégré de l'état des requêtes vous permet de consulter toutes les requêtes du dernier mois pour identifier rapidement celles qui sont lentes ou ont échoué.

Afficher et analyser les journaux de requêtes lentes

Fonctionnalité

Description

Documentation associée

Améliorations du moteur

• Ajout de la prise en charge d'une gamme plus large de types de données.

  • Types JSON et JSONB.

  • Types temporels : interval, timetz, time.

  • Type réseau : inet.

  • Type monétaire : money.

  • Types système PostgreSQL : name, uuid, oid.

  • Autres types : bytea, bit, varbit.

• Ajout de la prise en charge de davantage de types de fonctions, y compris les fonctions compatibles PostgreSQL et les fonctions d'extension Hologres.

  • Fonctions de tableau : Ajout de array_length et array_positions.

  • Fonctions pour afficher la taille de stockage des tables et des bases de données : pg_relation_size et pg_database_size.

• Prise en charge de l'exportation des données Hologres vers MaxCompute pour l'archivage à l'aide de commandes SQL Hologres.

• Prise en charge de l'abonnement aux journaux binaires Hologres (Beta).

• Prise en charge de la modification dynamique des index bitmap de table et de l'encodage par dictionnaire. Prise en charge de la création automatique de l'encodage par dictionnaire en fonction des caractéristiques des données.

• Publication de la bibliothèque Holo Client, conçue pour les scénarios de synchronisation de données à grande échelle et de requêtes ponctuelles à haut QPS. Elle utilise un lotissement automatique pour améliorer le débit.

• Optimisation du pipeline d'écriture JDBC et de l'optimiseur de requête pour améliorer considérablement l'efficacité d'écriture du moteur.

• Amélioration de la connectivité avec l'écosystème BI en ajoutant la prise en charge de davantage d'outils BI, tels que Tableau Server et Superset, pour répondre à divers besoins d'analyse commerciale.

• Types de données JSON et JSONB

• Types de données

• Fonctions ARRAY

• Fonctions de stockage de table

• Exporter des données vers MaxCompute

• S'abonner aux journaux binaires Hologres

• ALTER TABLE

• Holo Client

Améliorations de la sécurité

• Prise en charge de la connexion à Hologres avec un compte STS en endossant un rôle, offrant une option de connexion plus sécurisée et flexible que l'utilisation des comptes Alibaba Cloud.

Autorisation basée sur les rôles RAM

Améliorations des fonctionnalités principales

Description

Documentation associée

Améliorations du moteur

• Utilisez l'instruction CREATE VIEW pour créer une vue. Une vue peut être basée sur une seule table, plusieurs tables (y compris les tables internes et externes) ou d'autres vues.

• Hologres prend désormais en charge les types de données suivants : SERIAL, DATE, TIMESTAMP, VARCHAR(n) et CHAR(n). De plus, les tables externes MaxCompute prennent désormais en charge le mappage du type de données Array.

• Hologres prend désormais en charge INSERT ON CONFLICT. Cette fonctionnalité vous permet de mettre à jour ou d'ignorer les lignes en double en fonction de la clé primaire lors de l'insertion de données.

• Hologres prend désormais en charge l'instruction TRUNCATE.

• Hologres inclut désormais le moteur Proxima intégré pour prendre en charge la recherche vectorielle sur des ensembles de données massifs. Cette fonctionnalité est actuellement en Beta.

• VIEW

• Types de données

• INSERT ON CONFLICT (UPSERT)

• Recherche vectorielle Proxima

Améliorations de la sécurité

• Hologres prend désormais en charge le masquage des données. Vous pouvez configurer diverses politiques de masquage pour masquer les informations sensibles, telles que les numéros de téléphone, les adresses et les numéros de carte d'identité.

• Hologres s'intègre désormais à CloudMonitor pour prendre en charge la surveillance des métriques personnalisées et les alertes en un clic.

• Masquage des données

Contraintes et limitations des requêtes de tables externes MaxCompute

• Lorsque vous interrogez des tables partitionnées MaxCompute, vous pouvez analyser jusqu'à 512 partitions, contre 50 dans les versions précédentes.

• Vous pouvez désormais analyser jusqu'à 200 Go de données sous-jacentes par requête, quel que soit le nombre de tables externes et de colonnes (contre 100 Go précédemment).

Contraintes et limitations