ApsaraDB for ClickHouse:Édition compatible avec la communauté

Version

Description

Références

26.3.2.1-1.3.0

Intégration de la version communautaire 26.3 LTS v26.3.17.4-lts.

—

Version

Description

Références

26.3.2.1-1.2.0

L'édition compatible avec la communauté d'Alibaba Cloud ClickHouse publie la nouvelle version à support à long terme (LTS) 26,3. Cette mise à jour majeure apporte des améliorations à l'écosystème Data Lake avec une prise en charge native d'Apache Paimon, un index inversé généralement disponible pour la recherche en texte intégral, des CTE matérialisés, une réorganisation des JOIN, un Map shardé, une fusion verticale TTL, le codec ALP et la compatibilité avec 31 dialectes SQL.

Notes de version pour l'édition compatible avec la communauté 26,3

25.3.2.1-1.6.0

Correction de bug : résolution du problème de validation du chemin IcebergLocal signalé dans une issue communautaire.

S/O

25.3.2.1-1.5.0

Optimisation du noyau : mise à niveau du SDK ODPS.

S/O

25.3.2.1-1.4.2

Correction de bug : résolution de l'erreur d'écriture causée par des configurations non nulles pour min_free_disk_ratio_to_perform_insert et min_free_disk_bytes_to_perform_insert sur les disques de stockage d'objets.

S/O

23.8.5.16-1.5.1

Optimisation du noyau : mise à niveau du SDK ODPS.

S/O

Version

Description

Documents connexes

25.3.2.1-1.4.1

Noyau : fusion de la dernière version communautaire 25.3 LTS, v25.3.14.14-lts, incluant 49 corrections de bugs.

Aucun

Version

Description

Documents connexes

25.3.2.1-1.3.2

• Ajustements des paramètres

  • Activation de ttl_only_drop_parts.

  • Désactivation de use_uncompressed_cache.

• Autres

  Intégration de la version communautaire v25.3.11.20-lts.

Aucun

Version

Description

Documents connexes

25.3-1.3.1

• Ajustement des paramètres

  Les paramètres ttl_only_drop_parts, query_profiler_cpu_time_period_ns et query_profiler_real_time_period_ns utilisent désormais les valeurs par défaut du noyau.

• Corrections de bugs

  • Correction de la logique de fusion TTL pour la hiérarchisation des données chaudes et froides afin de garantir que le TTL reste effectif sur le stockage froid, même lorsque les opérations de fusion sont désactivées.

  • TTLMerge n'est plus affecté par le paramètre max_bytes_to_merge_at_max_space_in_pool.

• Autres mises à jour

  Mise à jour vers la version communautaire 25.3 LTS v25.3.8.23-lts.

Aucun

Version

Description

Documents connexes

25.3-1.3.0

• Correction de bug

  Correction de la logique de fusion TTL pour la hiérarchisation chaud/froid afin de garantir que le TTL reste effectif sur le stockage froid avec la fusion désactivée.

• Autres

  Mise à niveau vers la version communautaire 25.3 LTS v25.3.7.194-lts.

Aucun

Version

Description

Documentation connexe

25.3-1.1.2

Modifications des paramètres

• Réinitialisation de max_expanded_ast_elements à sa valeur par défaut du noyau.

• Réinitialisation de max_insert_block_size à sa valeur par défaut du noyau.

• Définition de merge_with_ttl_timeout à 3 600 s.

Aucun

23.8-1.4.3

Modifications des paramètres

• Réinitialisation de max_expanded_ast_elements à sa valeur par défaut du noyau.

• Réinitialisation de max_insert_block_size à sa valeur par défaut du noyau.

• Définition de merge_with_ttl_timeout à 3 600 s.

Nouvelle fonctionnalité

Ajout de la prise en charge des paramètres de configuration min_free_disk_ratio_to_perform_insert et min_free_disk_bytes_to_perform_insert, qui déclenchent une exception lors des opérations d'écriture si l'espace disque libre est insuffisant.

Correction de bug

Correction d'un plantage d'instance causé par une erreur « Nullptr dereference in FindOriginalNodeForOutputName ».

Nullptr dereference in FindOriginalNodeForOutputName

Numéro de version

Description

Références

22.8-1.18.0

• Correction d'un plantage dans le moteur Kafka engine.

• Correction d'un problème où un arrêt inattendu pouvait bloquer la distribution des données pour les tables distribuées.

Aucune

Version

Description

Documentation connexe

23,8

• Nouvelles fonctionnalités

  • Vous pouvez désormais diffuser des données depuis Amazon S3 en utilisant le moteur de table S3Queue.

  • Il est désormais possible d'importer directement des fichiers compressés aux formats zip, tar et 7zip.

  • Vous pouvez désormais utiliser l'instruction TRUNCATE DATABASE.

  • Il est désormais possible d'ajouter et de soustraire directement des vecteurs.

  • Vous pouvez désormais concaténer des tuples.

  • Les messages d'erreur incluent désormais des suggestions de correction pour les noms de bases de données et de tables.

• Optimisations des performances

  Améliore les performances des requêtes pour les fichiers Parquet, ORC, TSV, CSV et JSON de 40 % en moyenne, certaines requêtes s'exécutant 4 à 5 fois plus rapidement.

• ClickHouse 23.8

• S3Queue

• Importation directe depuis ZIP, TAR et 7zip

• TRUNCATE DATABASE

• Optimisations des performances Parquet

Version

Description

Documentation connexe

22.8

• Améliorations

  • Les importations de données depuis les tables externes MaxCompute prennent désormais en charge les tunnels exclusifs et la compression des données réseau.

  • La fonctionnalité text_log est désormais activée par défaut pour enregistrer les journaux Warning, Error et Fatal. Vous pouvez les interroger dans la table system.text_log.

  • La fonctionnalité query_thread_log est désormais désactivée par défaut afin d'éviter une utilisation excessive de l'espace disque.

• Corrections de bugs

  • Correction de problèmes liés aux conversions de types de données et aux comparaisons de valeurs entre les types de données DateTime64 et DateTime/Date.

  • Correction de l'erreur « Invalid number of rows in Chunk ».

Importer des données depuis MaxCompute

21.8

• Nouvelles fonctionnalités

  ApsaraDB for ClickHouse utilise désormais un mécanisme de durée de vie de session de secours pour les connexions ZooKeeper afin de mieux équilibrer la charge sur les nœuds ZooKeeper.

• Corrections de bugs

  Correction d'un problème de mémoire insuffisante (OOM) causé par index_granularity=0.

Aucune

Fonctionnalité

Description

Références

Disponibilité dans une nouvelle région

Nouvelle fonctionnalité

ApsaraDB for ClickHouse Les clusters sont désormais disponibles dans la région Malaisie (Kuala Lumpur).

• Créer un cluster

• Tarification des nœuds de calcul de l'édition compatible avec la communauté

• Tarification du stockage de l'édition compatible avec la communauté

• Tarification du stockage des sauvegardes de l'édition compatible avec la communauté

Édition compatible avec la communauté 22,8

Correction de bug

Correction d'un problème qui entraînait un résultat de requête inattendu pour la fonction Date.

Aucune

Modifications des spécifications

Les spécifications C4 et S4 ne sont plus prises en charge.

Aucune

Fonctionnalité

Description

Documentation connexe

Désactivation de la sauvegarde des données

Nouvelle fonctionnalité

Vous pouvez désormais désactiver la sauvegarde des données pour les clusters ApsaraDB for ClickHouse .

sauvegarde des données

Fonctionnalité

Description

Références

Redémarrage planifié des instances

Nouvelle fonctionnalité

Les redémarrages planifiés sont désormais pris en charge pour vos instances ApsaraDB for ClickHouse .

Redémarrer une instance Community Edition

Gestion des tags

Nouvelle fonctionnalité

Les clusters ApsaraDB for ClickHouse prennent en charge la gestion des tags.

Gestion des tags

Configuration ZooKeeper

Nouvelle fonctionnalité

Par défaut, les clusters ApsaraDB for ClickHouse incluent une configuration ZooKeeper (4 cœurs, 8 Go) sans frais supplémentaires.

Aucune

Fonctionnalité

Description

Références

Surveillance et alertes

Nouvelle fonctionnalité

Afficher les données de surveillance dans la console ApsaraDB for ClickHouse

Mise à niveau de la version majeure du moteur

Nouvelle fonctionnalité

Vous pouvez désormais mettre à niveau la version majeure du moteur des clusters ApsaraDB for ClickHouse Community Edition en migrant les données entre les clusters.

Mettre à niveau la version majeure du moteur via la migration des données

Fonctionnalité

Description

Documents connexes

Libération et association d'instances Classic Load Balancer (CLB)

Vous pouvez désormais libérer et associer une instance Classic Load Balancer (CLB) à un cluster ApsaraDB for ClickHouse édition compatible avec la communauté créé après le 1er décembre 2021.

Libérer et associer une instance CLB

Gestion des comptes

Vous pouvez désormais configurer les comptes de base de données des clusters compatibles avec l'édition communautaire en exécutant des instructions SQL.

• Gérer les comptes de base de données d'un cluster ApsaraDB for ClickHouse

• CREATE USER

• GRANT

Fonctionnalité

Description

Références

Édition compatible avec la communauté 22,8

• Nouvelles fonctionnalités

  • La plage de conservation des données pour les types Date32 et DateTime64 a été étendue. La plage prise en charge s'étend désormais du 01/01/1900 au 31/12/2299.

  • Prise en charge de la suppression légère (lightweight delete).

  • Prise en charge des fonctions définies par l'utilisateur SQL et des fonctions définies par l'utilisateur exécutables.

  • Prise en charge du prétraitement au niveau des partitions via les projections afin d'optimiser la pré-agrégation.

• Optimisations des performances

  • Les performances des opérations INSERT sont doublées.

  • Les performances des requêtes IN sur de longues listes sont triplées.

• Date32

• DateTime64

• Instruction DELETE

• Fonctions définies par l'utilisateur SQL

• Fonctions définies par l'utilisateur exécutables

• Projections

Fonctionnalité

Description

Références

Configuration des paramètres

Nouvelle fonctionnalité

Vous pouvez désormais modifier les paramètres du fichier config.xml en mode XML et consulter l'historique des modifications pour les clusters ApsaraDB for ClickHouse créés après le 1er décembre 2021.

Configurer les paramètres config.xml

Fonctionnalité

Description

Rubriques connexes

Mise à niveau de la version mineure du moteur

Nouvelle fonctionnalité

Vous pouvez mettre à niveau la version mineure du moteur pour les clusters achetés après le 1er décembre 2021. Les mises à niveau des versions mineures incluent des améliorations des performances, de nouvelles fonctionnalités et des corrections de bugs.

Mettre à niveau la version mineure du moteur

Définir une fenêtre de maintenance

Nouvelle fonctionnalité

Vous pouvez définir une fenêtre de maintenance pour un ou plusieurs clusters ApsaraDB for ClickHouse. Le système effectue les mises à niveau durant la fenêtre de maintenance spécifiée afin de garantir la stabilité du cluster.

Définir une fenêtre de maintenance

Fonctionnalité

Description

Références

Surveillance et alertes

• Nouvelle fonctionnalité

  Les nouvelles métriques suivantes ont été ajoutées :

  • Number of Inactive Data Parts

  • Number of TCP connections

  • Number of Init Query runs

  • Number of HTTP connections

  • Number of MaterializeMySQL

  • Number of failed Insert queries

  • Number of Kafka external tables

  • Number of failed Select queries

  • Number of MaterializeMySQL synchronization failures

  • Number of Kafka External Table Consumption Errors

• Améliorations

  Cette mise à jour améliore la disponibilité du cluster et la surveillance des exceptions, renforçant ainsi la stabilité opérationnelle.

Afficher les données de surveillance dans la console ApsaraDB for ClickHouse

Fonctionnalité

Description

Références

Sauvegarde et restauration des données

Nouvelle fonctionnalité

Les clusters ApsaraDB for ClickHouse exécutant les versions 20.3, 20.8 et 21,8 prennent désormais en charge la sauvegarde et la restauration des données.

• Sauvegarde des données

• Restauration des données

Fonctionnalité

Description

Références

HTTPS

Nouvelle fonctionnalité

Cette version ajoute la prise en charge du protocole HTTPS pour chiffrer les données en transit.

• Activer HTTPS

• Se connecter à ClickHouse via HTTPS

Mise à niveau du moteur MaterializeMySQL

• Nouvelle fonctionnalité

  Le moteur MaterializeMySQL prend en charge les données incorrectes dans les types ENUM.

• Optimisations

  • La synchronisation complète des données est désormais optimisée pour éviter le verrouillage des tables, ce qui réduit l'impact sur les opérations métier.

  • La synchronisation DDL a été optimisée. Les erreurs de synchronisation sont désormais enregistrées dans la table système.

Aucune

Activation par défaut de TCP keepalive

Nouvelle fonctionnalité

TCP keepalive est activé par défaut pour garantir la fiabilité des connexions.

Aucune

Fonctionnalité

Description

Documents connexes

Mise à niveau du moteur MaterializeMySQL

Le moteur MaterializeMySQL prend désormais en charge le type de données DECIMAL.

Aucun

Fonctionnalité

Description

Références

Édition compatible avec la communauté V21.8

• Nouvelles fonctionnalités

  • Prise en charge élargie des normes SQL et JSON.

  • Ajout du moteur de table et du moteur de base de données MaterializedPostgreSQL, qui permettent la réplication synchrone des bases de données et des tables.

  • Ajout des fonctions leftPad(), rightPad(), leftPadUTF8() et rightPadUTF8().

  • Ajout des fonctions bin et unbin.

  • Extension de la commande ADD INDEX avec le mot-clé FIRST pour ajouter un index au début de la liste des index.

  • Prise en charge des types de données Map, UInt128, Int128, UInt256 et Int256 dans les fonctions MapAdd et MapSubTract.

  • Prise en charge de l'expression DISTINCT ON (columns).

• Optimisation

  Réduction de la latence des requêtes courtes lors de la lecture de plusieurs colonnes.

Aucune

Fonctionnalité

Description

Références

Fonctionnalité de réservation de binlog

Le moteur MaterializeMySQL prend en charge une fonctionnalité de réservation de binlog, activée en définissant le paramètre enable_binlog_reserved . Cette fonctionnalité empêche les échecs de synchronisation des données causés par le nettoyage des binlogs, améliorant ainsi la stabilité du moteur.

Moteur MaterializeMySQL

Fonctionnalité

Description

Références

Redémarrage du cluster

ApsaraDB for ClickHouse vous permet de redémarrer un cluster s'il devient indisponible ou si un redémarrage est nécessaire pour résoudre un problème.

Redémarrer un cluster ApsaraDB for ClickHouse

Optimisation de la page de surveillance

La page de surveillance a été optimisée pour offrir une expérience utilisateur plus fluide.

Aucune

Prise en charge de l'instance analytique ApsaraDB RDS for MySQL

ApsaraDB for ClickHouse vous permet de synchroniser les données d'une instance analytique ApsaraDB RDS for MySQL vers un cluster ApsaraDB for ClickHouse pour centraliser l'analyse des données métier.

Créer un cluster ApsaraDB for ClickHouse

Fonctionnalité

Description

Références

Migration de données entre les clusters ApsaraDB for ClickHouse

Utilisez la fonctionnalité de migration de données dans la console ApsaraDB for ClickHouse pour migrer des données entre des clusters ApsaraDB for ClickHouse exécutant la même version du moteur, ou pour passer d'une version antérieure à une version ultérieure.

Migrer des données entre des clusters ClickHouse compatibles avec la communauté

Fonctionnalité

Description

Références

Plusieurs méthodes de mise à l'échelle horizontale (scale-out)

Ajout de la méthode de mise à l'échelle horizontale simple. Vous pouvez désormais choisir entre :

• Mise à l'échelle horizontale basée sur la migration

• Mise à l'échelle horizontale simple

Mise à l'échelle horizontale et verticale

Mise à niveau du moteur MaterializeMySQL

• Meilleure prise en charge des types de données JSON, TIME et YEAR.

• Correction de bugs liés au mot-clé key et à la création incrémentielle de tables.

• Ajout de la prise en charge des paramètres suivants :

  • skip_error_count

  • alter include_tables

Moteur MaterializeMySQL

Optimisation des performances de la mise à l'échelle horizontale

Optimisation de clickhouse-copier pour améliorer les performances de la mise à l'échelle horizontale.

Mise à l'échelle verticale et horizontale pour les clusters de l'édition compatible avec la communauté

Fonctionnalité

Description

Références

Sauvegarde et restauration

La fonctionnalité de sauvegarde et de restauration prévient la perte accidentelle de données et améliore la sécurité des données.

Sauvegarde des données

Fonctionnalité

Description

Références

Stockage hiérarchisé des données chaudes et froides

Cette fonctionnalité déplace automatiquement les données entre les niveaux de stockage chaud et froid, réduisant ainsi les coûts de stockage de plus de 80 % sans affecter les performances.

Stockage hiérarchisé des données chaudes et froides

Prise en charge des disques cloud ESSD PL2 et PL3

Permet le stockage sur des disques cloud ESSD PL2 et PL3, multipliant ainsi le débit d'E/S.

Aucune

Chiffrement des disques cloud

Chiffre l'intégralité du disque de données à l'aide du stockage par blocs, rendant les données illisibles et sécurisées même si une sauvegarde est compromise.

Chiffrement des disques cloud

Fonctionnalité

Description

Références

Prise en charge des régions Chine (Hohhot) et Chine (Hong Kong)

Aucune

Aucune

Optimisation de la livraison des journaux

Vous pouvez désormais livrer les données de journal du Log Service vers ApsaraDB for ClickHouse pour une analyse des journaux en temps réel.

Synchronisation depuis le Log Service

Fonctionnalité

Description

Documentation connexe

ApsaraDB for ClickHouse est désormais disponible dans les régions Chine (Zhangjiakou), Chine (Chengdu) et Japon (Tokyo).

Aucune

Aucune

Gestion des comptes et des autorisations pour les bases de données et les dictionnaires de données

Vous pouvez désormais gérer les comptes et les autorisations des bases de données dans la console. Cela inclut la création de comptes, la modification des mots de passe et la définition des autorisations sur les bases de données et les dictionnaires de données.

Gérer les comptes de base de données d'un cluster ApsaraDB for ClickHouse

Modification des paramètres globaux

Vous pouvez désormais modifier les paramètres globaux directement dans la console ApsaraDB for ClickHouse. Les modifications prennent effet après le redémarrage du cluster.

Configurer les paramètres config.xml

Fonctionnalité

Description

Documentation connexe

Mise à l'échelle horizontale équilibrée des données

Répartit les données de manière homogène lors de l'ajout de nœuds à un cluster pour éviter le déséquilibre des données.

S/O

Gestion des requêtes

Permet d'identifier les requêtes SQL lentes et d'interrompre les requêtes en cours d'exécution.

Gérer les requêtes SQL

Nouvelle spécification 4 cœurs, 16 Go

Introduction d'une spécification 4 cœurs, 16 Go pour améliorer la capacité de traitement d'un seul nœud.

Éléments facturables

Dictionnaire de données

Vous pouvez désormais configurer des dictionnaires de données dans la console. Pour les données métier contenant des constantes ou structurées avec des tables de faits et de dimensions, l'utilisation d'un dictionnaire de données au lieu d'une table de dimensions améliore l'efficacité des requêtes grâce à des recherches directes de données.

Dictionnaire de données

File d'attente de ressources

Empêche les grandes requêtes de consommer des ressources excessives, ce qui peut provoquer des pannes d'instance dans ClickHouse open source.

Files d'attente de ressources ClickHouse

Fonctionnalité

Description

Références

Intégration avec Quick BI

Créez des systèmes BI dans Quick BI en ajoutant ApsaraDB for ClickHouse comme source de données.

Ajouter une source de données ClickHouse

Paramètre

Description

Références

Version 20.3

Cette version fournit la version 20.3.10.75 du moteur, qui corrige plusieurs bugs du moteur et améliore la stabilité.

Aucune

Prise en charge de la migration de données et de la synchronisation en temps réel depuis MySQL

ApsaraDB for ClickHouse prend désormais en charge la migration de données et la synchronisation en temps réel depuis MySQL, permettant une analyse interactive en temps réel de vos données opérationnelles.

Importer des données depuis MySQL.

Livraison et analyse des journaux en ligne

En créant une tâche de livraison dans ApsaraDB for ClickHouse pour acheminer les données de journal de comportement utilisateur depuis SLS vers ClickHouse, vous pouvez effectuer une analyse multidimensionnelle des données de journal en ligne à l'aide de ApsaraDB for ClickHouse.

Synchronisation depuis le Log Service

Fonctionnalité

Description

Références

Intégration avec Data Management Service (DMS)

ApsaraDB for ClickHouse s'intègre à Data Management Service (DMS), vous permettant de gérer les bases de données et les tables, d'exécuter des requêtes de données et d'orchestrer et planifier des tâches SQL.

Aucune

Fonctionnalité

Description

Références

Nouvelles spécifications

Sur la base de la spécification C8, quatre nouvelles spécifications sont désormais disponibles : C4, C24, C64 et C104. Cette mise à jour active également le port HTTP.

Éléments facturables