E-MapReduce:Console release notes

Catégorie

Description

Gestion des instances

• L'API CreateInstanceV1 prend désormais en charge la clé de condition RAM, ce qui vous permet d'imposer le chiffrement des disques de données (Encrypted=true) pour assurer la conformité en matière de sécurité.

• La répartition des coûts basée sur les tags est désormais prise en charge.

• Le module Query Insight inclut désormais les métriques de consommation totale du CPU et de la mémoire.

• La surveillance des E/S multi-disques par nœud est maintenant disponible, avec la possibilité d'exporter les métriques vers Cloud Monitor Prometheus.

StarRocks Manager

• Vous pouvez désormais créer un catalogue Fluss via l'interface visuelle.

Catégorie

Description

Gestion des instances

• Nouvelles fonctionnalités :

  • Vous pouvez désormais créer des groupes de calcul across les zones de disponibilité.

  • AI Center prend désormais en charge les modèles Qwen 3.5-plus et Qwen 3.6-plus.

  • AI Center affiche désormais les statistiques d'utilisation des jetons.

StarRocks Manager

• Améliorations :

  • Le contrôle d'accès granulaire vous permet désormais de gérer les autorisations des utilisateurs pour le téléchargement des résultats de requête.

Catégorie

Description

Gestion des instances

• Nouvelles fonctionnalités :

  • Compaction Service prend désormais en charge le déploiement inter-zones.

  • Vous pouvez désormais définir une limite supérieure pour le paramètre mem-limit.

  • Surveillance et alertes :

    • Vous pouvez désormais acheminer les données brutes des métriques de surveillance vers SLS pour des scénarios de surveillance personnalisés.

    • Vous pouvez désormais configurer des alertes lorsqu'une vue matérialisée devient invalide ou inactive.

• Améliorations :

  • Les configurations des règles d'alerte incluent désormais le nom de l'instance afin d'identifier plus facilement la source des alertes.

  • La logique de mise à l'échelle automatique a été améliorée pour éviter que des opérations de mise à l'échelle fréquentes ne bloquent le processus.

Catégorie

Description

Gestion des instances

• Nouvelles fonctionnalités :

  • Introduction de Compaction Service (uniquement pour StarRocks 3.5), un service flexible et isolé dédié à la compaction. Cette fonctionnalité est en version bêta.

  • Surveillance et alertes :

    • Vous pouvez désormais acheminer les données brutes des métriques de surveillance vers SLS pour des scénarios de surveillance personnalisés.

    • Vous pouvez désormais configurer des alertes lorsqu'une vue matérialisée devient invalide ou inactive.

• Améliorations :

  • Le contenu relatif aux insights métier (y compris les insights sur les requêtes, les importations et le cache) a été restructuré et optimisé. Pour plus de détails, consultez la documentation correspondante.

  • Le menu All Operations pour les instances a été optimisé.

StarRocks Manager

• Améliorations :

  • L'éditeur SQL utilise désormais par défaut le groupe de calcul spécifié par l'utilisateur actuel lors de son ouverture.

  • Vous pouvez désormais consulter le nombre de lignes analysées dans une tâche SQL.

  • La logique de génération du Profile a été optimisée pour corriger les problèmes empêchant sa génération dans certains scénarios.

  • La consultation des métriques de taille et de nombre de lignes pour les tables externes n'est plus prise en charge. Cette modification vise à prévenir les analyses agressives afin de protéger la stabilité des services de métadonnées externes, tels que HMS.

Catégorie

Description

Gestion des instances

• Nouvelles fonctionnalités :

  • Vous pouvez désormais passer d'un abonnement au paiement à l'utilisation.

  • Vous pouvez désormais ajouter des tags aux groupes de calcul pour suivre leurs coûts dans vos factures.

  • Vous pouvez désormais utiliser All Operations pour agir sur toutes les instances simultanément.

  • Vous pouvez désormais associer une instance à DLF lors de sa création.

  • AI Function est désormais disponible en version bêta.

  • Vous pouvez désormais gérer les autorisations des groupes de calcul dans Ranger.

• Améliorations :

  • Le système recommande désormais les mises à niveau pour les défauts critiques de la pile logicielle, via des alertes mises en évidence et des notifications d'événements.

  • Le rapport quotidien de diagnostic, situé sous la section de diagnostic de santé, inclut désormais de nouvelles vérifications. Celles-ci permettent de confirmer si la persistance des index pour les tables à clé primaire est activée, si le type d'index est cloud_native et si la taille du bucket est inférieure à 5 Go.

  • Ajout d'une pré-vérification de l'inventaire pour les opérations de montée en puissance (scale-out) et de montée en gamme (scale-up).

  • Real-time Diagnosis prend désormais en charge le filtrage par groupe de calcul.

  • Vous pouvez désormais modifier une politique de mise à l'échelle alors qu'un événement de mise à l'échelle est en cours.

• Problèmes résolus :

  • Correction d'un problème pouvant entraîner le remplissage du disque système.

  • Suppression d'un graphique invalide de la vue du groupe de compaction dans la section Monitoring pour les instances à séparation stockage-calcul.

StarRocks Manager

• Nouvelles fonctionnalités :

  • Vous pouvez désormais associer des utilisateurs à un rôle RAM afin d'utiliser les autorisations basées sur les rôles RAM de DLF.

• Améliorations :

  • Dans SQL Tasks > Running Tasks, vous pouvez désormais terminer plusieurs tâches à la fois et trier les tâches par champ.

  • La page Import Tasks prend désormais en charge le filtrage et inclut un champ indiquant la durée de la tâche.

Catégorie de fonctionnalité

Description

Gestion des instances

• Nouvelles fonctionnalités :

  • Event Center s'intègre désormais à Cloud Monitor (CMS), ce qui vous permet de consulter tous les événements du cluster StarRocks depuis un emplacement unique.

  • Vous pouvez désormais utiliser des modèles d'alerte pour appliquer les configurations d'alerte de base en un seul clic.

  • De nouvelles métriques Cloud Monitor sont désormais disponibles pour les configurations d'alerte, notamment celles relatives aux requêtes, aux transactions, aux verrous de base de données, à l'état des nœuds, à la mémoire FE et aux vues matérialisées (MV).

  • Le nouveau rapport quotidien de diagnostic de santé évalue automatiquement l'état de vos instances. Il fournit des évaluations, des suggestions de réparation et les meilleures pratiques d'optimisation pour la configuration des ressources, les tâches de requête, les tâches d'importation, la compaction, l'analyse des tables et l'analyse du cache.

  • Vous pouvez désormais collecter et exporter les statistiques de coûts selon les dimensions de l'instance et du groupe de calcul.

  • Terraform Provider prend désormais en charge la mise à l'échelle élastique pour les clusters StarRocks.

  • L'arrêt partiel en douceur est désormais pris en charge lors de la réduction d'échelle (scale-in) des clusters cloud-native. Par défaut, le système attend 30 secondes après l'ajout d'un nœud à la liste de refus avant de procéder à la réduction d'échelle.

  • Lors de la réduction d'échelle d'un cluster tout-en-un, vous pouvez désormais sélectionner et retirer plusieurs nœuds BE/CN en parallèle. Cette opération présente un risque élevé.

  • Les nœuds BE exposent désormais le port 9060 pour permettre l'accès au réseau public depuis Spark vers les instances StarRocks.

• Optimisations des fonctionnalités :

  • Vous pouvez désormais modifier le paramètre emr_internal_redirect en ligne dans la console. Cela permet à Stream Load d'utiliser V2 et d'éviter le streaming SLB.

• Corrections de bugs :

  • Correction d'un problème entraînant le remplissage du disque système.

  • Suppression des graphiques invalides du groupe de compaction dans la section de surveillance pour les instances cloud-native.

StarRocks Manager

• Optimisation des fonctionnalités :

  • Amélioration du reporting de l'état des tâches pour refléter correctement l'achèvement réussi et éviter les fausses erreurs de délai dépassé.

• Correction de bug :

  • Correction d'un problème où des requêtes exécutées avec succès étaient parfois signalées comme échouées. Par exemple, l'ajout de LIMIT 100 au SQL de la requête renvoyait des résultats et affichait un état de tâche normal.

Documentation

• Publication du document Notifications de bugs critiques.

• Publication du document Politique de cycle de vie des versions.

• Ajout de trois paramètres au document Limites d'utilisation pour restreindre les modifications lors de la phase de conception de la table.

Catégorie de fonctionnalité

Description

Gestion des instances

• Nouvelles fonctionnalités :

  • La fonctionnalité Event Center est désormais disponible en disponibilité générale. Elle fournit des notifications pour les événements sous-jacents provenant de services tels qu'ECS et OSS.

  • Les disques éphémères élastiques sont désormais pris en charge pour les instances à séparation du calcul et du stockage. Cette fonctionnalité est en version bêta et n'est disponible que dans certaines régions et zones.

  • Vous pouvez désormais réduire la taille des disques cloud pour les groupes de calcul dans les instances à séparation du calcul et du stockage.

  • La fonctionnalité de reprise après sinistre multi-zone est désormais disponible en disponibilité générale pour les instances à séparation du calcul et du stockage.

  • La nouvelle fonctionnalité Health Diagnosis est désormais disponible. Elle inclut le module Real-time Diagnosis existant et ajoute la nouvelle fonctionnalité Diagnostic Daily, actuellement en version bêta. Diagnostic Daily fournit un score de santé intuitif, ainsi que des résultats d'évaluation, des actions recommandées et des bonnes pratiques pour diverses dimensions.

  • Vous pouvez désormais activer SLB et un agent autonome lors de la création d'une instance.

  • L'API EMR StarRocks prend désormais en charge l'interrogation d'une liste d'instances.

• Améliorations :

  • Auto Scaling prend désormais en charge plusieurs politiques de mise à l'échelle.

  • La fonctionnalité Health Report a été renommée Business Insight. Cette fonctionnalité fournit des rapports multidimensionnels pour prendre en charge la gouvernance des données et l'administration commerciale.

  • Un nouveau rapport, « Tables non consultées au cours des 90 derniers jours », a été ajouté à Business Insight.

  • La requête de journaux vous permet désormais de sélectionner des fichiers journaux spécifiques pour la livraison afin de réduire les coûts SLS.

  • Optimisation des paramètres JAVA_OPTS par défaut.

  • Optimisation du processus de redémarrage.

  • Optimisation des sources de données pour la consommation de CPU et de mémoire dans Real-time Diagnosis.

  • Amélioration de l'expérience utilisateur sur la page Real-time Diagnosis.

  • Optimisation de plusieurs tableaux de bord de surveillance et ajout de nouvelles métriques de surveillance.

  • Amélioration de l'expérience utilisateur pour la sélection des vSwitches et des zones lors de la création d'une instance.

  • Alert Monitoring prend désormais en charge la sélection rapide de la plage de temps.

• Corrections de bugs :

  • Correction d'un problème pouvant entraîner le remplissage des disques FE.

  • Correction d'un problème susceptible de bloquer le processus de suppression de l'instance.

StarRocks Manager

• Nouvelles fonctionnalités :

  • Ajout de modèles de test TPC-H et TPC-DS de 1 TB à SQL Editor.

• Améliorations :

  • Vous pouvez désormais définir les propriétés utilisateur lors de la création d'un utilisateur.

  • Vous pouvez désormais associer des utilisateurs StarRocks existants à des utilisateurs RAM pour activer l'intégration des autorisations avec DLF.

  • Les journaux d'audit prennent désormais en charge la fonctionnalité d'empreinte SQL.

• Corrections de bugs :

  • Correction d'un problème provoquant occasionnellement des saccades du navigateur sur la page de la liste des tâches SQL.

Catégorie de fonctionnalité

Description

Gestion des instances

• Ajout du type d'unité de calcul Compute enhanced. Avec un ratio vCPU/mémoire de 1:2, il est idéal pour les charges de travail nécessitant une utilisation intensive du CPU. Cette fonctionnalité est réservée aux utilisateurs sur liste d'autorisation.

• Vous pouvez désormais créer des instances à l'aide de Terraform.

Catégorie de fonctionnalité

Description

Gestion des instances

• Nouvelles fonctionnalités :

  • Vous pouvez désormais utiliser le chiffrement des disques cloud et le chiffrement SSL (Secure Sockets Layer) sur les instances à stockage et calcul intégrés pour renforcer la sécurité.

  • Les nœuds FE prennent désormais en charge la famille d'instances optimisées pour la mémoire, idéale pour les scénarios à forte utilisation de mémoire FE.

  • Les instances à stockage et calcul intégrés prennent désormais en charge le redémarrage rapide.

  • Vous pouvez désormais configurer un nom de domaine personnalisé pour une instance StarRocks afin d'accéder à son endpoint personnalisé.

  • Pour les instances par abonnement, vous pouvez désormais convertir les groupes de calcul en paiement à l'utilisation vers le modèle d'abonnement.

  • Vous pouvez désormais appliquer des coupons pour obtenir des réductions sur les achats d'instances.

• Optimisations des fonctionnalités :

  • Amélioration de l'expérience utilisateur sur la page d'achat d'instance.

  • Amélioration de l'affichage des éléments de configuration pour chaque version de pile logicielle dans les paramètres.

  • Vous pouvez désormais afficher les nouvelles règles d'alerte configurées dans CloudMonitor sous l'onglet Monitoring and Alerting > Alert Settings de la console.

  • Vous pouvez désormais gérer StarRocks avec Apache Ranger.

  • Vous pouvez désormais ajouter des descriptions aux groupes de calcul.

  • La page Instance Details inclut désormais un lien vers la version de publication du noyau.

  • Métriques de surveillance supplémentaires :

    • Affichage de l'utilisation de la mémoire des nœuds FE.

    • Affichage des tendances historiques de l'utilisation moyenne du CPU, de la mémoire et du disque des nœuds BE.

StarRocks Manager

• Nouvelle fonctionnalité :

  Les résultats des requêtes SQL Editor incluent désormais les types de données correspondants et prennent en charge les valeurs nulles.

• Optimisations des fonctionnalités :

  • Documentation fournie sur l'exécution des instructions SQL dans SQL Editor. Pour les instructions contenant un point-virgule (;), vous devez ajouter $$ comme délimiteur.

  • Amélioration de l'affichage de l'heure de fin d'exécution pour les tâches de vue matérialisée asynchrone sur les instances à stockage et calcul intégrés.

  • Affinement du contenu de la page Overview de Manager pour une meilleure clarté.

• Corrections de bugs :

  Optimisation de la gestion des métadonnées : correction d'un problème empêchant parfois Paimon Catalog de charger ou d'afficher correctement les données.

Catégorie de fonctionnalité

Description

Gestion des instances

• Nouvelles fonctionnalités :

  • Vous pouvez désormais interroger les journaux détaillés des instances pour résoudre les exceptions de tâche.

  • Vous pouvez désormais utiliser la gestion de passerelle pour regrouper et isoler les nœuds FE et restreindre le nœud leader aux opérations d'écriture. Vous pouvez également activer l'équilibrage de charge SLB pour améliorer la stabilité de l'instance.

  • Vous pouvez désormais réduire le nombre de nœuds FE lorsque votre instance comporte plus de trois nœuds.

  • Vous pouvez désormais obtenir le jeton de migration depuis la page Instance Details.

  • La région Japon (Tokyo) est désormais disponible.

• Améliorations :

  • Amélioration de la notification de redémarrage pour les mises à niveau d'instance.

  • Affinement de l'expérience utilisateur sur la page de diagnostic en temps réel.

  • La dernière version mineure est désormais affichée lors de la création d'une instance.

  • Ajout de configurations pour Kerberos et Ranger.

  • Amélioration de l'expérience utilisateur des graphiques de surveillance.

  • Amélioration de la page d'aperçu de la console.

  • Vous pouvez désormais appliquer des modifications de configuration sans redémarrage immédiat, et combiner le redémarrage avec d'autres opérations ultérieurement pour réduire les temps d'arrêt du service.

StarRocks Manager

• Vous pouvez désormais effectuer des recherches dans la zone Catalogs sur la page Metadata Management.

• Amélioration des performances de l'historique des requêtes SQL sans affecter l'instance actuelle.

• La page utilisateur inclut désormais une zone de recherche pour vous aider à trouver rapidement des utilisateurs.

• Amélioration de l'expérience utilisateur du filtre des tâches d'importation.

• Affinement de l'affichage du contenu sur la page des détails de la requête.

• Amélioration de l'expérience utilisateur de SQL Editor.

Catégorie de fonctionnalité

Description

Opérations sur les instances

• Nouvelles fonctionnalités :

  • Prise en charge de nouveaux types d'unités de calcul, notamment optimisés pour la mémoire (RCU) et pour le réseau (NCU), afin de répondre à diverses exigences de performance.

  • Les opérations nécessitant un redémarrage, telles que l'application de modifications de configuration et la mise à l'échelle des instances, utilisent désormais le redémarrage rapide.

  • Prise en charge de la réinitialisation du mot de passe pour l'utilisateur administrateur.

  • Les instances à données partagées prennent désormais en charge un seul nœud CN.

• Améliorations :

  • Amélioration des diagnostics en temps réel et des rapports de santé.

  • Optimisation du processus de mise à niveau de version.

  • Optimisation des métriques de surveillance et d'alerte :

    • Ajout de la prise en charge de nouvelles métriques de surveillance, notamment les métriques de disque FE et IOUtil des nœuds de calcul.

    • Les métriques liées au stockage se trouvent désormais dans un onglet de stockage dédié.

StarRocks Manager

• Nouvelles fonctionnalités :

  • Gestion des métadonnées : prise en charge de la création visuelle de tables, de bases de données et de vues matérialisées, ainsi que de l'affichage des informations sur les vues matérialisées.

  • Security Center : prise en charge de la gestion visuelle des utilisateurs, des rôles et des autorisations à l'aide du contrôle d'accès basé sur les rôles (RBAC).

  • SQL Editor : prise en charge de la configuration de la clause LIMIT.

• Améliorations :

  • Amélioration de l'expérience utilisateur de SQL Editor.

  • Optimisation de l'affichage du profil SQL.

  • Amélioration du tri et de la recherche des tables dans la gestion des métadonnées.

Catégorie de fonctionnalité

Description

Fonctionnalités de la plateforme de contrôle

• Les instances sans partage prennent désormais en charge la sauvegarde et la restauration (en aperçu public).

• Vous pouvez désormais modifier le fuseau horaire.

• Améliorations de la fonctionnalité de rapport de santé :

  • Un rapport d'analyse du cache est désormais disponible.

  • L'analyse des requêtes SQL inclut désormais les métriques Query Latency P99 et DB Lock.

• Le profil SQL inclut désormais les sections « Top 10 by Time » et « Top 10 by Memory ».

• Les journaux de requêtes lentes incluent désormais des champs pour l'utilisation du CPU et de la mémoire.

Catégorie de fonctionnalité

Description de la mise à jour

Fonctionnalités de la plateforme de contrôle

• Gérez vos instances à l'aide des groupes de ressources et des tags Alibaba Cloud.

• Consultez les vues matérialisées et leurs informations de tâche dans StarRocks Manager.

• Exécutez directement des scripts de test TPC-DS et TPC-H prêts à l'emploi dans l'éditeur SQL de StarRocks Manager.

• Visualisez les enregistrements et les détails des tâches INSERT INTO directement sous Import Tasks ou SQL Tasks dans StarRocks Manager.

• Améliorations :

  • Les métriques du profil ont été enrichies.

  • La notification d'espace disque faible a été améliorée.

Catégorie de fonctionnalité

Description

Fonctionnalités de la plateforme de contrôle

• Les instances prennent désormais en charge la mise à l'échelle automatique basée sur un planning. Cette fonctionnalité est actuellement limitée aux instances en paiement à l'utilisation.

• De nouvelles métriques de surveillance ont été ajoutées et les rapports de surveillance ont été optimisés.

Améliorations de StarRocks Manager

• SQL Profile prend désormais en charge des cartes de suggestions de diagnostic pour analyser et optimiser les requêtes SQL.

• Les requêtes échouant en raison d'erreurs de syntaxe sont désormais affichées dans la vue All Queries.

Améliorations de l'expérience utilisateur

• Les invites utilisateur du workflow d'achat ont été améliorées.

• Le lien QueryId et son texte sur la page du rapport d'intégrité ont été améliorés.

• Le texte de l'interface SQL Profile a été amélioré.

• Les performances de l'éditeur SQL ont été améliorées.

Catégorie de fonctionnalité

Description

Fonctionnalités de la plateforme de contrôle

• Prise en charge de trois nouveaux types d'instances : shared-nothing, Data Lake Analytics Edition et shared-data.

• L'analyse diagnostique est renforcée par la prise en charge de l'analyse des requêtes SQL, des tables et des tâches d'importation, vous aidant ainsi à identifier rapidement les tâches ou les données problématiques.

• L'expérience utilisateur de la page de configuration des instances a été améliorée.

Catégorie de fonctionnalité

Description

Séparation du calcul et du stockage

• La gestion des métadonnées affiche désormais les bases de données, les tables, les partitions et le cache.

• Query Profile inclut désormais des métriques d'analyse des taux de succès du cache.

Analyse de lac de données

• La gestion des métadonnées affiche désormais les informations relatives aux tables externes provenant d'un catalogue externe.

• Configurez désormais l'accès sans mot de passe pour OSS.

Améliorations de la plateforme de contrôle

• Modifiez les configurations des disques cloud, y compris la mise à niveau du niveau de performance.

• Mettez à niveau la configuration d'un disque cloud en augmentant le nombre de blocs.

• Ajustez le nombre de blocs de disque cloud lors de la création d'une instance.

• Les éléments de configuration par défaut ont été optimisés.

• La fonctionnalité de surveillance vous permet désormais d'interroger les métriques de surveillance des points chauds.

• Les tâches d'opération affichent désormais les détails des opérations.

• Une invite de confirmation s'affiche désormais lors de l'activation d'un journal d'audit.

Améliorations de StarRocks Manager

• L'expérience de connexion et d'authentification à StarRocks Manager a été améliorée.

• StarRocks Manager prend désormais en charge les thèmes clair et sombre.

• La fonctionnalité de gestion des utilisateurs inclut désormais un champ Description.

Régions

La région Chine (Zhangjiakou) est désormais disponible.