E-MapReduce:FAQ

Exigences matérielles

• Configuration globale des machines

  Nous recommandons que les nœuds BE disposent d'au moins 16 cœurs CPU et de 64 Go de mémoire, et que les nœuds FE disposent d'au moins 8 cœurs CPU et de 16 Go de mémoire.

  Dans un environnement de production, un nœud FE possède généralement 16 cœurs CPU, 32 Go ou 64 Go de mémoire, ainsi qu'un disque SSD NVMe de 200 à 500 Go.

• Disque

  • Vous pouvez utiliser des disques durs (HDD) ou des disques SSD.

  • Estimez la capacité de disque requise en utilisant un taux de compression de 3:1 et une utilisation maximale du disque comprise entre 70 % et 75 %.

  • Si vous importez des données Hive au format Parquet ou ORC dans StarRocks, utilisez un taux de compression de 1:1 pour l'estimation.

    Par exemple, si les données source Hive occupent 3 To, la taille des données dans StarRocks sera également de 3 To après l'importation.

• CPU

  • Le CPU doit prendre en charge le jeu d'instructions Advanced Vector Extensions 2 (AVX2). Exécutez la commande cat /proc/cpuinfo |grep avx2 pour vérifier cette prise en charge.

  • Le moteur d'exécution vectorisé offre les meilleures performances avec un jeu d'instructions CPU compatible. Si le CPU de votre machine ne prend pas en charge le jeu d'instructions requis, nous vous recommandons de mettre à niveau votre matériel.

• Réseau

  Nous recommandons l'utilisation de cartes réseau (NIC) et de commutateurs Ethernet 10 Gigabit.

Exigences de configuration logicielle

Pour plus d'informations sur les configurations logicielles, consultez la section Configuration des paramètres.

Configuration des réplicas

Dans un environnement de production typique, deux ou trois réplicas suffisent. Nous recommandons de définir le nombre de réplicas à trois.

Partitionnement d'une table

Un partitionnement approprié permet de réduire efficacement la quantité de données analysées.

• Généralement, sélectionnez les clés de partition en fonction de la manière dont votre entreprise gère les données. Par exemple, utilisez des colonnes temporelles ou géographiques comme clés de partition.

• Si vous devez créer des partitions automatiquement, utilisez le partitionnement dynamique.

Utilisation du bucketing

• Sélectionnez une colonne à haute cardinalité comme clé de bucketing pour éviter le déséquilibre des données entre les buckets.

  • Si un ID unique existe, nous recommandons de l'utiliser pour le bucketing.

  • En cas de déséquilibre important des données, utilisez plusieurs colonnes comme clé de bucketing. Évitez toutefois d'utiliser trop de colonnes.

• Estimez la taille optimale des tablettes et le nombre total de buckets en fonction de votre volume total de données et des directives suivantes.

  • Pour les données brutes non compressées, telles que les données au format CSV, la taille recommandée pour chaque tablette est comprise entre 1 Go et 10 Go.

  • Pour les données au format Parquet, nous recommandons une taille de tablette d'environ 1 Go.

• Pour maximiser l'utilisation des ressources sur un petit nombre de machines, calculez le nombre de buckets à l'aide de la formule : Number of BEs * CPU cores / 2.

Diagnostic des tables avec trop peu de buckets

Si les performances de requête ou d'importation d'une table sont médiocres, vérifiez si elle dispose de trop peu de buckets. Interrogez la table information_schema.partitions_meta pour afficher le nombre de buckets de chaque partition :

SELECT buckets, count(*) FROM information_schema.partitions_meta WHERE buckets < 4 GROUP BY buckets;

Cette requête renvoie les partitions dont le nombre de buckets est inférieur à 4, regroupées par nombre de buckets, afin que vous puissiez identifier les tables avec trop peu de buckets.

Ajustement du nombre de buckets d'une table existante

StarRocks ne permet pas de modifier directement le nombre de buckets d'une table existante. Pour ajuster le nombre de buckets, créez une nouvelle table avec le nombre de buckets souhaité, puis migrez les données de l'ancienne table vers la nouvelle :

CREATE TABLE ... DISTRIBUTED BY HASH(...) BUCKETS 8;
INSERT INTO <new_table> SELECT * FROM <old_table>;

Conception d'une clé de tri

Choix des types de données

Utilisez les types de données les plus précis possibles. Par exemple, privilégiez un type entier plutôt qu'un type chaîne si cela est applicable, et préférez INT à BIGINT lorsque la plage de données le permet. L'utilisation de types de données précis améliore les performances de la base de données.

Ajustement des paramètres de Routine Load

Stratégie d'ajustement des paramètres

Paramètres de Routine Load

Sélection d'un modèle de données

Fonction COUNT dans les modèles de données

Réduction de l'utilisation du disque du répertoire trash

Le répertoire /mnt/disk1/starrocks/storage/trash/ stocke les données supprimées. Pour réduire l'utilisation du disque de ce répertoire, diminuez la valeur du paramètre trash_file_expire_time_sec dans le fichier be.conf afin de raccourcir la période de conservation du répertoire trash. La valeur par défaut est de 259 200 secondes (72 heures).

Erreur lors de la création d'une vue matérialisée

• Symptôme : lorsque vous tentez de créer une vue matérialisée, l'erreur suivante se produit.

  mysql> CREATE MATERIALIZED VIEW test_bl1_mvte AS select timed, event, count(userId) as PV from test_bl1 group by timed, event;
  ERROR 1064 (HY000): table [test_bl1] is not stable. Some tablets of this table may not be healthy or are being scheduled. You need to repair the table first or stop cluster balance. See 'help admin;'.
  mysql>

• Solution :

  1. Exécutez les commandes show proc "/cluster_balance"; et show proc "/statistic";.

  2. Vérifiez si une tablette est en cours de rééquilibrage :

     • Si une tablette est en cours de rééquilibrage, attendez la fin du processus.

     • Sinon, exécutez la commande set disable_balance=true puis essayez à nouveau de créer la vue matérialisée.

Dépannage des requêtes lentes

Nous recommandons les méthodes de dépannage suivantes :

• Activez la génération de profils et consultez les informations de profil dans l'interface utilisateur StarRocks.

  Exécutez la commande SET is_report_success = true; pour activer la génération de profils.

• Suivez ces étapes de dépannage de base :

  1. Ajustez le parallélisme.

     • Pipeline

       SET pipeline_dop = 8;
       SET enable_pipeline_engine = true;

     • Moteur sans pipeline

       SET enable_pipeline_engine=false;
       SET parallel_fragment_exec_instance_num=8;

  2. Vérifiez la distribution des tablettes.

     show data xxx;

     Remarque

     La taille recommandée pour une tablette est comprise entre 1 Go et 10 Go.

  3. Vérifiez la définition de la table.

     1. Vérifiez la valeur iotime dans le profil. Si elle est élevée, supprimez les index inutiles, tels qu'un nombre excessif d'index bitmap.

     2. Vérifiez le modèle de données de la table et sélectionnez-en un approprié. Par exemple, dans un modèle à clé unique, le pushdown de prédicat ne peut pas être appliqué tant que la compaction n'est pas terminée, ce qui provoque souvent des requêtes lentes.

Configuration du paramètre query_timeout

Le paramètre query_timeout contrôle le délai d'expiration des requêtes en secondes. La valeur par défaut est de 300 secondes.

• Pour un paramétrage au niveau de la session, exécutez l'instruction suivante. Le paramètre s'applique uniquement à la connexion actuelle et est perdu lors de la déconnexion. Exécutez l'instruction et la requête dans la même session.

  SET query_timeout = 1800;

• Pour un paramétrage global, exécutez l'instruction suivante. Cette instruction nécessite des privilèges ADMIN. Les nouvelles sessions héritent du paramètre, mais les sessions existantes doivent se reconnecter pour que le paramètre prenne effet.

  SET GLOBAL query_timeout = 600;

Dépannage d'un paramètre qui ne prend pas effet

1. Vérifiez que vous exécutez l'instruction SET et la requête sur la même connexion. Un paramétrage au niveau de la session s'applique uniquement à la connexion actuelle et doit être configuré à nouveau après reconnexion.

2. Après avoir modifié le paramètre global, créez une nouvelle session ou reconnectez-vous. Les sessions existantes n'héritent pas automatiquement du nouveau paramètre.

3. Vérifiez que vous disposez des privilèges ADMIN pour le paramètre global et contrôlez si l'instruction SET GLOBAL a échoué en raison de privilèges insuffisants.

Échec d'accès sur le port 8030 ou 8040

Disponibilité régionale d'EMR StarRocks

EMR StarRocks est disponible dans toutes les régions.

Disques de données BE et distribution des données

Par défaut, quatre disques cloud ESSD PL1 améliorés sont montés. StarRocks équilibre automatiquement les données sur tous les nœuds en fonction de la charge, du bucketing et d'autres facteurs. Chaque réplica de tablette est stocké entièrement sur un seul disque.

Réinitialisation du cluster pour la récupération des données

1. Arrêtez les services du cluster (FE et BE).

2. Effacez le répertoire de métadonnées FE.

   1. Consultez le fichier fe.conf dans le répertoire /opt/apps/STARROCKS/starrocks-current/fe/conf/ pour trouver le répertoire configuré pour meta_dir.

   2. Supprimez le dossier bdb du répertoire configuré.

   3. Videz le dossier image du répertoire configuré.

3. Effacez les données et les métadonnées BE.

   1. Consultez le fichier be.conf dans le répertoire /opt/apps/STARROCKS/starrocks-current/be/conf/ pour trouver le répertoire configuré pour storage_root_path.

   2. Supprimez tous les dossiers et fichiers du répertoire configuré, à l'exception des dossiers data et meta.

   3. Videz les dossiers data et meta du répertoire configuré.

   Remarque

   La configuration peut spécifier plusieurs chemins. Vous devez effectuer ces opérations pour chaque chemin.

4. Redémarrez les services du cluster (FE et BE).

Consultation des journaux

Nœuds de tâche ajoutés lors du scale-out non utilisés pour le calcul

Symptôme

Après avoir étendu un cluster StarRocks en ajoutant trois nœuds de tâche, les nouveaux nœuds sont assignés en tant que nœuds de calcul (CN), mais n'exécutent pas automatiquement les tâches de calcul. Bien que les nœuds BE existants soient fortement sollicités, les nœuds de tâche nouvellement ajoutés restent sous-utilisés, les données de surveillance affichant une charge constamment faible.

Cause

Dans une architecture d'intégration calcul-stockage, les CN d'un cluster StarRocks ne peuvent être utilisés que pour les requêtes sur des tables externes. Par conséquent, si l'application implique principalement l'interrogation de tables internes, les nœuds BE gèrent ces tâches, laissant les nouveaux CN sous-utilisés.

Solution

Avant d'exécuter les tâches de requête, exécutez la commande SQL suivante pour prioriser les CN pour l'exécution des tâches.

SET GLOBAL prefer_compute_node=true;

Affichage du mot de passe du cluster StarRocks

Le mot de passe d'un cluster StarRocks est celui que vous avez défini pour l'utilisateur root lors de la création du cluster. Si vous avez oublié le mot de passe, vous pouvez le réinitialiser. Pour plus d'informations, consultez la section Comment réinitialiser le mot de passe de connexion au cluster ?