E-MapReduce:FAQ

Exigences matérielles

• Configuration globale de la machine

  Nous recommandons que les nœuds BE disposent d'au moins 16 cœurs CPU et de 64 Go de mémoire, et que les nœuds FE disposent d'au moins 8 cœurs CPU et de 16 Go de mémoire.

  Dans un environnement de production, un nœud FE dispose généralement de 16 cœurs CPU, de 32 Go ou 64 Go de mémoire, ainsi que d'un disque SSD NVMe de 200 à 500 Go.

• Disque

  • Vous pouvez utiliser des disques durs (HDD) ou des disques SSD.

  • Estimez la capacité de disque requise en utilisant un taux de compression de 3:1 et une utilisation maximale du disque de 70 % à 75 %.

  • Si vous importez des données Hive au format Parquet ou ORC dans StarRocks, utilisez un taux de compression de 1:1 pour l'estimation.

    Par exemple, si les données source Hive occupent 3 To, la taille des données dans StarRocks sera également de 3 To après l'importation.

• CPU

  • Le CPU doit prendre en charge le jeu d'instructions Advanced Vector Extensions 2 (AVX2). Exécutez la commande cat /proc/cpuinfo |grep avx2 pour vérifier cette prise en charge.

  • Le moteur d'exécution vectorisé fonctionne de manière optimale avec un jeu d'instructions CPU compatible. Si le CPU de votre machine ne prend pas en charge le jeu d'instructions requis, nous vous recommandons de mettre à niveau votre matériel.

• Réseau

  Nous recommandons l'utilisation de cartes réseau (NIC) et de commutateurs Ethernet 10 Gigabit.

Exigences de configuration logicielle

Pour plus d'informations sur les configurations logicielles, consultez la section Configuration des paramètres.

Configuration des réplicas

Dans un environnement de production typique, deux ou trois réplicas suffisent. Nous recommandons de définir le nombre de réplicas à trois.

Partitionnement d'une table

Un partitionnement approprié permet de réduire efficacement la quantité de données analysées.

• En règle générale, sélectionnez les clés de partition en fonction de la gestion des données par votre entreprise. Par exemple, vous pouvez utiliser des colonnes temporelles ou régionales comme clés de partition.

• Si vous devez créer des partitions automatiquement, utilisez le partitionnement dynamique.

Utilisation du bucketing

• Sélectionnez une colonne à cardinalité élevée comme clé de bucketing afin d'éviter tout déséquilibre de données entre les buckets.

  • Si un ID unique existe, nous recommandons de l'utiliser pour le bucketing.

  • En cas de déséquilibre important des données, vous pouvez utiliser plusieurs colonnes comme clé de bucketing. Évitez toutefois d'utiliser trop de colonnes.

• Estimez la taille optimale des tablettes et le nombre total de buckets en fonction de votre volume total de données et des directives suivantes.

  • Pour les données brutes non compressées, telles que les données au format CSV, la taille recommandée pour chaque tablette est comprise entre 1 Go et 10 Go.

  • Pour les données au format Parquet, nous recommandons une taille de tablette d'environ 1 Go.

• Afin de maximiser l'utilisation des ressources sur un petit nombre de machines, calculez le nombre de buckets à l'aide de la formule suivante : Number of BEs * CPU cores / 2.

Conception d'une clé de tri

Choix des types de données

Utilisez les types de données les plus précis possibles. Par exemple, privilégiez un type entier plutôt qu'un type chaîne si cela est applicable, et préférez INT à BIGINT lorsque la plage de données le permet. L'utilisation de types de données précis améliore les performances de la base de données.

Ajustement des paramètres de Routine Load

Stratégie d'ajustement des paramètres

Paramètres de Routine Load

Sélection d'un modèle de données

Fonction COUNT dans les modèles de données

Réduction de l'utilisation du disque du répertoire trash

Le répertoire /mnt/disk1/starrocks/storage/trash/ stocke les données supprimées. Pour réduire l'utilisation du disque de ce répertoire, diminuez la valeur du paramètre trash_file_expire_time_sec dans le fichier be.conf afin de raccourcir la période de rétention du répertoire trash. La valeur par défaut est de 259 200 secondes (72 heures).

Erreur lors de la création d'une vue matérialisée

• Symptôme : Lorsque vous tentez de créer une vue matérialisée, l'erreur suivante se produit.

  mysql> CREATE MATERIALIZED VIEW test_bl1_mvte AS select timed, event, count(userId) as PV from test_bl1 group by timed, event;
  ERROR 1064 (HY000): table [test_bl1] is not stable. Some tablets of this table may not be healthy or are being scheduled. You need to repair the table first or stop cluster balance. See 'help admin;'.
  mysql>

• Solution :

  1. Exécutez les commandes show proc "/cluster_balance"; et show proc "/statistic";.

  2. Vérifiez si une tablette est en cours de rééquilibrage :

     • Si une tablette est en cours de rééquilibrage, attendez la fin du processus.

     • Sinon, exécutez la commande set disable_balance=true puis essayez à nouveau de créer la vue matérialisée.

Dépannage des requêtes lentes

Nous vous recommandons les méthodes de dépannage suivantes :

• Activez le reporting de profil et consultez les informations de profil dans l'interface utilisateur StarRocks.

  Exécutez la commande SET is_report_success = true; pour activer le reporting de profil.

• Suivez ces étapes de dépannage de base :

  1. Ajustez le parallélisme.

     • Pipeline

       SET pipeline_dop = 8;
       SET enable_pipeline_engine = true;

     • Moteur sans pipeline

       SET enable_pipeline_engine=false;
       SET parallel_fragment_exec_instance_num=8;

  2. Vérifiez la distribution des tablettes.

     show data xxx;

     Remarque

     La taille recommandée pour une tablette est comprise entre 1 Go et 10 Go.

  3. Vérifiez la définition de la table.

     1. Consultez le paramètre iotime dans le profil. S'il est élevé, vous pouvez supprimer les index inutiles, tels qu'un nombre excessif d'index bitmap.

     2. Vérifiez le modèle de données de la table et sélectionnez-en un approprié. Par exemple, dans un modèle unique key, le pushdown de prédicat ne peut pas être appliqué tant que la compaction n'est pas terminée, ce qui entraîne souvent des requêtes lentes.

Échec d'accès sur le port 8030 ou 8040

Disponibilité régionale d'EMR StarRocks

EMR StarRocks est disponible dans toutes les régions.

Disques de données BE et distribution des données

Par défaut, quatre disques cloud ESSD PL1 améliorés sont montés. StarRocks équilibre automatiquement les données sur tous les nœuds en fonction de la charge, du bucketing et d'autres facteurs. Chaque réplica de tablette est stocké entièrement sur un seul disque.

Réinitialisation du cluster pour la récupération des données

1. Arrêtez les services du cluster (FE et BE).

2. Effacez le répertoire de métadonnées FE.

   1. Consultez le fichier fe.conf situé dans le répertoire /opt/apps/STARROCKS/starrocks-current/fe/conf/ pour trouver le répertoire configuré pour meta_dir.

   2. Supprimez le dossier bdb du répertoire configuré.

   3. Videz le dossier image du répertoire configuré.

3. Effacez les données et les métadonnées BE.

   1. Consultez le fichier be.conf situé dans le répertoire /opt/apps/STARROCKS/starrocks-current/be/conf/ pour trouver le répertoire configuré pour storage_root_path.

   2. Supprimez tous les dossiers et fichiers du répertoire configuré, à l'exception des dossiers data et meta.

   3. Videz les dossiers data et meta du répertoire configuré.

   Remarque

   La configuration peut spécifier plusieurs chemins. Vous devez effectuer ces opérations pour chaque chemin.

4. Redémarrez les services du cluster (FE et BE).

Consultation des journaux

Les nœuds de tâche ajoutés ne sont pas utilisés pour le calcul

Symptôme

Après avoir étendu un cluster StarRocks en ajoutant trois nœuds de tâche, les nouveaux nœuds sont attribués en tant que nœuds de calcul (CN), mais n'exécutent pas automatiquement les tâches de calcul. Bien que les nœuds BE existants soient fortement sollicités, les nœuds de tâche nouvellement ajoutés restent sous-utilisés, les données de surveillance affichant une charge constamment faible.

Cause

Dans une architecture d'intégration calcul-stockage, les CN d'un cluster StarRocks ne peuvent être utilisés que pour les requêtes portant sur des tables externes. Par conséquent, si l'application concerne principalement l'interrogation de tables internes, les nœuds BE gèrent ces tâches, laissant les nouveaux CN sous-utilisés.

Solution

Avant d'exécuter les tâches de requête, exécutez la commande SQL suivante pour prioriser les CN pour l'exécution des tâches.

SET GLOBAL prefer_compute_node=true;

Consultation du mot de passe du cluster StarRocks

Le mot de passe d'un cluster StarRocks est celui que vous avez défini pour l'utilisateur root lors de la création du cluster. Si vous avez oublié le mot de passe, vous pouvez le réinitialiser. Pour plus d'informations, consultez la section Comment réinitialiser le mot de passe de connexion au cluster ?