ApsaraDB for HBase écrit les données dans le HLog et la mémoire selon le mode Log-Structured Merge (LSM). ApsaraDB for HBase évite ainsi les opérations d'entrée/sortie (E/S) aléatoires, ce qui garantit des performances élevées et une grande stabilité lors des écritures. La plupart des solutions de base de données privilégient la fiabilité des écritures au détriment des performances.
Utilisez HTable.put(List<Put>) pour regrouper plusieurs écritures en un seul appel de procédure distante (RPC) et réduire la surcharge réseau par ligne.
HTable.put(List<Put>) Désactiver AutoFlush
Pour améliorer considérablement les performances d'écriture, définissez Autoflush sur false. Nous vous recommandons toutefois d'attendre que 2 Mo de données soient mis en mémoire tampon (paramètre hbase.client.write.buffer) ou que la méthode hbase.flushcommits() soit appelée avant de déclencher la vidage du tampon (flush) sur un RegionServer. Les données ne sont pas écrites immédiatement dans la base de données distante.
Définissez la taille du tampon avec HTable.setWriteBufferSize().
Optimisation du serveur
Indicateur WAL
Le journal Write-Ahead Log (WAL) persiste chaque écriture sur le disque avant d'en accuser réception, garantissant ainsi la durabilité. La désactivation du WAL réduit le nombre d'opérations d'E/S et améliore le débit d'écriture. Seules les écritures en mémoire dans MemStore sont conservées.
Cette opération convient aux scénarios où les performances priment sur la fiabilité.
Augmenter la mémoire MemStore
Pour les charges de travail intensives en écriture, augmentez l'allocation de mémoire MemStore et réduisez celle de BlockCache. Cette configuration est l'inverse de l'optimisation pour la lecture.
Gérez l'accumulation de HFile
Lorsque le débit d'écriture est élevé, les fichiers HFile s'accumulent plus rapidement que la compaction ne peut les fusionner.
Pour maintenir le nombre de fichiers HFile sous contrôle :
Planifiez la compaction majeure pendant les heures creuses afin de fusionner les fichiers HFile sans entrer en concurrence avec le trafic d'écriture en direct.
Si le nombre de fichiers HFile ne peut pas être réduit dans un délai acceptable, ajoutez des nœuds RegionServer pour distribuer la charge d'écriture.