Cette rubrique présente les paramètres courants des composants Taildir Source, File Channel et HDFS Sink. Ajustez ces paramètres pour optimiser les performances de Flume.
Taildir Source
| Paramètre | Description |
| filegroups | Divise un répertoire en plusieurs sous-répertoires pour augmenter le parallélisme de lecture de Taildir Source. |
| batchSize | Valeur par défaut : 100. Nombre de lignes de données lues simultanément. Augmentez cette valeur pour améliorer le débit. |
File Channel
| Paramètre | Description |
| checkpointInterval | Valeur par défaut : 30. Unité : secondes. Diminuez cette valeur pour réduire l'intervalle entre les points de contrôle. |
| useDualCheckpoints | Valeur par défaut : false. Définissez ce paramètre sur true pour permettre à File Channel de sauvegarder les points de contrôle. Le canal n'aura pas besoin de relire les événements depuis le début lors d'un redémarrage. |
| maxFileSize | Valeur par défaut : 1,6. Unité : Go. Taille maximale d'un fichier de données. Diminuez cette valeur pour accélérer le roulement des fichiers et libérer de l'espace disque. |
| capacity | Valeur par défaut : 1000000. Nombre maximal d'événements que File Channel peut contenir. Augmentez cette valeur pour améliorer le débit. Multipliez également cette valeur par la taille d'un événement unique pour estimer l'utilisation du disque. |
| transactionCapacity | Valeur par défaut : 10000. Nombre maximal d'événements dans une seule transaction pour File Channel. |
HDFS Sink
| Paramètre | Description |
| hdfs.batchSize | Valeur par défaut : 100. Nombre d'événements écrits dans un fichier avant son roulement vers HDFS. Augmentez cette valeur pour améliorer le débit. Remarque Nous vous recommandons d'utiliser la même valeur que le paramètre batchSize de Taildir Source. Veillez à ce que les valeurs de ces deux paramètres ne dépassent pas celle du paramètre transactionCapacity de File Channel. |
| hdfs.threadsPoolSize | Valeur par défaut : 10. Nombre de threads d'E/S HDFS. Ajustez ce paramètre selon la configuration des nœuds. |
| hdfs.useLocalTimeStamp | Valeur par défaut : false. Indique si un horodatage local est utilisé. Définissez ce paramètre sur true pour ajouter un horodatage à l'en-tête d'un événement. |
| hdfs.rollInterval | Valeur par défaut : 30. Unité : secondes. Intervalle de roulement d'un fichier temporaire vers un fichier final. Si vous définissez ce paramètre sur 0, HDFS Sink ne roule pas les fichiers en fonction d'un intervalle. |
| hdfs.rollSize | Valeur par défaut : 1024. Unité : octets. Lorsque la taille d'un fichier atteint cette valeur, HDFS Sink roule le fichier vers un fichier final. Si vous définissez ce paramètre sur 0, HDFS Sink ne roule pas les fichiers en fonction de leur taille. |
| hdfs.rollCount | Valeur par défaut : 10. Lorsque le nombre d'événements écrits dans un fichier atteint cette valeur, HDFS Sink roule le fichier vers un fichier final. Si vous définissez ce paramètre sur 0, HDFS Sink ne roule pas les fichiers en fonction du nombre d'événements. |
| hdfs.minBlockReplicas | Nombre minimal de réplicas par bloc de fichier HDFS. La valeur par défaut correspond au facteur de réplication HDFS. Dans la plupart des cas, HDFS Sink ne peut rouler correctement les fichiers que si ce paramètre est défini sur 1. |