Fluid est un moteur open source natif de Kubernetes pour l'orchestration et l'accélération distribuées des jeux de données, destiné aux applications gourmandes en données dans les environnements cloud-native, tels que le big data et l'IA. Fluid offre une abstraction unifiée des jeux de données, des plugins de moteurs de données extensibles, des opérations de données automatisées, une accélération des données polyvalente et une indépendance vis-à-vis du runtime. Managed Service for Prometheus prend en charge l'installation en un clic des composants Fluid et inclut des tableaux de bord de surveillance prêts à l'emploi. Cette rubrique explique comment utiliser Managed Service for Prometheus pour surveiller Fluid.
Prérequis
Managed Service for Prometheus est activé pour votre cluster ACK ou cluster ACK Serverless. Pour plus d'informations, consultez Managed Service for Prometheus.
-
La suite d'IA cloud-native est déployée et l'accélération des données Fluid est activée. Pour plus d'informations, consultez Déployer la suite d'IA cloud-native.
Pour utiliser toutes les fonctionnalités du tableau de bord du plan de contrôle Fluid, assurez-vous que la version 0.9.7 ou ultérieure d'ack-fluid est en cours d'exécution dans le cluster.
Pour utiliser toutes les fonctionnalités du tableau de bord du système de cache JindoRuntime de Fluid, assurez-vous que la version 1.0.11 ou ultérieure d'ack-fluid est en cours d'exécution dans le cluster.
Limitations
Le tableau de bord du système de cache peut uniquement surveiller les composants d'exécution du cache JindoRuntime (qui utilisent le moteur de cache JindoCache).
Étape 1 : Intégrer Fluid
Connectez-vous à la console ARMS.
Dans le volet de navigation de gauche, cliquez sur integration center. Dans la section artificial intelligence, cliquez sur la carte Fluid.
Sur la page Fluid, dans la section select container service cluster, sélectionnez le cluster cible. Si le composant Fluid est déjà installé, il n'est pas nécessaire de le réinstaller.
-
Dans la section Configuration Information, définissez les paramètres et cliquez sur OK.
|
**Parameter**
|
**Description**
| | --- | --- | |
**integration name (optional)**
|
Nom unique pour l'instance de surveillance Fluid. Vous pouvez laisser ce champ vide.
| |
**metric collection interval (s)**
|
Intervalle de collecte des métriques.
| -
Vous pouvez afficher les composants intégrés sur la page integration management dans la console ARMS.
Connectez-vous à la console ARMS.
Dans le volet de navigation de gauche, cliquez sur integration management. Dans l'onglet integrated components, cliquez sur la carte Fluid.
Dans l'onglet environment list, cliquez sur View Details dans la colonne Actions pour le cluster cible afin d'afficher les détails, tels que le composant Fluid et les règles d'alerte du tableau de bord.
Étape 2 : Afficher les tableaux de bord Fluid
Console ACK
Connectez-vous à la console ACK. Dans le volet de navigation de gauche, cliquez sur Clusters.
Sur la page Clusters, cliquez sur le cluster ACK ou cluster ACK Serverless contenant le composant Fluid. Dans le volet de navigation de gauche, choisissez .
-
Sur la page Prometheus Monitoring, choisissez pour afficher le tableau de bord du plan de contrôle Fluid.
Le tableau de bord affiche les métriques de Prometheus Monitoring, notamment l'état d'exécution des composants Fluid, la latence de traitement du contrôleur Fluid, le nombre de requêtes par seconde (QPS) et la latence des requêtes webhook Fluid, ainsi que l'utilisation des ressources de chaque composant. Pour plus d'informations, consultez Paramètres du tableau de bord de surveillance Fluid.
La section Component Running Status indique le nombre de pods prêts, le nombre historique de redémarrages et les heures de redémarrage des composants du plan de contrôle Fluid.
La section Fluid Controller Detailed Metrics présente le niveau de charge de travail, les échecs de traitement et les requêtes API Kubernetes du composant contrôleur Fluid.
La section Fluid Webhook Detailed Metrics montre l'utilisation des ressources, le nombre de requêtes traitées et la latence de traitement des requêtes pour le composant webhook Fluid.
La section Resource Usage affiche l'utilisation des ressources et les débits du trafic réseau pour tous les composants du plan de contrôle Fluid.
-
Sur la page Prometheus Monitoring, choisissez pour afficher le tableau de bord du système de cache JindoRuntime de Fluid.
Le tableau de bord du système de cache JindoRuntime de Fluid affiche les détails du système de cache JindoRuntime de Fluid. Il comprend un aperçu des jeux de données, des métriques du système de cache et des métriques du client FUSE. Pour plus d'informations, consultez Paramètres du tableau de bord de surveillance Fluid.
-
La section Dataset Overview fournit un aperçu du jeu de données Fluid sélectionné, y compris le nombre de pods des composants Master, Worker et FUSE en cours d'exécution dans le système de cache, ainsi que la configuration des ressources de chaque pod.
-
La section Cache System Metrics affiche les métriques côté serveur pour le système de cache sélectionné, notamment la capacité de cache utilisée, le taux de succès du cache, la bande passante agrégée et le nombre de requêtes par seconde (QPS) pour les opérations de métadonnées.
-
La section FUSE Metrics (via CSI) présente les métriques côté client pour les systèmes de fichiers FUSE montés avec le plugin Fluid CSI dans les pods FUSE. Les métriques incluent les E/S réseau, la latence et le QPS des opérations de métadonnées, ainsi que la latence et le QPS des opérations de lecture/écriture pour chaque pod FUSE.
-
La section FUSE Metrics (via Sidecar) affiche les métriques côté client pour les systèmes de fichiers FUSE montés dans les conteneurs sidecar FUSE de Fluid. Cela inclut la latence et le QPS des opérations de métadonnées, ainsi que la latence et le QPS des opérations de lecture/écriture.
-
Console ARMS
Connectez-vous à la console ARMS.
-
Dans le volet de navigation de gauche, cliquez sur Integration Center. Dans la section Component Type, sélectionnez Fluid, cliquez sur l'onglet Dashboard, puis cliquez sur Fluid Control Plane en bas de la page pour afficher le tableau de bord du plan de contrôle Fluid.
Le tableau de bord affiche les métriques de Prometheus Monitoring, notamment l'état d'exécution des composants Fluid, la latence de traitement du contrôleur Fluid, le nombre de requêtes par seconde (QPS) et la latence des requêtes webhook Fluid, ainsi que l'utilisation des ressources de chaque composant. Pour plus d'informations, consultez Paramètres du tableau de bord de surveillance Fluid.
La section Component Running Status indique le nombre de pods prêts, le nombre historique de redémarrages et les heures de redémarrage des composants du plan de contrôle Fluid.
La section Fluid Controller Detailed Metrics présente le niveau de charge de travail, les échecs de traitement et les requêtes API Kubernetes du composant contrôleur Fluid.
La section Fluid Webhook Detailed Metrics montre l'utilisation des ressources, le nombre de requêtes traitées et la latence de traitement des requêtes pour le composant webhook Fluid.
La section Resource Usage affiche l'utilisation des ressources et les débits du trafic réseau pour tous les composants du plan de contrôle Fluid.
-
Dans le volet de navigation de gauche, cliquez sur Integration Center. Dans la section Component Type, sélectionnez Fluid, cliquez sur l'onglet Dashboard, puis cliquez sur Fluid JindoRuntime Dashboard en bas de la page pour afficher le tableau de bord du système de cache JindoRuntime de Fluid.
La section Dataset Overview fournit un aperçu du jeu de données Fluid sélectionné, y compris le nombre de pods des composants Master, Worker et FUSE en cours d'exécution dans le système de cache, ainsi que la configuration des ressources de chaque pod.
La section Cache System Metrics affiche les métriques côté serveur pour le système de cache sélectionné, notamment la capacité de cache utilisée, le taux de succès du cache, la bande passante agrégée et le nombre de requêtes par seconde (QPS) pour les opérations de métadonnées.
La section FUSE Metrics (via CSI) présente les métriques côté client pour les systèmes de fichiers FUSE montés avec le plugin Fluid CSI dans les pods FUSE. Les métriques incluent les E/S réseau, la latence et le QPS des opérations de métadonnées, ainsi que la latence et le QPS des opérations de lecture/écriture pour chaque pod FUSE.
La section FUSE Metrics (via Sidecar) affiche les métriques côté client pour les systèmes de fichiers FUSE montés dans les conteneurs sidecar FUSE de Fluid. Cela inclut la latence et le QPS des opérations de métadonnées, ainsi que la latence et le QPS des opérations de lecture/écriture.
Métriques
Le tableau suivant répertorie les métriques utilisées par les composants du plan de contrôle Fluid.
|**Metric**
|
**Type**
|
**Description**
| | --- | --- | --- | |
dataset_ufs_total_size
|
Gauge
|
Taille totale des jeux de données montés par les ressources Dataset actives dans le cluster.
| |
dataset_ufs_file_num
|
Gauge
|
Nombre de fichiers dans les jeux de données montés par les ressources Dataset actives dans le cluster.
| |
runtime_setup_error_total
|
Counter
|
Nombre total d'échecs de configuration du runtime lors de la réconciliation du contrôleur.
| |
runtime_sync_healthcheck_error_total
|
Counter
|
Nombre total d'échecs des vérifications d'intégrité du runtime lors de la réconciliation du contrôleur.
| |
controller_runtime_reconcile_time_seconds_bucket
|
Histogram
|
Durée de la boucle de réconciliation du contrôleur.
| |
controller_runtime_reconcile_errors_total
|
Counter
|
Nombre total d'échecs de réconciliation du contrôleur.
| |
controller_runtime_reconcile_total
|
Counter
|
Nombre total de boucles de réconciliation du contrôleur terminées.
| |
controller_runtime_max_concurrent_reconciles
|
Gauge
|
Nombre maximal de coroutines de réconciliation disponibles dans le contrôleur.
| |
controller_runtime_active_workers
|
Gauge
|
Nombre de coroutines de réconciliation actuellement actives dans le contrôleur.
| |
workqueue_adds_total
|
Counter
|
Nombre total d'événements d'ajout traités par la file d'attente de travail du contrôleur.
| |
workqueue_depth
|
Gauge
|
Profondeur actuelle de la file d'attente de travail du contrôleur.
| |
workqueue_queue_duration_seconds_bucket
|
Histogram
|
Temps passé par un élément en attente dans la file d'attente de travail du contrôleur avant d'être traité.
| |
workqueue_work_duration_seconds_bucket
|
Histogram
|
Répartition du temps pris pour traiter les éléments de la file d'attente de travail.
| |
workqueue_unfinished_work_seconds
|
Gauge
|
Durée totale des tâches inachevées actuellement traitées par la file d'attente de travail.
| |
workqueue_longest_running_processor_seconds
|
Gauge
|
Temps de traitement le plus long enregistré pour une seule tâche.
| |
rest_client_requests_total
|
Counter
|
Nombre de requêtes HTTP, ventilé par code d'état, méthode et hôte.
| |
rest_client_request_duration_seconds_bucket
|
Histogram
|
Latence des requêtes HTTP, ventilée par verbe et URL.
| |
controller_runtime_webhook_requests_in_flight
|
Gauge
|
Nombre de requêtes webhook actuellement en cours de traitement.
| |
controller_runtime_webhook_requests_total
|
Counter
|
Nombre total de requêtes traitées par le webhook.
| |
controller_runtime_webhook_latency_seconds_bucket
|
Histogram
|
Latence des requêtes traitées par le webhook.
| |
process_cpu_seconds_total
|
Counter
|
Temps CPU total consommé par le processus, en secondes.
| |
process_resident_memory_bytes
|
Gauge
|
Taille de la mémoire résidente du processus, en octets.
|
Le tableau suivant répertorie les métriques exposées par le serveur JindoCache pour le tableau de bord du cache JindoRuntime de Fluid.
|**Metric**
|
**Type**
|
**Description**
| | --- | --- | --- | |
jindocache_server_total_stsnodes_num
|
Gauge
|
Nombre de réplicas de composants worker actifs dans le cache distribué.
| |
jindocache_server_total_disk_cap
|
Gauge
|
Capacité maximale du cache pour les supports basés sur disque (y compris les disques RAM comme tmpfs) dans le cache distribué.
| |
jindocache_server_total_used_disk_cap
|
Gauge
|
Espace de cache total utilisé sur les supports basés sur disque (y compris les disques RAM comme tmpfs) dans le cache distribué.
| |
jindocache_server_total_mem_cap
|
Gauge
|
Capacité maximale du cache stockée dans la mémoire du processus au sein du cache distribué.
| |
jindocache_server_total_used_mem_cap
|
Gauge
|
Espace de cache total utilisé dans la mémoire du processus au sein du cache distribué.
| |
jindocache_server_total_used_rocksdb_cap
|
Gauge
|
Capacité RocksDB utilisée dans le cache distribué.
| |
jindocache_server_backend_read_bytes_total
|
Gauge
|
Volume total de données lues depuis le stockage backend lors des récupérations d'origine, en octets.
Une récupération d'origine se produit lorsque les données demandées ne sont pas trouvées dans le cache distribué JindoCache et doivent être récupérées depuis le système de stockage backend.
| |
jindocache_server_backend_read_time_total
|
Gauge
|
Temps total passé à lire les données depuis le stockage backend lors des récupérations d'origine, en microsecondes.
| |
jindocache_server_backend_readop_num_total
|
Gauge
|
Nombre total d'opérations de lecture depuis le stockage backend lors des récupérations d'origine. Ce nombre correspond au nombre de blocs dans JindoCache.
| |
jindocache_server_backend_read_bytes_time_total_window
|
Gauge
|
Temps passé à lire les données depuis le stockage backend lors des récupérations d'origine sur une fenêtre d'une minute, en microsecondes.
| |
jindocache_server_backend_read_bytes_total_window
|
Gauge
|
Volume total de données lues depuis le stockage backend lors des récupérations d'origine sur une fenêtre d'une minute, en octets.
| |
jindocache_server_remote_read_bytes_total
|
Gauge
|
Volume total de données lues depuis les hits de cache distants au sein du même cluster, en octets.
Un hit de cache distant se produit lorsque les données demandées se trouvent dans le cache distribué JindoCache, mais sur un nœud différent de celui de l'application.
| |
jindocache_server_remote_read_time_total
|
Gauge
|
Temps total passé sur les opérations de lecture des hits de cache distants au sein du même cluster, en microsecondes.
| |
jindocache_server_remote_readop_num_total
|
Gauge
|
Nombre total d'opérations de lecture des hits de cache distants au sein du même cluster.
| |
jindocache_server_remote_read_bytes_time_total_window
|
Gauge
|
Temps passé sur les opérations de lecture des hits de cache distants sur une fenêtre d'une minute, en microsecondes.
| |
jindocache_server_remote_read_bytes_total_window
|
Gauge
|
Volume total de données lues depuis les hits de cache distants sur une fenêtre d'une minute, en octets.
| |
jindocache_server_local_read_bytes_total
|
Gauge
|
Volume total de données lues depuis les hits de cache locaux au sein du même cluster, en octets.
Un hit de cache local se produit lorsque les données demandées se trouvent dans le cache distribué JindoCache sur le même nœud que l'application.
| |
jindocache_server_local_read_time_total
|
Gauge
|
Temps total passé sur les opérations de lecture des hits de cache locaux au sein du même cluster, en microsecondes.
| |
jindocache_server_local_readop_num_total
|
Gauge
|
Nombre total d'opérations de lecture des hits de cache locaux au sein du même cluster.
| |
jindocache_server_local_read_bytes_time_total_window
|
Gauge
|
Temps passé sur les opérations de lecture des hits de cache locaux sur une fenêtre d'une minute, en microsecondes.
| |
jindocache_server_local_read_bytes_total_window
|
Gauge
|
Volume total de données lues depuis les hits de cache locaux sur une fenêtre d'une minute, en octets.
| |
jindocache_server_ns_filelet_op_count_total
|
Gauge
|
Nombre total d'opérations de métadonnées de fichiers (y compris getAttr et listStatus) suivies par le composant master JindoCache.
| |
jindocache_server_ns_filelet_op_time_total
|
Gauge
|
Temps total passé à traiter les opérations de métadonnées de fichiers (y compris getAttr et listStatus) par le composant master JindoCache.
| |
jindocache_server_ns_get_attr_op_total
|
Gauge
|
Nombre total d'opérations getAttr suivies par le composant master JindoCache.
| |
jindocache_server_ns_get_attr_time_total
|
Gauge
|
Temps total passé à traiter les opérations getAttr par le composant master JindoCache.
| |
jindocache_server_ns_get_attr_fallback_op_total
|
Gauge
|
Nombre total de fois où le composant master JindoCache a effectué une récupération d'origine depuis le stockage backend pour récupérer les métadonnées de fichier.
| |
jindocache_server_ns_list_status_op_total
|
Gauge
|
Nombre total d'opérations listStatus suivies par le composant master JindoCache.
| |
jindocache_server_ns_list_status_time_total
|
Gauge
|
Temps total passé à traiter les opérations listStatus par le composant master JindoCache.
| |
jindocache_server_ns_list_status_fallback_op_total
|
Gauge
|
Nombre total de fois où le composant master JindoCache a effectué une récupération d'origine vers le système de stockage backend pour récupérer une liste de fichiers.
| |
jindocache_server_dist_get_attr_op_num_total
|
Gauge
|
Nombre total d'opérations getAttr suivies par le client JindoCache.
| |
jindocache_server_dist_get_attr_time_total
|
Gauge
|
Temps total passé à traiter les opérations getAttr par le client JindoCache.
| |
jindocache_server_dist_list_dir_op_num_total
|
Gauge
|
Nombre total d'opérations de listage de répertoire suivies par le client JindoCache.
| |
jindocache_server_dist_list_dir_time_total
|
Gauge
|
Temps total passé à traiter les opérations de listage de répertoire par le client JindoCache.
|
Le tableau suivant répertorie les métriques exposées par le client FUSE JindoCache pour le tableau de bord du cache JindoRuntime de Fluid.
|**Metric**
|
**Type**
|
**Description**
| | --- | --- | --- | |
jindo_fuse_open_count
|
Gauge
|
Nombre d'opérations d'ouverture effectuées par le client Jindo FUSE.
| |
jindo_fuse_open_latency
|
Gauge
|
Latence P50 (50e centile) des opérations d'ouverture pour le client Jindo FUSE.
| |
jindo_fuse_open_latency_80
|
Gauge
|
Latence P80 (80e centile) des opérations d'ouverture pour le client Jindo FUSE.
| |
jindo_fuse_open_latency_90
|
Gauge
|
Latence P90 (90e centile) des opérations d'ouverture pour le client Jindo FUSE.
| |
jindo_fuse_open_latency_99
|
Gauge
|
Latence P99 (99e centile) des opérations d'ouverture pour le client Jindo FUSE.
| |
jindo_fuse_open_latency_999
|
Gauge
|
Latence P99,9 (99,9e centile) des opérations d'ouverture pour le client Jindo FUSE.
| |
jindo_fuse_open_latency_9999
|
Gauge
|
Latence P99,99 (99,99e centile) des opérations d'ouverture pour le client Jindo FUSE.
| |
jindo_fuse_getattr_count
|
Gauge
|
Nombre d'opérations getAttr effectuées par le client Jindo FUSE.
| |
jindo_fuse_getattr_latency
|
Gauge
|
Latence P50 (50e centile) des opérations getAttr pour le client Jindo FUSE.
| |
jindo_fuse_getattr_latency_80
|
Gauge
|
Latence P80 (80e centile) des opérations getAttr pour le client Jindo FUSE.
| |
jindo_fuse_getattr_latency_90
|
Gauge
|
Latence P90 (90e centile) des opérations getAttr pour le client Jindo FUSE.
| |
jindo_fuse_getattr_latency_99
|
Gauge
|
Latence P99 (99e centile) des opérations getAttr pour le client Jindo FUSE.
| |
jindo_fuse_getattr_latency_999
|
Gauge
|
Latence P99,9 (99,9e centile) des opérations getAttr pour le client Jindo FUSE.
| |
jindo_fuse_getattr_latency_9999
|
Gauge
|
Latence P99,99 (99,99e centile) des opérations getAttr pour le client Jindo FUSE.
| |
jindo_fuse_readdir_count
|
Gauge
|
Nombre d'opérations readdir effectuées par le client Jindo FUSE.
| |
jindo_fuse_readdir_latency
|
Gauge
|
Latence P50 (50e centile) des opérations readdir pour le client Jindo FUSE.
| |
jindo_fuse_readdir_latency_80
|
Gauge
|
Latence P80 (80e centile) des opérations readdir pour le client Jindo FUSE.
| |
jindo_fuse_readdir_latency_90
|
Gauge
|
Latence P90 (90e centile) des opérations readdir pour le client Jindo FUSE.
| |
jindo_fuse_readdir_latency_99
|
Gauge
|
Latence P99 (99e centile) des opérations readdir pour le client Jindo FUSE.
| |
jindo_fuse_readdir_latency_999
|
Gauge
|
Latence P99,9 (99,9e centile) des opérations readdir pour le client Jindo FUSE.
| |
jindo_fuse_readdir_latency_9999
|
Gauge
|
Latence P99,99 (99,99e centile) des opérations readdir pour le client Jindo FUSE.
| |
jindo_fuse_read_count
|
Gauge
|
Nombre d'opérations de lecture effectuées par le client Jindo FUSE.
| |
jindo_fuse_read_latency
|
Gauge
|
Latence P50 (50e centile) des opérations de lecture pour le client Jindo FUSE.
| |
jindo_fuse_read_latency_80
|
Gauge
|
Latence P80 (80e centile) des opérations de lecture pour le client Jindo FUSE.
| |
jindo_fuse_read_latency_90
|
Gauge
|
Latence P90 (90e centile) des opérations de lecture pour le client Jindo FUSE.
| |
jindo_fuse_read_latency_99
|
Gauge
|
Latence P99 (99e centile) des opérations de lecture pour le client Jindo FUSE.
| |
jindo_fuse_read_latency_999
|
Gauge
|
Latence P99,9 (99,9e centile) des opérations de lecture pour le client Jindo FUSE.
| |
jindo_fuse_read_latency_9999
|
Gauge
|
Latence P99,99 (99,99e centile) des opérations de lecture pour le client Jindo FUSE.
| |
jindo_fuse_write_count
|
Gauge
|
Nombre d'opérations d'écriture effectuées par le client Jindo FUSE.
| |
jindo_fuse_write_latency
|
Gauge
|
Latence P50 (50e centile) des opérations d'écriture pour le client Jindo FUSE.
| |
jindo_fuse_write_latency_80
|
Gauge
|
Latence P80 (80e centile) des opérations d'écriture pour le client Jindo FUSE.
| |
jindo_fuse_write_latency_90
|
Gauge
|
Latence P90 (90e centile) des opérations d'écriture pour le client Jindo FUSE.
| |
jindo_fuse_write_latency_99
|
Gauge
|
Latence P99 (99e centile) des opérations d'écriture pour le client Jindo FUSE.
| |
jindo_fuse_write_latency_999
|
Gauge
|
Latence P99,9 (99,9e centile) des opérations d'écriture pour le client Jindo FUSE.
| |
jindo_fuse_write_latency_9999
|
Gauge
|
Latence P99,99 (99,99e centile) des opérations d'écriture pour le client Jindo FUSE.
|
Références
Pour plus d'informations sur Fluid, consultez Jeu de données.
Pour obtenir des descriptions des paramètres du tableau de bord Fluid, consultez Référence des paramètres du tableau de bord Fluid.