Elasticsearch:Aperçu des bonnes pratiques

Scénario

Document

Ingestion de données

• Collecte de journaux d'hôte

  • Collecter les journaux de service ECS avec Filebeat

  • Collecter les journaux MySQL avec Filebeat auto-géré

  • Collecter les journaux Apache avec Filebeat

  • Collecter les métriques système et du service Nginx avec Metricbeat

  • Collecter les données d'audit système et surveiller les modifications de fichiers avec Auditbeat

  • Surveiller les services ICMP et HTTP avec Heartbeat

  • Collecter les journaux Nginx avec Elastic Agent

  • Collecter les journaux NetFlow avec Elastic Agent

  • Collecter des journaux personnalisés avec Elastic Agent

• Collecte de journaux d'application

  • Analyser les journaux lents Redis en temps réel avec Alibaba Cloud Elasticsearch et Rsbeat

• Collecte de données serveur

  • Collecter les métriques système avec Metricbeat auto-géré

  • Utiliser SkyWalking et Elasticsearch pour mettre en œuvre une surveillance de bout en bout

  • Surveiller les clusters Alibaba Cloud Elasticsearch en temps réel avec Uptime

  • Ingérer des données vers Alibaba Cloud Elasticsearch avec un serveur APM auto-géré

  • Migrer des données vers Alibaba Cloud Elasticsearch avec Logstash auto-géré

Migration de données

• Migration de données entre clusters Alibaba Cloud Elasticsearch

  • Migrer des données à l'aide de l'API Reindex

  • Migrer les données d'index multi-types des versions antérieures à l'aide de reindex

  • Migrer les rôles Elasticsearch et les tableaux de bord Kibana

• Migrer des données depuis Elasticsearch auto-géré vers Alibaba Cloud Elasticsearch

  • Migrer des données d'un cluster Elasticsearch auto-géré vers Alibaba Cloud Elasticsearch à l'aide de l'outil de migration en ligne

  • Migrer des données d'un cluster Elasticsearch auto-géré vers Alibaba Cloud Elasticsearch à l'aide d'Alibaba Cloud Logstash

  • Migrer des données d'un cluster Elasticsearch auto-géré vers Alibaba Cloud Elasticsearch à l'aide de reindex

  • Migrer des données à l'aide d'elasticsearch-dump

  • Migrer des données d'un cluster Elasticsearch auto-géré vers Alibaba Cloud Elasticsearch via une connexion privée

  • Synchroniser les schémas d'index, les modèles ou les politiques ILM à l'aide de scripts

  • Migrer des données d'un cluster Elasticsearch auto-géré vers Alibaba Cloud Elasticsearch en mode complet ou incrémentiel à l'aide de Logstash

• Migrer des données depuis des services Elasticsearch tiers vers Alibaba Cloud Elasticsearch

  • Migrer les données d'index Elasticsearch depuis Amazon OpenSearch Service vers Alibaba Cloud Elasticsearch

  • Migrer des documents depuis un cluster Solr vers Alibaba Cloud Elasticsearch

Synchronisation de données

• ApsaraDB RDS for MySQL

  • Synchroniser des données depuis ApsaraDB RDS for MySQL vers Elasticsearch à l'aide de Logstash

  • Synchroniser des données MySQL vers Alibaba Cloud Elasticsearch avec DataWorks

  • Utiliser DTS pour synchroniser des données depuis MySQL vers Alibaba Cloud ES en temps réel

  • Synchroniser des données MySQL vers Alibaba Cloud ES à l'aide de Canal

• ApsaraDB RDS for SQL Server

  • Synchroniser des données depuis ApsaraDB RDS for SQL Server vers Alibaba Cloud ES avec DataWorks

• PolarDB-X

  • Synchroniser des données depuis PolarDB-X (DRDS) vers Elasticsearch à l'aide de Logstash

  • Synchroniser des données depuis PolarDB-X (DRDS) vers Alibaba Cloud ES avec DataWorks

• PolarDB for MySQL

  • Synchroniser des données depuis une base de données PolarDB for MySQL vers un cluster Alibaba Cloud Elasticsearch à l'aide de DTS

• MongoDB

  • Utiliser Monstache pour synchroniser des données depuis une base de données MongoDB vers un cluster Alibaba Cloud Elasticsearch en temps réel

• MaxCompute

  • Synchroniser des données MaxCompute vers Alibaba Cloud ES avec DataWorks

• Hadoop

  • Synchroniser des données Hadoop vers Alibaba Cloud ES avec DataWorks

  • Utiliser ES-Hadoop pour permettre à Hive d'écrire et de lire des données depuis Alibaba Cloud Elasticsearch

  • Utiliser ES-Hadoop pour écrire des données depuis HDFS vers Elasticsearch

  • Utiliser ES-Hadoop pour permettre à Apache Spark d'écrire et de lire des données depuis Alibaba Cloud Elasticsearch

• HBase

  • Synchroniser des données HBase vers Alibaba Cloud ES avec DataWorks

• Données de journal

  • Traiter et synchroniser les données de journal vers ES à l'aide de Real-time Computing

• Données issues de produits tiers

  • Synchroniser des données depuis Azure Event Hubs vers Elasticsearch à l'aide de Logstash