Migrate historical data from self-managed Prometheus to Managed Service for Prometheus - Managed Service for Prometheus

Prérequis

Source de données : Votre instance Prometheus open source auto-gérée doit utiliser TSDB, le moteur de stockage par défaut.
Instance Managed Service for Prometheus : Vérifiez que l'instance Managed Service for Prometheus de destination est en cours d'exécution.
Connectivité réseau : Votre serveur Prometheus open source auto-géré doit pouvoir accéder au point de terminaison Remote Write de votre instance Managed Service for Prometheus.
Dépendance logicielle : Installez promtool fourni par Alibaba Cloud.

Étapes de migration

Étape 1 : Obtenir une instance Managed Service for Prometheus

Connectez-vous à la console Alibaba Cloud.
Accédez à la console Cloud Monitor ou à la console Managed Service for Prometheus, puis sélectionnez une instance Prometheus existante ou créez-en une nouvelle.

Lors de la création de l'instance, définissez une période de rétention supérieure à celle de votre instance Prometheus open source auto-gérée.
Important
Évaluez le volume de vos données locales et augmentez le nombre de shards Log Service MetricStore de votre instance Prometheus en conséquence.
- Volume de données > 1 Go : Augmentez jusqu'à 4 shards.
- Volume de données > 10 Go : Augmentez jusqu'à 16 shards.
- Volume de données > 100 Go : Augmentez jusqu'à 64 shards.
- Volume de données < 1 To : Augmentez jusqu'à 256 shards.
Si vous disposez d'un volume de données important, soumettez un ticket pour obtenir de l'aide.
Récupérez le point de terminaison d'écriture de l'instance.
- Cliquez sur le nom de l'instance de destination pour ouvrir la page Settings et récupérez l'URL Remote Write publique. Si votre service auto-géré s'exécute sur Alibaba Cloud, vous pouvez également récupérer l'URL interne.
- Pour l'authentification, attribuez le rôle AliyunPrometheusMetricWriteAccess à un utilisateur RAM et générez une paire AccessKey (AK/SK) à utiliser comme identifiants. Sinon, activez l'accès en écriture sans mot de passe pour 0.0.0.0 sur la page des paramètres de l'instance. Dans la section Access Address en bas de la page, copiez l'URL Remote Write pour le réseau public ou interne depuis la colonne Network.

Étape 2 : Migrer avec promtool migrate

Remarque

promtool migrate est un outil officiel Managed Service for Prometheus qui migre les données TSDB locales vers le cloud.

Préparez la migration.
- Sauvegarde des données : Sauvegardez le répertoire data/ (chemin de stockage TSDB) de votre instance Prometheus auto-gérée avant la migration.
- Installez promtool.
```
curl -fsSL "https://o11y-addon-hangzhou-public.oss-cn-hangzhou.aliyuncs.com/share/promtool/install.sh" | bash
```
- Consultez l'aide de la commande promtool.
```
# View all supported tool commands.
promtool --help
# View data migration parameters.
promtool migrate --help
```

Exécutez la commande de migration.

promtool migrate \
  --db_dir=/path/to/local/prometheus/data \  # The TSDB data directory of your self-managed open-source Prometheus.
  --output=rw    # Write data by using Remote Write.
  --rw_url=<Remote_Write_URL> \       # Example: https://xxx.region.aliyuncs.com/api/v1/write
  --rw_username=<AccessKey_ID> \            # The AccessKey ID for your Managed Service for Prometheus instance.
  --rw_password=<AccessKey_Secret> \        # The AccessKey Secret for your Managed Service for Prometheus instance.
  --min_time=START_TIMESTAMP \               # Optional: The start time for the migration (UNIX timestamp in milliseconds).
  --max_time=END_TIMESTAMP \                 # Optional: The end time for the migration (UNIX timestamp in milliseconds).

Parameter	Description	Example
`--db_dir`	Le chemin d'accès au répertoire de données TSDB de votre instance Prometheus open source auto-gérée. Ce paramètre est obligatoire.	`/opt/prometheus/data`
`--rw_url`	Le point de terminaison Remote Write de votre instance Managed Service for Prometheus. Ce paramètre est obligatoire.	`https://xxx.region.aliyuncs.com/api/v1/write`
`--output`	La méthode de sortie des données.	Valeurs valides : `rw` ou `stdout`
`--rw_username`	L'AccessKeyID de votre instance Managed Service for Prometheus. Ce paramètre est obligatoire si l'accès en écriture sans mot de passe n'est pas activé.	`LTAI5tXXXXXXX`
`--rw_password`	L'AccessKeySecret de votre instance Managed Service for Prometheus. Ce paramètre est obligatoire si l'accès en écriture sans mot de passe n'est pas activé.	`Co4XXXXXXXXX`
`--min_time`	L'heure de début de la migration des données (horodatage UNIX en millisecondes). La valeur par défaut est 0, ce qui lance la migration à partir des données les plus anciennes.	`1609433200000`
`--max_time`	L'heure de fin de la migration des données (horodatage UNIX en millisecondes). La valeur par défaut correspond à l'heure de début de la migration.	`1640972400000`
`--match`	Filtre les métriques à migrer. Les expressions régulières sont prises en charge.	`'__name__=~"http_*"'`
`--rw_batch_size`	Le nombre d'échantillons envoyés dans chaque lot. Vous pouvez ajuster ce paramètre pour optimiser les performances.	`1000`

Vérifiez le résultat de la migration.
1. Vérifiez l'instance Managed Service for Prometheus.
  1. Accédez à la console Cloud Monitor ou à la console Managed Service for Prometheus. Sur la page Instance List, cliquez sur le nom de l'instance de destination.
  2. Dans le volet de navigation de gauche, cliquez sur Metric Management. Dans l'onglet Metrics Explorer, exécutez une requête PromQL.
  3. Confirmez que la plage de temps des données historiques correspond à celle de votre instance Prometheus open source auto-gérée.
2. Vérifiez l'intégrité des données.
  
  Sélectionnez des métriques clés, telles que up et node_cpu_seconds_total, pour vérifier la cohérence du volume de données avant et après la migration.

Remarques d'utilisation

Filtrage des données

Utilisez les paramètres --min_time, --max_time et --match pour limiter la migration à une plage horaire spécifique ou à un ensemble de métriques, évitant ainsi un transfert de données redondant.
Optimisation des performances
- Ajustez --rw_batch_size pour augmenter la vitesse de migration. Définissez la valeur en fonction de la bande passante du réseau et de la charge de l'instance Alibaba Cloud. La plage recommandée est de 500 à 2000.
- Pour les volumes de données importants, divisez la migration en lots temporels, par exemple hebdomadaires ou mensuels.
Sécurité

Évitez d'exposer --rw_password dans la ligne de commande. Utilisez plutôt des variables d'environnement ou des fichiers de configuration pour transmettre les informations sensibles.
Réseau et stabilité

Assurez la stabilité du réseau pendant la migration. En cas d'échec, utilisez le paramètre --min_time pour reprendre à partir du point d'interruption.

FAQ

Q1 : Que faire en cas d'échec d'authentification lors de la migration ?

Vérifiez que --rw_username et --rw_password correspondent à la clé d'accès de votre instance Alibaba Cloud.
Confirmez que l'URL Remote Write est correcte et que le point de terminaison Remote Write est activé pour votre instance Managed Service for Prometheus.

Q2 : Que faire si la migration est trop lente ?

Augmentez la valeur de --rw_batch_size, par exemple --rw_batch_size=1000.
Assurez-vous que la bande passante réseau est suffisante entre votre serveur Prometheus open source auto-géré et l'instance Managed Service for Prometheus.

Q3 : Que faire si les données ne s'affichent pas après la migration ?

Attendez quelques minutes que l'instance Managed Service for Prometheus traite et indexe les données migrées.
Vérifiez si la période de rétention de l'instance Prometheus est suffisante.

Outil de conversion d'horodatage

Utilisez la commande suivante pour convertir une date en horodatage UNIX en millisecondes.

date -d "2020-01-01 00:00:00" +%s%3N
# Example output: 1577836800000 (corresponds to 2020-01-01 00:00:00 UTC)