Elasticsearch:Sauvegarde et restauration manuelles

PUT _snapshot/my_backup/
{
    "type": "oss",
    "settings": {
        "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",
        "access_key_id": "xxxx",
        "secret_access_key": "xxxxxx",
        "bucket": "xxxxxx",
        "compress": true,
        "chunk_size": "500mb",
        "base_path": "snapshot/"
    }
}

PUT /_snapshot/my_backup
{
    "type": "oss",
    "settings": {
        "oss.client.endpoint": "oss-cn-shanghai.aliyuncs.com",
        "oss.client.access_key_id": "xxx",
        "oss.client.secret_access_key": "xxx",
        "oss.client.bucket": "xxxxxx",
        "oss.client.base_path":"snapshot/",
        "oss.client.compress": true
    }
}

Vérifier la connectivité du référentiel

POST _snapshot/my_backup/_verify

Une réponse réussie répertorie tous les nœuds connectés au référentiel. En cas d'échec, vérifiez le point de terminaison, le nom du compartiment et les autorisations de l'utilisateur RAM.

Obtenir des informations sur le référentiel

# Get information about all repositories
GET _snapshot
# Get information about a specific repository
GET _snapshot/my_backup

Snapshot de tous les index

PUT _snapshot/my_backup/snapshot_1

Cette commande crée un snapshot nommé snapshot_1 pour tous les index ouverts. Le snapshot s'exécute de manière asynchrone. Pour attendre la fin de l'opération, ajoutez wait_for_completion=true :

PUT _snapshot/my_backup/snapshot_1?wait_for_completion=true

Si vous n'utilisez pas ce paramètre, exécutez GET _snapshot/my_backup/snapshot_1/_status pour vérifier l'état du snapshot. Un état state défini sur SUCCESS indique que le snapshot est terminé.

Un référentiel peut contenir plusieurs snapshots. Le premier constitue une sauvegarde complète ; les suivants sont incrémentiels et ne stockent que les données modifiées.

Snapshot d'index spécifiques

PUT _snapshot/my_backup/snapshot_2
{
  "indices": "index_1,index_2",
  "ignore_unavailable": true,
  "include_global_state": false
}

# View all snapshots
GET _snapshot/my_backup/_all

# View a specific snapshot
GET _snapshot/my_backup/snapshot_1

# View the detailed status of a snapshot, including statistics for each index and shard
GET _snapshot/my_backup/snapshot_1/_status

DELETE _snapshot/my_backup/snapshot_1

Créer un référentiel dans le cluster cible

Créez un référentiel dans le cluster cible pointant vers l'emplacement de sauvegarde OSS. Utilisez les mêmes paramètres que dans Créer un référentiel de snapshots.

PUT _snapshot/my_backup_restore/
{
    "type": "oss",
    "settings": {
        "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",
        "access_key_id": "xxxx",
        "secret_access_key": "xxxxxx",
        "bucket": "xxxxxx",
        "compress": true,
        "chunk_size": "500mb",
        "base_path": "snapshot/"
    }
}

Restaurer un index spécifique

Restaurez et renommez un index pour éviter les conflits de noms :

POST /_snapshot/my_backup_restore/snapshot_1/_restore
{
 "indices": "index_1",
 "rename_pattern": "index_(.+)",
 "rename_replacement": "restored_index_$1"
}

Restaurer les index non système

POST _snapshot/my_backup_restore/snapshot_1/_restore
{"indices": "*,-.monitoring*,-.security*,-.kibana*,-.internal.alerts*,-.alerts*","ignore_unavailable": true}

Ce modèle d'exclusion couvre les index système courants. D'autres versions peuvent inclure des index supplémentaires, tels que .ds-ilm-history-* et .slo-* . Adaptez-le selon votre cluster. Pour la version 8.x, excluez également les index de support des flux de données en ajoutant -.ds* .

Restaurer tous les index

POST _snapshot/my_backup_restore/snapshot_1/_restore

L'API _restore s'exécute de manière asynchrone. Pour attendre la fin de l'opération, ajoutez wait_for_completion=true :

POST _snapshot/my_backup_restore/snapshot_1/_restore?wait_for_completion=true

Restaurer vers Indexing Service

Lors de la restauration vers une instance Indexing Service, utilisez ignore_index_settings pour ignorer les paramètres incompatibles :

POST /_snapshot/my_backup_restore/snapshot_1/_restore
{
  "indices": "index_1",
  "ignore_index_settings": [
    "index.apack.cube.following_index"
  ]
}

# Check the restoration status of a specific index
GET restored_index_1/_recovery

# Check restoration status for all indexes (may include unrelated shards)
GET /_recovery/

DELETE /restored_index_3

Combien de temps faut-il pour sauvegarder une grande quantité de données dans OSS, et quel est le coût ?

• Estimation du temps : À titre de référence, la sauvegarde d'environ 80 Go de données prend environ 30 minutes. Le temps réel dépend du volume de vos données et de la bande passante de votre instance. Pour accélérer le processus de sauvegarde, vous pouvez augmenter le paramètre chunk_size lors de la création du référentiel de snapshots ou augmenter la bande passante de votre instance.

• Estimation des coûts : Le stockage des données de sauvegarde dans OSS entraîne des frais de stockage OSS et des frais de trafic. Le coût réel dépend du volume de vos données et du type de stockage.

Que faire en cas d'échec d'un snapshot ou si un index ne peut pas être supprimé ?

• Dépannage des échecs de snapshot :

  • Si le snapshot échoue avec l'erreur QpsLimitExceeded, la limitation QPS d'OSS a été déclenchée. Le redémarrage du nœud ne résout pas ce problème. Reprogrammez la sauvegarde pendant les heures creuses, par exemple entre 3 h 00 et 4 h 00, ou contactez OSS pour augmenter la limite.

  • Si le snapshot échoue en raison d'une pression sur la mémoire du nœud ou du garbage collection (GC), redémarrez le nœud pour libérer la mémoire cache, puis créez à nouveau le snapshot.

• Supprimer un index impliqué dans un snapshot : Un index en cours de snapshot ne peut pas être supprimé directement. Avant de supprimer un index, exécutez la commande suivante pour afficher l'état du snapshot :

  GET _snapshot/_status

  Dans la réponse, vérifiez la liste indices de chaque snapshot dont l'état state est STARTED. Les index répertoriés sont en cours de sauvegarde. Attendez la fin du snapshot ou annulez le snapshot concerné avant de supprimer un index. Vous pouvez supprimer en toute sécurité un index qui n'apparaît pas dans la liste indices d'un snapshot dont l'état state est STARTED.