What to do after migrating data between LocalFS - Data Online Migration

Consulter un rapport de migration

Les rapports de migration fournissent des informations détaillées sur les résultats, notamment la liste des fichiers transférés avec succès, des échecs et des fichiers ignorés. Ils vous aident à comprendre l'état d'exécution de votre tâche de migration.

Types de fichiers de rapport

Selon l'état d'exécution de la tâche, trois types de fichiers de rapport de migration sont générés : une liste de tous les fichiers migrés, une liste des fichiers en échec et une liste des fichiers ignorés.

Convention de nommage des fichiers de rapport de migration

uid@jobid@runtimeid_total_list_n représente la liste de tous les fichiers migrés. Il peut y avoir plusieurs fichiers, où n est un entier supérieur ou égal à 0.
uid@jobid@runtimeid_failed_list_n représente la liste des fichiers en échec. Il peut y avoir plusieurs fichiers, où n est un entier supérieur ou égal à 0.
uid@jobid@runtimeid_skipped_list_n représente la liste des fichiers ignorés. Il peut y avoir plusieurs fichiers, où n est un entier supérieur ou égal à 0.

Description des champs du rapport

Les champs d'un fichier de rapport de migration décrivent diverses propriétés d'un fichier (objet) lors de sa migration de la source vers la destination. Les champs incluent les éléments suivants :

|
**Nom du champ**
|
**Description**
| | --- | --- | |
Nom du fichier source
|
Le nom du fichier source encodé en URL.
| |
Nom du fichier de destination
|
Le nom du fichier objet encodé en URL.
| |
Taille du fichier source
|
La taille du fichier source.
| |
Taille du fichier de destination
|
La taille du fichier objet.
| |
MD5 du fichier source
|
Le hachage MD5 du fichier source. Ce champ est présent uniquement si le fichier source renvoie un hachage MD5.
| |
MD5 du fichier de destination
|
Le hachage MD5 du fichier objet.
| |
CRC-64 du fichier source
|
Le hachage CRC-64 du fichier source. Ce champ est présent uniquement si le fichier source renvoie un hachage CRC-64.
| |
CRC-64 du fichier de destination
|
Le hachage CRC-64 du fichier objet.
| |
Dernière modification du fichier source
|
L'heure de la dernière modification du fichier source.
| |
Dernière modification du fichier de destination
|
L'heure de la dernière modification du fichier objet.
| |
ID de version de l'objet source (pour la migration multiversion uniquement)
|
Ce champ est utilisé uniquement dans le cadre d'une migration multiversion pour indiquer l'ID de version de l'objet source.
| |
ID de version de l'objet de destination (pour la migration multiversion uniquement)
|
Ce champ est utilisé uniquement dans le cadre d'une migration multiversion pour indiquer l'ID de version de l'objet de destination.
| |
Heure de début de la migration
|
L'heure à laquelle la migration du fichier a commencé.
| |
Heure de fin de la migration
|
L'heure à laquelle la migration du fichier s'est terminée.
| |
Migration anormale (false : normale, true : anormale)
|
Un indicateur booléen indiquant si la migration était anormale. `false` signifie normale et `true` signifie anormale.
| |
Raison de l'anomalie
|
Une description de la raison de l'anomalie.
|

Obtenir un rapport de migration

Connectez-vous à la console Data Online Migration.
Dans le volet de navigation de gauche, choisissez Data Online Migration > Migration Tasks.
Dans la liste des tâches de migration, repérez la tâche que vous souhaitez gérer et cliquez sur Manage pour accéder à sa page de détails. Descriptions des paramètres de chemin
- Si vous avez sélectionné Do Not Push lors de la création de la tâche, accédez à la page de détails de la tâche, cliquez sur l'onglet History, puis cliquez sur Generate Migration Report. Une fois le rapport généré, cliquez sur Download Migration Report pour le télécharger sur votre machine locale.
- Si vous avez sélectionné Push lors de la création de la tâche, accédez à la page de détails de la tâche et cliquez sur l'onglet History. Une fois le rapport généré, cliquez sur Download Migration Report pour le télécharger sur votre machine locale.
Remarque
- Le rapport de migration généré peut être incomplet avant la fin de la tâche de migration de données. Pour obtenir un rapport complet, téléchargez-le une fois la tâche terminée.
- Le rapport de migration est fourni à titre indicatif uniquement. Le contenu réellement migré vers la destination constitue la version finale.
Après sa génération, le rapport de migration est stocké dans le préfixe spécifié dans le LocalFS de destination. Le format du préfixe pour le niveau du répertoire de dossier dépend de l'exécution de la tâche et se présente comme suit :
```
LOCAL:/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/total_list/
LOCAL:/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/failed_list/
LOCAL:/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/skipped_list/
```
|
**Nom du champ**
|
**Signification du champ**
| | --- | --- | |
prefix
|
Le préfixe du répertoire de migration spécifié pour l'adresse de données de destination.
| |
uid
|
L'ID du compte Alibaba Cloud.
| |
jobid
|
L'ID de la tâche. Obtenez-le depuis la page produit de la tâche > onglet **Details**.
| |
runtimeid
|
L'ID de l'enregistrement d'exécution de la tâche. Obtenez-le depuis la page produit de la tâche > onglet **History**.
|
Recherchez le fichier de rapport de migration dans le préfixe spécifié du LocalFS de destination pour consulter la liste détaillée des fichiers.

Consulter les journaux de migration

Les journaux du processus de migration peuvent être envoyés vers SLS. Ces journaux détaillent la manière dont chaque fichier est traité pendant la tâche de migration, y compris les enregistrements des fichiers réussis, en échec et ignorés. Grâce aux journaux de migration, vous pouvez surveiller la progression de la migration en temps réel, localiser rapidement les fichiers problématiques et effectuer des audits et un dépannage.

Types de journaux

Data Online Migration crée un projet dans SLS nommé aliyun-oss-import-log-ID du compte Alibaba Cloud-région de la console actuelle, par exemple *aliyun-oss-import-log-137918634953****-cn-hangzhou*. Consultez les journaux de la tâche de migration dans ce projet. Le projet contient les deux types de journaux suivants :

drs_import_success_log : Journal de migration réussie
drs_import_fail_log : Journal de migration en échec

Description des champs des journaux

Le tableau suivant décrit les principaux champs des journaux de migration.

Nom du champ	Signification du champ
JobName	Le nom de la tâche de migration.
JobId	L'ID de la tâche de migration.
Region	La région où se trouve la console.
Status	Le statut du fichier migré. Il comprend les trois statuts suivants : succeed : Réussi skipped : Ignoré Une migration peut être ignorée dans les deux scénarios suivants : Le fichier source n'existe pas au début de la migration (il a été supprimé). Le fichier est ignoré selon la politique de remplacement. failed : Échoué
UserId	L'UID de l'utilisateur.
ExecuteId	L'ID de l'enregistrement d'exécution.
StartTime	L'heure de début de la migration.
EndTime	L'heure de fin de la migration.
ListTime	L'heure à laquelle le fichier a été analysé.
Time	L'heure actuelle.
SrcObjectName	Le nom du fichier source. Les champs commençant par Src sont liés à la source. Le nom du fichier est encodé en URL, par exemple docs%2Fmy.docir%2Fexample.log.
SrcObjectSize	La taille du fichier source.
DestObjectName	Le nom du fichier de destination. Les champs commençant par Dest sont liés à la destination. Le nom du fichier est encodé en URL, par exemple docs%2Fmy.docir%2Fexample.log.
DestObjectSize	La taille du fichier de destination.

Obtenir les journaux de migration

Envoyez les journaux de migration vers Alibaba Cloud SLS en temps réel pour les interroger et les analyser. Dans la console SLS, effectuez des recherches précises à l'aide de mots-clés tels que l'ID de la tâche et le nom du fichier pour surveiller le processus de migration ou résoudre les problèmes.

Important

La fonctionnalité d'envoi des journaux doit être activée lors de la création de la tâche de migration en sélectionnant Push ou Push only error logs. Si vous sélectionnez Do not push lors de la création de la tâche, vous ne pourrez pas consulter les journaux de la tâche dans SLS.
Les journaux de migration ne garantissent pas l'exhaustivité. N'utilisez pas les journaux de migration pour vérifier l'intégrité de la migration.
Les journaux de migration sont fournis à titre indicatif uniquement. Le résultat final de la migration est basé sur les fichiers réels présents à la destination.

Do Not Push (par défaut) : N'envoie pas les journaux de migration.
Push : Envoie les journaux de migration vers SLS. Consultez les journaux de migration dans SLS.
Push Only File Error Logs : Envoie uniquement les journaux d'erreur de migration vers SLS. Consultez les journaux d'erreur de migration dans SLS.

Avant de sélectionner Push ou Push only file error logs, assurez-vous d'avoir effectué les opérations suivantes. Sinon, la tâche de migration pourrait devenir anormale :
- Vous avez activé le service SLS.
- Vous avez accordé les autorisations requises pour Simple Log Service Access Authorization sur la page d'autorisation.

Lorsque vous sélectionnez Push ou Push Only File Error Logs, Data Online Migration crée un projet dans SLS avec un nom au format aliyun-oss-import-log-<ID du compte Alibaba Cloud>-<région>, par exemple aliyun-oss-import-log-137918634953****-cn-hangzhou.

Simple Log Service Authorization : Cette option s'affiche lorsque vous sélectionnez Push ou Push only file error logs pour Migration logs.

Cliquez sur Grant. Sur la page Cloud Resource Access Authorization, le système crée le rôle AliyunOSSImportSlsAuditRole et lui accorde les autorisations requises. Cliquez sur Agree To Authorization pour terminer l'autorisation.

Retenter les fichiers en échec

Une fois qu'une tâche de migration est terminée, si le rapport indique que certains fichiers n'ont pas pu être migrés, créez une nouvelle sous-tâche pour retenter la migration de ces fichiers en échec uniquement.

Procédure

Connectez-vous à la console Data Online Migration.
Dans la barre de menu supérieure, sélectionnez la région où se trouve la tâche.
Dans le volet de navigation de gauche, choisissez Data Online Migration > Migration Tasks.
Dans la liste des tâches de migration, repérez la tâche que vous souhaitez gérer et cliquez sur Manage dans la colonne Actions pour accéder à sa page de détails.
Dans la section History, repérez la tâche que vous souhaitez gérer et cliquez sur Retry Failed Files dans la colonne Operation.
Modifiez le nom de la sous-tâche et cliquez sur Next.
Vérifiez que les paramètres tels que la bande passante de migration, le nombre de fichiers migrés par seconde et la méthode de remplacement sont corrects, puis cliquez sur Next.
Cliquez sur OK. La sous-tâche démarre et retente la migration des fichiers en échec.