Cette rubrique décrit les opérations à effectuer après la création d'une tâche de migration de données.
Consulter un rapport de migration
Les rapports de migration fournissent des informations détaillées sur les résultats de la migration, notamment les listes des fichiers transférés avec succès, ceux ayant échoué et ceux ignorés. Ces rapports vous aident à comprendre l'état d'exécution de votre tâche de migration.
Types de fichiers de rapport
Selon l'état d'exécution de la tâche, trois types de fichiers de rapport de migration sont générés : une liste de tous les fichiers migrés, une liste des fichiers ayant échoué et une liste des fichiers ignorés.
Convention de nommage des fichiers de rapport de migration
uid@jobid@runtimeid_total_list_nreprésente la liste de tous les fichiers migrés. Il peut y avoir plusieurs fichiers, où n est un entier supérieur ou égal à 0.uid@jobid@runtimeid_failed_list_nreprésente la liste des fichiers ayant échoué. Il peut y avoir plusieurs fichiers, où n est un entier supérieur ou égal à 0.uid@jobid@runtimeid_skipped_list_nreprésente la liste des fichiers ignorés. Il peut y avoir plusieurs fichiers, où n est un entier supérieur ou égal à 0.
Description des champs du rapport
Les champs d'un fichier de rapport de migration décrivent diverses propriétés d'un fichier (objet) lors de sa migration de la source vers la destination. Les champs incluent les éléments suivants :
|
Nom du champ |
Description |
|
Nom du fichier source |
Le nom du fichier source encodé en URL. |
|
Nom du fichier de destination |
Le nom du fichier objet encodé en URL. |
|
Taille du fichier source |
La taille du fichier source. |
|
Taille du fichier de destination |
La taille du fichier objet. |
|
MD5 du fichier source |
Le hachage MD5 du fichier source. Ce champ n'est présent que si le fichier source renvoie un hachage MD5. |
|
MD5 du fichier de destination |
Le hachage MD5 du fichier objet. |
|
CRC-64 du fichier source |
Le hachage CRC-64 du fichier source. Ce champ n'est présent que si le fichier source renvoie un hachage CRC-64. |
|
CRC-64 du fichier de destination |
Le hachage CRC-64 du fichier objet. |
|
Dernière modification du fichier source |
L'heure de la dernière modification du fichier source. |
|
Dernière modification du fichier de destination |
L'heure de la dernière modification du fichier objet. |
|
ID de version de l'objet source (pour la migration multi-version uniquement) |
Ce champ est utilisé uniquement dans le cadre d'une migration multi-version pour indiquer l'ID de version de l'objet source. |
|
ID de version de l'objet de destination (pour la migration multi-version uniquement) |
Ce champ est utilisé uniquement dans le cadre d'une migration multi-version pour indiquer l'ID de version de l'objet de destination. |
|
Heure de début de la migration |
L'heure à laquelle la migration du fichier a commencé. |
|
Heure de fin de la migration |
L'heure à laquelle la migration du fichier s'est terminée. |
|
Migration anormale (false : Normal, true : anormal) |
Un indicateur booléen indiquant si la migration était anormale. |
|
Raison de l'anomalie |
Une description de la raison de l'anomalie. |
Obtenir un rapport de migration
Connectez-vous à la console Data Online Migration.
Dans le volet de navigation de gauche, choisissez Data Online Migration > Migration Tasks.
-
Dans la liste des tâches de migration, repérez la tâche que vous souhaitez gérer et cliquez sur Manage pour accéder à sa page de détails.
Si vous avez sélectionné Do Not Push lors de la création de la tâche, accédez à la page de détails de la tâche, cliquez sur l'onglet History, puis cliquez sur Generate Migration Report. Une fois le rapport généré, cliquez sur Download Migration Report pour le télécharger sur votre machine locale.
Si vous avez sélectionné Push lors de la création de la tâche, accédez à la page de détails de la tâche et cliquez sur l'onglet History. Une fois le rapport généré, cliquez sur Download Migration Report pour le télécharger sur votre machine locale.
RemarqueLe rapport de migration généré peut être incomplet tant que la tâche de migration de données n'est pas terminée. Pour obtenir un rapport complet, téléchargez-le une fois la tâche achevée.
Le rapport de migration est fourni à titre indicatif uniquement. Le contenu réellement migré vers la destination constitue la version finale.
Après la génération d'un rapport de migration, celui-ci est stocké dans le compartiment Object Storage Service (OSS) spécifié. Le format du préfixe du niveau de répertoire dépend de l'état d'exécution de la tâche et se présente comme suit :
OSS://<bucket>/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/total_list/ OSS://<bucket>/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/failed_list/ OSS://<bucket>/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/skipped_list/Description des paramètres de chemin
Nom du champ
Signification du champ
bucket
Le compartiment de destination.
prefix
Le préfixe de répertoire de migration spécifié pour l'adresse de données de destination.
uid
L'ID du compte Alibaba Cloud.
jobid
L'ID de la tâche. Récupérez-le depuis la page produit de la tâche > onglet Details.
runtimeid
L'ID de l'enregistrement d'exécution de la tâche. Récupérez-le depuis la page produit de la tâche > onglet History.
Dans la console Object Storage Service (OSS), recherchez les fichiers de rapport de migration dans le compartiment de destination. Téléchargez ces fichiers pour afficher les listes détaillées des fichiers. Nous vous recommandons d'utiliser l'outil de gestion graphique ossbrowser 2,0 (Preview) ou l'outil ossutil pour les consulter.
drs_import_success_log : Journal de migration réussie
drs_import_fail_log : Journal de migration ayant échoué
-
succeed : Réussi
-
skipped : Ignoré
Une migration peut être ignorée dans les deux scénarios suivants :
-
Le fichier source n'existe pas au démarrage de la migration (il a été supprimé).
-
Le fichier est ignoré en fonction de la politique d'écrasement.
-
-
failed : Échec
La fonctionnalité d'envoi de journaux doit être activée lors de la création de la tâche de migration en sélectionnant Push ou Push only error logs. Si vous sélectionnez Do not push lors de la création de la tâche, vous ne pourrez pas consulter les journaux de la tâche dans SLS.
Les journaux de migration ne garantissent pas l'exhaustivité. N'utilisez pas les journaux de migration pour vérifier l'intégrité de la migration.
Les journaux de migration sont fournis à titre indicatif uniquement. Le résultat final de la migration repose sur les fichiers effectivement présents à la destination.
Do Not Push (par défaut) : N'envoie pas les journaux de migration.
Push : Envoie les journaux de migration vers SLS. Consultez les journaux de migration dans SLS.
-
Push Only File Error Logs : Envoie uniquement les journaux d'erreur de migration vers SLS. Consultez les journaux d'erreur de migration dans SLS.
Avant de sélectionner Push ou Push only file error logs, assurez-vous d'avoir effectué les opérations suivantes. Sinon, la tâche de migration risque de devenir anormale :
Vous avez activé le service SLS.
Vous avez accordé les autorisations requises pour Simple Log Service Access Authorization sur la page d'autorisation.
-
Simple Log Service Authorization : Cette option s'affiche lorsque vous sélectionnez Push ou Push only file error logs pour Migration logs.
Cliquez sur Grant . Sur la page Cloud Resource Access Authorization , le système crée le rôle AliyunOSSImportSlsAuditRole et lui accorde les autorisations requises. Cliquez sur Agree To Authorization pour terminer l'autorisation.
Connectez-vous à la console Data Online Migration.
Dans la barre de menu supérieure, sélectionnez la région où se trouve la tâche.
Dans le volet de navigation de gauche, choisissez Data Online Migration > Migration Tasks.
Dans la liste des tâches de migration, repérez la tâche que vous souhaitez gérer et cliquez sur Manage dans la colonne Actions pour accéder à sa page de détails.
Dans la section History , repérez la tâche que vous souhaitez gérer et cliquez sur Retry Failed Files dans la colonne Operation .
Modifiez le nom de la sous-tâche et cliquez sur Next .
Vérifiez que les paramètres tels que la bande passante de migration, le nombre de fichiers migrés par seconde et la méthode d'écrasement sont corrects, puis cliquez sur Next .
Cliquez sur OK . La sous-tâche démarre et relance la migration des fichiers ayant échoué.
Consulter les journaux de migration
Les journaux du processus de migration peuvent être envoyés vers SLS. Ces journaux détaillent la manière dont chaque fichier est traité pendant la tâche de migration, y compris les enregistrements des fichiers réussis, ayant échoué et ignorés. Grâce aux journaux de migration, vous pouvez surveiller la progression de la migration en temps réel, localiser rapidement les fichiers problématiques et effectuer des audits et un dépannage.
Types de journaux
Data Online Migration crée un projet dans SLS nommé aliyun-oss-import-log-ID du compte Alibaba Cloud-région de la console actuelle, par exemple aliyun-oss-import-log-137918634953****-cn-hangzhou. Consultez les journaux de la tâche de migration dans ce projet. Le projet contient les deux types de journaux suivants :
Description des champs des journaux
Le tableau suivant décrit les principaux champs des journaux de migration.
|
Nom du champ |
Signification du champ |
|
JobName |
Le nom de la tâche de migration. |
|
JobId |
L'ID de la tâche de migration. |
|
Region |
La région où se trouve la console. |
|
Status |
L'état du fichier migré. Il comprend les trois états suivants : |
|
UserId |
L'UID de l'utilisateur. |
|
ExecuteId |
L'ID de l'enregistrement d'exécution. |
|
StartTime |
L'heure de début de la migration. |
|
EndTime |
L'heure de fin de la migration. |
|
ListTime |
L'heure à laquelle le fichier a été analysé. |
|
Time |
L'heure actuelle. |
|
SrcObjectName |
Le nom du fichier source. Les champs commençant par Src sont liés à la source. Le nom du fichier est encodé en URL, par exemple, docs%2Fmy.docir%2Fexample.log. |
|
SrcObjectSize |
La taille du fichier source. |
|
DestObjectName |
Le nom du fichier de destination. Les champs commençant par Dest sont liés à la destination. Le nom du fichier est encodé en URL, par exemple, docs%2Fmy.docir%2Fexample.log. |
|
DestObjectSize |
La taille du fichier de destination. |
Obtenir les journaux de migration
Envoyez les journaux de migration vers Alibaba Cloud SLS en temps réel pour les interroger et les analyser. Dans la console SLS, effectuez des recherches précises à l'aide de mots-clés tels que l'ID de la tâche et le nom du fichier pour surveiller le processus de migration ou résoudre les problèmes.
Lorsque vous sélectionnez Push ou Push Only File Error Logs, Data Online Migration crée un projet dans SLS avec un nom au format aliyun-oss-import-log-<ID du compte Alibaba Cloud>-<région>, par exemple aliyun-oss-import-log-137918634953****-cn-hangzhou.
Nouvelle tentative pour les fichiers ayant échoué
Une fois une tâche de migration terminée, si le rapport indique que certains fichiers n'ont pas pu être migrés, créez une sous-tâche pour retenter la migration de ces seuls fichiers ayant échoué.