MaxCompute:Créer une tâche de migration

Types de tâches de migration

MMS prend en charge les types de tâches de migration suivants :

• Migration complète de base de données : migre une seule base de données.

• Migration partielle (plusieurs tables) : migre une ou plusieurs tables.

• Migration partielle (plusieurs partitions) : migre une ou plusieurs partitions.

Règles de migration

• Par défaut, les projets, schémas et noms de tables de destination sont mappés automatiquement. Pour modifier les mappages, cliquez sur Modifier dans la colonne Actions de la base de données cible, ou cliquez sur le nom de la base de données pour ouvrir la liste des tables, puis cliquez sur Modifier pour une table spécifique. Règles par défaut :

  • Projet de destination : correspond par défaut au projet configuré pour la source de données.

  • Schéma : correspond par défaut au nom de la base de données source.

  • Nom de la table : correspond par défaut au nom de la table source.

• Une tâche de migration ne migre que les tables et partitions dont l'état n'est pas « Completed ». Consultez et modifiez l'état de la migration dans la colonne Status de la liste des tables ou des partitions.

Procédure

Avant de commencer, configurez une source de données.

1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

2. Dans le volet de navigation de gauche, choisissez Data Transfer > Migration Service.

3. Sur la page Migration Service, cliquez sur l'onglet Data Source.

   Dans la colonne Actions de la source de données cible, cliquez sur Migration Management pour afficher les bases de données.

4. Dans la colonne Actions de la base de données cible, cliquez sur Full DB Migrate ou Partial Migration, puis configurez les paramètres.

   • Si vous sélectionnez Full DB Migrate, vous pouvez configurer une liste d'exclusion (blacklist) pour exclure certaines tables.

   • Si vous sélectionnez Partial Migration, accédez à la page de la base de données. Dans les onglets Table List et Partitions, sélectionnez les tables ou partitions à migrer, puis cliquez sur Create Migration Job.

   • Vous pouvez également activer la migration planifiée. Lorsqu'elle est activée, MMS exécute quotidiennement une tâche de migration selon votre planification, en migrant uniquement les tables ou partitions dont l'état est « Unmigrated ». Consultez l'état de la migration dans la colonne Status de la liste des tables ou des partitions.

   Remarque

   Si la source de données est MaxCompute

   • Sur la page Migration Management, cliquez sur Migrate Project Properties en haut à droite pour migrer les propriétés du projet MaxCompute.

     Cette opération copie tous les paramètres du projet source vers le projet de destination.

   • Pour migrer les ressources et les UDF, cliquez sur Full Migration dans la colonne Full DB Migrate, puis sélectionnez la migration complète de la base de données, les ressources ou les UDF comme objet de migration.

   Paramètres

   Paramètre	Obligatoire	Description
   Database Name	Oui	Base de données à migrer. Pré-rempli automatiquement.
   Job name	Oui	Nom de la tâche de migration.
   Data source	Oui	Source de données actuelle. Pré-rempli automatiquement.
   Source database	Oui	Base de données à migrer. Pré-rempli avec le nom de la base de données actuelle.
   Destination MaxCompute Project	Oui	Sélectionnez le projet MaxCompute de destination. Remarque Si la source de données est BigQuery, le projet MaxCompute de destination doit prendre en charge les schémas.
   Destination schema	Oui	Sélectionnez un schéma dans le projet MaxCompute de destination. Opérations sur les schémas. Remarque Ce paramètre est disponible uniquement pour les projets ayant activé la fonctionnalité de schéma.
   Table Blacklist and Whitelist	Non	Sélectionnez une Whitelist ou une Blacklist. Whitelist : tables à migrer. Séparez les noms multiples par des virgules (,). Remarque Pour une migration partielle (plusieurs tables), la whitelist est pré-remplie avec les tables sélectionnées. Pour une migration complète de base de données, la whitelist est vide par défaut. Blacklist : tables à exclure. Séparez les noms multiples par des virgules (,). Non requis pour une migration partielle (plusieurs partitions).
   ETA	Non	Heure de fin estimée. MMS l'utilise pour prioriser les tâches.
   Enable Check	Non	Lorsqu'elle est activée, MMS vérifie l'intégrité des données en comparant le nombre de lignes entre les partitions source et destination à l'aide de SELECT COUNT(*).
   Incremental Migration	Non	Lorsqu'elle est activée, la tâche ignore les partitions déjà migrées lors des exécutions précédentes.
   Migrate Only Schemas	Non	Crée les structures de tables et de partitions dans le projet de destination sans migrer les données.
   Partition Filter	Non	Expression de filtre pour les partitions. Exemple : p1 >= '2022-03-04' and (p2 = 10 or p3 > 20) and p4 in ('abc', 'cde'). L'expression prend en charge la syntaxe suivante : p1, p2 et p3 sont des noms de colonnes de partition. Les valeurs de partition peuvent être des chaînes ou des nombres. Les valeurs de chaîne doivent être entourées de guillemets simples (') ou doubles ("). Les valeurs des colonnes autres que INT et BIGINT ne peuvent être spécifiées que sous forme de chaînes. Opérateurs de comparaison : >, >=, = , <, <=, <>. L'opérateur IN est pris en charge. Opérateurs logiques : AND et OR. Les parenthèses () permettent de regrouper les conditions.
   Table Name Mapping	Non	Nouveau nom de la table dans le projet de destination.
   Field Name Mapping	Non	Nouveau nom de colonne dans le projet de destination.
   Other Configurations	Non	Mappages de types de tables au format JSON. Exemple : { "mc.table.type": { "dataset1.table1":{"table.type":"delta","pk":["id1"]}, "dataset2.table2":{"table.type":"delta","pk":["id1","id2"]}, "dataset2.table2":{"table.type":"transactional"} } }.

5. Cliquez sur Submit pour créer la tâche de migration.

6. Sur la page Migration Service, cliquez sur l'onglet Migration Job.

   Vérifiez l'état de la tâche de migration. Si une tâche échoue :

   • Cliquez sur Details dans la colonne Actions de la tâche ayant échoué. Sur la page Migration Task List, cliquez sur Actions dans la colonne Log de la tâche correspondante pour afficher la raison de l'échec.

   • Cliquez sur Actions dans la colonne Retry de la tâche ayant échoué pour la relancer.

     Remarque

     La migration comprend trois étapes : migration du schéma, migration des données et validation des données. Une tâche ayant échoué redémarre à partir de l'étape de migration des données après une opération Retry.