MaxCompute:Prérequis

Étape 1 : Créer un projet MaxCompute

Un projet constitue l'unité organisationnelle de base dans MaxCompute.

• Avant de migrer les données, sélectionnez un projet MaxCompute cible auquel la source de données sera mappée.

• Pendant la migration, MMS exécute diverses tâches de migration au sein du projet MaxCompute.

Vous devez donc créer un projet MaxCompute avant de migrer les données. Vous pouvez ignorer cette étape si un projet est déjà disponible. Pour créer un projet dans la console MaxCompute, suivez les étapes ci-dessous :

1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

2. Dans le volet de navigation de gauche, choisissez Manage Configurations > Projects.

3. Sous l'onglet Internal Project, cliquez sur Create Project.

4. Dans la boîte de dialogue Create Project, configurez les paramètres puis cliquez sur OK.

   Pour plus d'informations sur les paramètres, consultez la rubrique Créer un projet MaxCompute.

Étape 2 : Créer une connexion réseau VPC

Vous pouvez ignorer cette étape si une connexion réseau VPC existe déjà dans la région actuelle.

1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

2. Dans le volet de navigation de gauche, choisissez Manage Configurations > Network Connection .

3. Sur la page Network Connection, cliquez sur Add Network Connection.

4. Dans la boîte de dialogue Add Network Connection, configurez les paramètres comme indiqué puis cliquez sur OK. Lors de l'ajout d'une première connexion réseau, vous devez d'abord accorder une autorisation afin d'autoriser le proxy de la plateforme MaxCompute à demander des cartes d'interface réseau. Sans cette autorisation, la connexion ne peut pas être créée.

   Le tableau suivant décrit les paramètres.

   Paramètre	Obligatoire	Description
   Connection Name:	Oui	Nom personnalisé de la connexion. Le nom doit respecter les exigences suivantes : Commencer par une lettre. Contenir uniquement des lettres, des traits de soulignement (_) et des chiffres. Compter entre 1 et 63 caractères.
   Type:	Oui	La valeur par défaut est Passthrough. Une connexion Passthrough correspond à une connexion VPC.
   Region:	Oui	Le système renseigne automatiquement ce paramètre en fonction de la région que vous avez sélectionnée dans le coin supérieur gauche. Pour plus d'informations, consultez la section Régions prises en charge.
   VPC Selected:	Oui	Un VPC (Virtual Private Cloud) est un réseau virtuel isolé. Il offre un espace réseau privé sécurisé et configurable, semblable à un centre de données traditionnel. ID du VPC. Pour créer un nouveau VPC, consultez la rubrique Créer ou supprimer un VPC. Pour obtenir l'ID : Connectez-vous à la console Virtual Private Cloud. Dans le volet de navigation de gauche, choisissez VPC. Dans le coin supérieur gauche, sélectionnez une région. Sur la page VPC, repérez l'Instance ID/Name du VPC. Si vous vous connectez à un cluster HBase ou Hadoop, vous trouverez ces informations dans les détails de la connexion réseau sur la console correspondante.
   Switch:	Oui	Un vSwitch permet de créer un sous-réseau. Différents vSwitches au sein d'un même VPC peuvent communiquer entre eux via le réseau interne. Vous pouvez déployer des ressources cloud sur plusieurs vSwitches situés dans différentes zones afin de protéger votre application contre les pannes affectant une zone unique. ID du vSwitch associé au VPC. Si aucun vSwitch n'est disponible, consultez la rubrique Créer ou supprimer un vSwitch. Pour obtenir l'ID : Connectez-vous à la console Virtual Private Cloud. Dans le volet de navigation de gauche, choisissez vSwitch. Dans le coin supérieur gauche, sélectionnez une région. Sur la page vSwitch, repérez l'Instance ID/Name du vSwitch. Si vous vous connectez à un cluster HBase ou Hadoop, vous trouverez ces informations dans les détails de la connexion réseau sur la console correspondante.
   Security group:	Oui	Un groupe de sécurité agit comme un pare-feu virtuel pour vos ressources cloud. En gérant les groupes de sécurité et leurs règles, vous mettez en œuvre une isolation réseau et un contrôle d'accès granulaires. ID du groupe de sécurité. Pour créer un groupe de sécurité, consultez la rubrique Créer un groupe de sécurité.

5. Les tâches de migration de données doivent accéder à la source de données. Assurez-vous donc que le VPC peut atteindre la source de données, soit via Internet, soit par une liaison dédiée.

   • Si votre source de données se trouve sur l'Internet public, utilisez une passerelle NAT pour activer l'accès au réseau public. Pour plus d'informations, consultez la rubrique Utiliser une passerelle NAT comme point de sortie Internet unique.

   • Si votre source de données se trouve dans un centre de données local, connectez-la à Alibaba Cloud à l'aide d'un circuit Express Connect. Pour plus d'informations, consultez la rubrique Utiliser Express Connect.

Étape 3 : Créer un rôle lié au service

Avant d'utiliser MMS pour la première fois, créez le rôle lié au service AliyunServiceRolePolicyForMaxComputeMMS. MMS utilise ce rôle pour accéder aux ressources dans MaxCompute et dans d'autres services cloud.

1. Si vous utilisez un compte Alibaba Cloud, créez directement le rôle lié au service.

   Si vous êtes un utilisateur RAM, vous devez d'abord disposer de l'autorisation AliyunRAMFullAccess. Pour plus d'informations, consultez la rubrique Gérer les autorisations d'un rôle RAM.

2. Créez le rôle lié au service depuis la console MaxCompute ou la console RAM.

   Console MaxCompute

   1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

   2. Dans le volet de navigation de gauche, choisissez Data Transfer > Migration Service.

   3. Sous l'onglet Data Source, cliquez sur Add Data Source.

   4. Pour créer le rôle lié au service, cliquez sur OK dans la boîte de dialogue MaxCompute Service-linked Role. Si cette boîte de dialogue n'apparaît pas, le rôle existe déjà.

   Console RAM

   1. Connectez-vous à la console RAM.

   2. Dans le volet de navigation de gauche, sélectionnez Identities > Roles.

   3. Sur la page Roles, cliquez sur Create Role.

   4. Dans le coin supérieur droit de la page Create Role, cliquez sur Create Service Linked Role.

   5. Sur la page Create Service Linked Role, sous Select Service, sélectionnez AliyunServiceRoleForMaxComputeMMS puis cliquez sur Create Service Linked Role.

Étape 4 : Configurer les autorisations

1. Accordez au rôle lié au service MMS les autorisations nécessaires pour opérer sur les données MaxCompute

   Console MaxCompute

   1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

   2. Dans le volet de navigation de gauche, choisissez Manage Configurations > Projects.

   3. Sur la page Projects, cliquez sur Manage dans la colonne Actions correspondant au projet cible.

   4. Configurez les autorisations d'opération sur les données

      Rôle Admin

      1. Sur la page Project Settings, cliquez sur l'onglet Role Permissions.

      2. Repérez le rôle admin puis cliquez sur Manage Members dans la colonne Actions.

      3. Dans la boîte de dialogue Manage Members, saisissez RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS dans la zone de texte Add Member Manually. Remplacez <account_id> par l'ID de votre compte Alibaba Cloud.

      4. Cliquez sur OK.

      Créer un rôle personnalisé

      Créez un rôle de projet dans MaxCompute et accordez-lui uniquement les autorisations d'opération sur les données requises par MMS.

      1. Sur la page Project Settings, cliquez sur l'onglet Role Permissions.

      2. Cliquez sur Create Project-level Role, configurez le rôle comme indiqué puis cliquez sur Confirm.

         Le tableau suivant décrit les paramètres.

         Paramètre	Obligatoire	Description
         Role Name	Oui	The name must be 1 to 64 characters in length, and can contain letters and digits. The name must start with a letter.
         Role Type	Oui	Admin : rôle de gestion. Vous pouvez accorder des autorisations de gestion à l'aide d'une politique, mais vous ne pouvez pas accorder d'autorisations sur les ressources. Vous ne pouvez pas accorder d'autorisations de gestion à l'aide d'une ACL. Resource : rôle de type ressource. Vous pouvez accorder des autorisations sur les ressources à l'aide d'une politique ou d'une ACL, mais vous ne pouvez pas accorder d'autorisations de gestion.
         Authorization Method	Oui	Access Control List (ACL) : mécanisme d'autorisation basé sur une liste d'autorisation qui permet aux utilisateurs ou aux rôles d'effectuer des actions spécifiques sur des objets donnés. Policy : mécanisme prenant en charge les règles d'autorisation et de refus, adapté aux grandes entreprises et aux scénarios complexes nécessitant un contrôle granulaire.

         Accorde à un utilisateur les autorisations nécessaires pour effectuer des opérations sur des projets, des tables, des modèles, des ressources, des fonctions ou des instances. Le tableau suivant répertorie les autorisations que vous pouvez accorder.

         Objet	Autorisations
         Table	Describe, Select, Update, Alter, Drop, ShowHistory, Download
         Ressource	Read, Write, Download, Delete
         Fonction	Read, Write, Download, Execute, Delete
         Package	Read
         Projet	Read, Write, List, CreateTable, CreateInstance

   5. Revenez à l'onglet Role Permissions, sélectionnez le nouveau rôle au niveau du projet puis cliquez sur Manage Members dans la colonne Actions. Sélectionnez le compte Alibaba Cloud ou l'utilisateur RAM à autoriser puis cliquez sur OK. Si vous ne trouvez pas le compte lors de la première autorisation, ajoutez-le dans la section Add Member Manually.

   Via SQL

   1. Connectez-vous à MaxCompute à l'aide du client odpscmd et ajoutez le rôle lié au service que vous avez créé.

      USE <target_projectname>;
      
      -- Add the service-linked role to the user.
      Add USER  `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

   2. Accordez des autorisations à l'utilisateur.

      MaxCompute prend en charge le contrôle des autorisations à différents niveaux. Lors des opérations sur le projet, accordez des autorisations en fonction de la portée des opérations.

      • Autorisation à grain large : accordez directement le rôle admin à l'utilisateur. Cette approche évite d'avoir à accorder des autorisations pour chaque table individuellement.

        GRANT admin TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

      • Autorisation à grain fin : accordez des autorisations au niveau du projet, de la table ou de l'instance.

        Autorisations au niveau du projet

        -- Grant project-level data operation permissions.
        GRANT <actions> 
          ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- Supported actions
        Read,Write,List,CreateTable,CreateInstance,CreateFunction,CreateResource,All
        -- Example 1
        GRANT Read,Write,List,CreateTable,CreateInstance,CreateFunction,CreateResource
          ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- Example 2
        GRANT ALL 
          ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

        Autorisations au niveau de la table

        -- Grant table-level data operation permissions.
        GRANT <actions> 
          ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- Supported actions
        Describe,Select,Alter,Update,Drop,ShowHistory,All
        -- Example 1
        GRANT Describe,Select,Alter,Update,Drop,ShowHistory
          ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- Example 2
        GRANT All
          ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

        Autorisations au niveau de l'instance

        -- Grant instance-level data operation permissions. 
        GRANT <actions> 
          ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- Supported actions
        Read,Write,All 
        
        -- Example 1
        GRANT Read,Write 
          ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        
        -- Example 2
        GRANT All 
          ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        

   Description des paramètres :

   • target_projectname : obligatoire. Nom du projet cible.

   • account_id : obligatoire. ID de votre compte Alibaba Cloud.

   • privileges : obligatoire. Nom de l'autorisation d'opération à accorder. Vous pouvez spécifier plusieurs opérations à la fois. Séparez-les par des virgules (,).

2. Configurez les autorisations RAM

   Cette étape accorde à l'utilisateur RAM effectuant la migration de données les autorisations nécessaires pour utiliser MMS, telles que la gestion des données MMS, des métadonnées et des tâches de migration. Si vous utilisez un compte Alibaba Cloud pour effectuer la migration, ignorez cette étape.

   • Si l'utilisateur RAM actuel dispose des autorisations AliyunMaxComputeFullAccess pour gérer MaxCompute, ignorez cette étape.

   • Si vous souhaitez accorder à l'utilisateur RAM uniquement les autorisations nécessaires pour utiliser MMS, suivez les étapes ci-dessous :

     1. Connectez-vous à la console RAM.

     2. Dans le volet de navigation de gauche, sélectionnez Manage Permissions > Policies.

     3. Sur la page Policies, cliquez sur Create Policy.

     4. Sur la page Create Policy, sélectionnez JSON Editor. Saisissez la politique suivante :

        Toutes les opérations MMS

        {
          "Version": "1",
          "Statement": [
            {
              "Effect": "Allow",
              "Action": [
                "odps:ListMmsDataSources",
                "odps:CreateMmsDataSource",
                "ram:GetRole",
                "odps:GetMmsDataSource",
                "odps:UpdateMmsDataSource",
                "odps:DeleteMmsDataSource",
                "odps:CreateMmsFetchMetadataJob",
                "odps:GetMmsFetchMetadataJob",
                "odps:ListMmsFetchMetadataJobLogs",
                "odps:ListMmsDbs",
                "odps:GetMmsDb",
                "odps:ListMmsTables",
                "odps:GetMmsTable",
                "odps:ListMmsPartitions",
                "odps:GetMmsPartition",
                "odps:ListMmsJobs",
                "odps:GetMmsJob",
                "odps:CreateMmsJob",
                "odps:DeleteMmsJob",
                "odps:StartMmsJob",
                "odps:StopMmsJob",
                "odps:RetryMmsJob",
                "odps:ListMmsTasks",
                "odps:GetMmsTask",
                "odps:ListMmsTaskLogs",
                "odps:StopMmsTask",
                "odps:StartMmsTask",
                "odps:RetryMmsTask",
                "odps:GetMmsAsyncTask",
                "odps:GetMmsProgress",
                "odps:GetMmsSpeed",
                "odps:CreateMmsAuthFile",
                "odps:ListMmsAgents",
                "odps:ListMmsTimers",
                "odps:GetMmsTimer",
                "odps:UpdateMmsTimer",
                "odps:ListMmsTimerLogs",
                "odps:CreateMmsTimer",
                "odps:UpdateMmsTables",
                "odps:UpdateMmsTable",
                "odps:UpdateMmsDb",
                "odps:ListNetworkLinks"
              ],
              "Resource": "*"
            }
          ]
        }

        Gestion des données source

        {
          "Version": "1",
          "Statement": [
            {
              "Effect": "Allow",
              "Action": [
                "odps:ListMmsDataSources",
                "odps:CreateMmsDataSource",
                "ram:GetRole",
                "odps:GetMmsDataSource",
                "odps:UpdateMmsDataSource",
                "odps:DeleteMmsDataSource",
                "odps:CreateMmsFetchMetadataJob",
                "odps:GetMmsFetchMetadataJob",
                "odps:ListMmsFetchMetadataJobLogs",
                "odps:ListMmsDbs",
                "odps:GetMmsDb",
                "odps:ListMmsTables",
                "odps:GetMmsTable",
                "odps:ListMmsPartitions",
                "odps:GetMmsPartition",
                "odps:GetMmsAsyncTask",
                "odps:GetMmsProgress",
                "odps:GetMmsSpeed",
                "odps:CreateMmsAuthFile",
                "odps:ListMmsAgents",
                "odps:UpdateMmsTables",
                "odps:UpdateMmsTable",
                "odps:UpdateMmsDb"
              ],
              "Resource": "*"
            }
          ]
        }

        Gestion des tâches de migration

        {
          "Version": "1",
          "Statement": [
            {
              "Effect": "Allow",
              "Action": [
                "odps:ListMmsDataSources",
                "odps:GetMmsDataSource",
                "odps:CreateMmsFetchMetadataJob",
                "odps:GetMmsFetchMetadataJob",
                "odps:ListMmsFetchMetadataJobLogs",
                "odps:ListMmsDbs",
                "odps:GetMmsDb",
                "odps:ListMmsTables",
                "odps:GetMmsTable",
                "odps:ListMmsPartitions",
                "odps:GetMmsPartition",
                "odps:ListMmsJobs",
                "odps:GetMmsJob",
                "odps:CreateMmsJob",
                "odps:DeleteMmsJob",
                "odps:StartMmsJob",
                "odps:StopMmsJob",
                "odps:RetryMmsJob",
                "odps:ListMmsTasks",
                "odps:GetMmsTask",
                "odps:ListMmsTaskLogs",
                "odps:StopMmsTask",
                "odps:StartMmsTask",
                "odps:RetryMmsTask",
                "odps:GetMmsAsyncTask",
                "odps:GetMmsProgress",
                "odps:GetMmsSpeed",        
                "odps:ListMmsTimers",
                "odps:GetMmsTimer",
                "odps:UpdateMmsTimer",
                "odps:ListMmsTimerLogs",
                "odps:CreateMmsTimer"
              ],
              "Resource": "*"
            }
          ]
        }

     5. Cliquez sur OK. Dans la boîte de dialogue Create Policy, saisissez un Policy Name personnalisé. Vous pouvez également ajouter une description et des tags.

     6. Attachez la politique MMS personnalisée à l'utilisateur RAM. Pour plus d'informations, consultez la rubrique Gérer les autorisations d'un utilisateur RAM.

Étape 5 : Préparer les ressources de quota

Les tâches de migration de données consomment des ressources de calcul. Associez donc un quota de calcul au projet MaxCompute qui exécute les tâches de migration.

1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

2. Dans le volet de navigation de gauche, choisissez Manage Configurations > Quotas .

3. Associez un quota de calcul au projet MaxCompute destiné aux tâches de migration.

   • Utiliser le quota de calcul par défaut :

     Un projet reçoit un quota de calcul par défaut. Les tâches lancées dans le projet utilisent ce quota par défaut sans configuration supplémentaire. Lorsque vous créez un nouveau projet, associez-le directement au quota par défaut.

   • Changer le quota de calcul :

     1. Dans le volet de navigation de gauche, choisissez Manage Configurations > Projects.

     2. Sur la page Projects, cliquez sur Manage dans la colonne Actions correspondant au projet cible.

     3. Sur la page Project Settings, cliquez sur l'onglet Parameter Configuration.

     4. Dans la section Basic Properties, cliquez sur Edit pour modifier la configuration selon vos besoins.

     5. Dans la liste déroulante Authorized Tunnel Quota, sélectionnez le quota de calcul pour le projet puis cliquez sur Submit.

4. Lors de l'ajout d'une source de données, pour le paramètre projet d'exécution des tâches de migration, sélectionnez le projet auquel vous avez associé le quota de calcul à l'étape précédente.

   1. Dans le volet de navigation de gauche, choisissez Data Transfer > Migration Service.

   2. Sur la page Migration Service, cliquez sur l'onglet Data Source.

   3. Sous l'onglet Data Source, cliquez sur Add Data Source.

   4. Dans la liste déroulante MaxCompute Project for Migration Jobs, sélectionnez le projet auquel vous avez associé le quota de calcul à l'étape précédente.