Associer un projet MaxCompute en tant que ressource de calcul - DataWorks

Pour développer des tâches MaxCompute dans DataWorks, associez votre projet MaxCompute à un espace de travail DataWorks en tant que ressource de calcul pour la synchronisation, le développement et l'analyse des données.

Limites

Limites régionales : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta), Allemagne (Francfort), Royaume-Uni (Londres), États-Unis (Silicon Valley) et États-Unis (Virginie).
Le projet MaxCompute et l'espace de travail DataWorks doivent se trouver dans la même région et sous le même compte Alibaba Cloud.

Autorisations :

Produit	Opérateur	Autorisations
DataWorks	Compte Alibaba Cloud	Aucune autorisation supplémentaire n'est requise.
DataWorks	Utilisateur RAM/Rôle RAM	Seuls les membres de l'espace de travail disposant du rôle O&M ou Administrateur de l'espace de travail, ou des membres disposant de l'autorisation `AliyunDataWorksFullAccess`, peuvent créer des ressources de calcul. Vous pouvez accorder des autorisations aux membres de l'espace de travail.
MaxCompute	Utilisateur RAM/Rôle RAM	Pour lier une ressource de calcul : Vous devez disposer de l'autorisation odps:ListProjects pour MaxCompute et de l'autorisation Super_Administrator pour le projet MaxCompute cible. Exigences relatives à l'identité d'accès par défaut : Cette identité doit disposer du rôle admin ou super_administrator pour le projet MaxCompute. Après l'association, la plateforme accorde à cette identité le rôle Role_Project_Scheduler pour le projet de production.

L'identité d'accès par défaut de l'environnement de production est propriétaire de toutes les données de production. Les autres comptes doivent demander l'accès via le Security Center.

Pour vérifier la région d'une ressource de calcul MaxCompute associée, accédez à la page des détails de l'espace de travail, ou ouvrez la page de liste Computing Resources dans le Management Center et consultez les détails de la ressource de calcul. Ces détails incluent la région du projet MaxCompute. Cela vous aide à localiser rapidement les informations régionales lors du dépannage de problèmes tels qu'une association interrégionale ayant échoué.

Prérequis

MaxCompute est activé et un projet a été créé dans la même région que votre espace de travail DataWorks.
Un espace de travail DataWorks a été créé et votre utilisateur RAM dispose du rôle Administrateur de l'espace de travail.

Remarque
DataWorks prend en charge le mode Simple et le mode Standard. Comprenez les différences entre le mode Simple et le mode Standard avant de créer un espace de travail.
Un groupe de ressources est associé à l'espace de travail et la connectivité réseau a été vérifiée.
- Si vous utilisez un groupe de ressources serverless, assurez-vous de la connectivité réseau entre la ressource de calcul MaxCompute et le groupe de ressources serverless.
- Si vous utilisez un ancien groupe de ressources exclusif, assurez-vous de la connectivité réseau entre la ressource de calcul MaxCompute et le groupe de ressources exclusif pour la planification.

Nouveau Data Studio : Associer une ressource de calcul

Associez une ressource de calcul MaxCompute à un espace de travail qui Use Data Studio (New Version).

Accéder à la page des ressources de calcul

Connectez-vous à la console DataWorks et basculez vers la région cible. Dans le volet de navigation de gauche, cliquez sur More > Management Center. Dans la liste déroulante, sélectionnez l'espace de travail correspondant et cliquez sur Go to Management Center.
Dans le volet de navigation de gauche, cliquez sur Computing Resources pour ouvrir la page des ressources de calcul.

Associer la ressource de calcul MaxCompute

Sur la page Ressource de calcul, associez une ressource de calcul MaxCompute.

Sélectionnez le type de ressource de calcul.
1. Cliquez sur Associate Computing Resources ; la page Associate Computing Resources s'ouvre.
2. Sur la page Associate Computing Resources , sélectionnez MaxCompute comme type de ressource de calcul pour accéder à la page de configuration Associate MaxCompute Computing Resource .

Configurez la ressource de calcul MaxCompute.

Sur la page de configuration Associate MaxCompute Computing Resource , configurez les paramètres suivants.

Paramètre	Description
MaxCompute Project	Sélectionnez le projet MaxCompute à associer. Vous pouvez créer un projet MaxCompute interne ou créer un projet MaxCompute externe, puis sélectionner le nouveau projet. Remarque En mode Standard, sélectionnez des projets MaxCompute distincts pour les environnements de production et de développement. Éléments facturables et méthodes de facturation MaxCompute. Si le projet cible ne figure pas dans la liste, accordez le rôle Super_Administrator pour le projet au compte actuel.
Default Access Identity	L'identité utilisée pour accéder au projet MaxCompute depuis cet espace de travail. Environnement de développement : Seule l'identité Executor est prise en charge. Environnement de production : Les identités Alibaba Cloud Account, Alibaba Cloud RAM Sub-account et RAM role sont prises en charge. Remarque Seul un compte Alibaba Cloud ou un principal disposant de l'autorisation AdministratorAccess peut sélectionner toutes les identités d'accès. Le Security Center de l'environnement de production est propriétaire de toutes les données de production. Les autres comptes doivent demander l'accès via le Security Center. Contrôle d'accès aux données MaxCompute et Approval Center.
Endpoint	Le point de terminaison pour accéder au projet MaxCompute, y compris le point de terminaison de service et le point de terminaison Tunnel pour les transferts de données. Auto Fit : DataWorks s'adapte automatiquement à vos configurations. Recommandé. Custom Configuration : Configurez manuellement les points de terminaison MaxCompute et Tunnel, qui varient selon la région.
Computing Resource Instance Name	Un nom unique pour la ressource de calcul, utilisé au moment de l'exécution pour la sélectionner pour les tâches.

Testez la connectivité.

Sélectionnez le groupe de ressources pour l'exécution des tâches MaxCompute et cliquez sur Test Connectivity pour vérifier l'accès. Solutions de connexion réseau.

Remarque
Si aucun groupe de ressources n'est disponible, ajoutez et associez un groupe de ressources serverless au préalable, puis testez la connectivité sur la page Computing Resources .
Cliquez sur Confirm pour terminer l'association.
Remarque
- Après l'association, une source de données MaxCompute portant le même nom est automatiquement créée sur la page Data Sources .
- Après l'association, la plateforme autorise l'identité d'accès en l'ajoutant au projet MaxCompute avec les autorisations requises. Un test de connectivité peut échouer avec une erreur d'autorisation jusqu'à ce que l'autorisation soit terminée. Si cela se produit, enregistrez la ressource et réessayez après quelques instants.

Modifier une ressource de calcul MaxCompute associée

Pour modifier une ressource de calcul MaxCompute associée, par exemple pour changer le projet associé, remplacer les liaisons ou mettre à jour la configuration, accédez à la page de liste Computing Resources dans le Management Center , recherchez la ressource de calcul cible et cliquez sur Edit.

Sur la page de modification, vous pouvez modifier le projet MaxCompute associé, l'identité d'accès par défaut, le Endpoint et d'autres configurations.

Ancien Data Studio : Associer une ressource de calcul

Associez une ressource de calcul MaxCompute à un espace de travail qui n'utilise pas Use Data Studio (New Version).

Accéder à la page des ressources de calcul

Connectez-vous à la console DataWorks . Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development .
Dans le volet de navigation de gauche, cliquez sur l'icône pour ouvrir la page Computing Resources .

Associer la ressource de calcul MaxCompute

Sur la page des ressources de calcul, associez une ressource de calcul MaxCompute.

Sélectionnez le type de ressource de calcul.
1. Cliquez sur Create Computing Resource pour ouvrir la page Create Computing Resource .
2. Sur la page Create Computing Resource , sélectionnez MaxCompute comme type de ressource de calcul pour accéder à la page de configuration Create Computing Resource .

Configurez la ressource de calcul MaxCompute.

Sur la page de configuration Create Computing Resource , configurez les paramètres suivants.

Paramètre	Description
Authentication Method	Les nouvelles ressources de calcul prennent uniquement en charge l'authentification par compte Alibaba Cloud ou par rôle RAM.
Alibaba Cloud Account	Seuls les projets MaxCompute appartenant au Current Alibaba Cloud Account peuvent être associés à cet espace de travail.
MaxCompute Project Name	Sélectionnez le projet MaxCompute à associer. Si aucun n'est disponible, créez un projet MaxCompute. Remarque En mode Standard, sélectionnez des projets MaxCompute distincts pour les environnements de production et de développement. Éléments facturables et méthodes de facturation MaxCompute. Si le projet cible ne figure pas dans la liste, accordez le rôle Super_Administrator pour le projet au compte actuel.
Region	La région du projet MaxCompute. Elle doit correspondre à la région de l'espace de travail.
Default Access Identity	L'identité utilisée pour accéder à la ressource de calcul depuis cet espace de travail. Environnement de développement : Seule l'identité Executor est prise en charge. Environnement de production : Les comptes Alibaba Cloud, les utilisateurs RAM et les rôles RAM sont pris en charge. Remarque Seul un compte Alibaba Cloud ou un principal disposant de l'autorisation AdministratorAccess peut sélectionner toutes les identités d'accès. Le Security Center de l'environnement de production est propriétaire de toutes les données de production. Les autres comptes doivent demander l'accès via le Security Center. Contrôle d'accès aux données MaxCompute et Approval Center.
Endpoint	Le point de terminaison pour accéder au projet MaxCompute, y compris le point de terminaison de service et le point de terminaison Tunnel pour les transferts de données. Auto Fit : DataWorks s'adapte automatiquement à vos configurations. Recommandé. Custom Configuration : Configurez manuellement les points de terminaison MaxCompute et Tunnel, qui varient selon la région.

Testez la connectivité.

Sélectionnez le groupe de ressources pour l'exécution des tâches MaxCompute et cliquez sur Test Connectivity pour vérifier l'accès. Solutions de connexion réseau.

Remarque
Si aucun groupe de ressources n'est disponible, ajoutez et associez un groupe de ressources serverless au préalable, puis testez la connectivité sur la page Computing Resources .
Cliquez sur Create and Associate Computing Resource with DataStudio pour terminer l'association.
Remarque
- Après l'association, une source de données MaxCompute portant le même nom est automatiquement créée sur la page Data Sources .
- Après l'association, la plateforme autorise l'identité d'accès en l'ajoutant au projet MaxCompute avec les autorisations requises. Un test de connectivité peut échouer avec une erreur d'autorisation jusqu'à ce que l'autorisation soit terminée. Si cela se produit, enregistrez la ressource et réessayez après quelques instants.

Modifier une ressource de calcul MaxCompute associée

Pour modifier une ressource de calcul MaxCompute associée, par exemple pour changer le projet associé, remplacer les liaisons ou mettre à jour la configuration, accédez à la page de liste Computing Resources dans Data Studio, recherchez la ressource de calcul cible et cliquez sur Edit.

Sur la page de modification, vous pouvez modifier le projet MaxCompute associé, l'identité d'accès par défaut, le Endpoint et d'autres configurations.

Étapes suivantes

Après l'association, DataWorks crée automatiquement une source de données MaxCompute dans l'espace de travail. Utilisez-la dans Data Integration et dans un nœud de base de données (Nouveau Data Studio) ou un nœud de base de données (Ancien Data Studio) .

FAQ

Problème : Lors de l'exécution d'une tâche sur une ressource de calcul MaxCompute, une erreur connect timed out, the possible reason is that the endpoint se produit.

Solution : Vérifiez la configuration du point de terminaison. Utilisez le point de terminaison VPC pour la région de la ressource.
Problème : Lors du test de connectivité, une erreur You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx} se produit.

Solution : Vérifiez l'état du projet MaxCompute. Si le projet est frozen ou suspendu, Restore -le dans la console MaxCompute .
Problème : DataWorks prend-il en charge l'association d'un projet MaxCompute entre différents comptes Alibaba Cloud, ou l'interrogation de données entre comptes à l'aide de SQL ?

Solution : Non. Lorsque vous associez une ressource de calcul MaxCompute à DataWorks, vous ne pouvez associer qu'un projet MaxCompute appartenant au même compte Alibaba Cloud que votre espace de travail DataWorks. De même, lorsque vous exécutez des requêtes SQL dans Data Studio, le moteur de calcul que vous utilisez doit également appartenir au même compte. L'accès direct aux données MaxCompute entre comptes à l'aide de SQL n'est pas pris en charge. Si vous devez accéder aux données entre comptes, utilisez plutôt Data Integration ou une approche similaire.
Problème : Une ressource de calcul MaxCompute est déjà associée, mais lorsque je publie une tâche ou crée une ressource, DataWorks affiche toujours le message « Aucune ressource de calcul n'est associée », « Les informations ODPS sont introuvables » ou l'option est grisée. Que faire ?

Solution : Ce problème est généralement causé par l'une des raisons suivantes. Vérifiez-les dans l'ordre :
1. Délai système : Après la fin de l'association, la plateforme a besoin de temps pour autoriser l'identité d'accès. Cela peut entraîner un bref délai. Attendez quelques minutes, actualisez la page, puis réessayez.
2. Autorisations insuffisantes : Assurez-vous que le compte de connexion dispose de l'autorisation Super_Administrator sur le projet MaxCompute cible. Des autorisations manquantes peuvent faire apparaître l'état d'association comme anormal ou non associé.
3. Configuration d'association incorrecte : Vérifiez si le nom du projet MaxCompute associé et la région sont corrects, et assurez-vous qu'ils correspondent à la région et au compte Alibaba Cloud de l'espace de travail DataWorks.
4. Association non effectuée manuellement : L'activation du moteur MaxCompute côté MaxCompute seule ne suffit pas à terminer l'association. Vous devez associer manuellement la ressource de calcul sur la page Computing Resources dans le Management Center .
5. Problème de connectivité : Cliquez sur Test Connectivity pour la source de données MaxCompute dans l'environnement de développement. Si le test de connectivité échoue, vérifiez le réseau et la configuration du Endpoint.
Problème : Lorsque j'associe une ressource de calcul MaxCompute, DataWorks affiche le message « Le projet existe déjà ». Que faire ?

Solution : Un projet MaxCompute ne peut être associé en tant que ressource de calcul qu'à un seul espace de travail DataWorks. Cette erreur indique qu'un enregistrement d'association existe déjà dans DataWorks pour cette combinaison de projet MaxCompute et de Endpoint. Pour résoudre ce problème :
1. Vérifiez la liste Computing Resources de chaque espace de travail pour confirmer si la ressource de calcul existe déjà. Si elle existe déjà, vous n'avez pas besoin de l'associer à nouveau. Vous pouvez sélectionner directement ce moteur de calcul lors de la création de tâches dans Data Studio.
2. Si vous devez mettre à jour la configuration, supprimez d'abord l'enregistrement d'association existant (ou effacez le cache de votre navigateur et réessayez), puis associez à nouveau la ressource de calcul.
Problème : Après avoir dissocié une ressource de calcul MaxCompute d'un espace de travail puis l'avoir réassociée, une tâche Data Integration (DI) existante créée avant la dissociation s'ouvre en mode lecture seule ou renvoie une erreur. Que faire ?

Solution : La dissociation d'une ressource de calcul MaxCompute suivie de sa réassociation corrompt les métadonnées des tâches DI créées avant la dissociation, même si vous associez le même projet MaxCompute. Les symptômes typiques incluent :
- Lorsque vous ouvrez l'ancienne tâche, DataWorks signale un problème de connectivité pour la source de données source, et la page de la tâche passe en mode lecture seule et ne peut pas être modifiée.
- La console du navigateur renvoie une erreur de pointeur nul. Le message exact varie selon la version du produit, par exemple Cannot read properties of undefined (reading 'type') .
- La section Field Mapping continue d'indiquer que les informations de champ sont en cours de récupération et ne termine jamais le chargement.
L'utilisation de l'option Clone sur l'ancienne tâche ne restaure pas la capacité d'édition, car la tâche clonée s'ouvre également en mode lecture seule. Pour résoudre ce problème, créez une nouvelle tâche DI avec la même configuration pour remplacer l'ancienne tâche, puis accédez à Operation Center pour confirmer que l'ancienne tâche n'est pas déployée, afin que l'ancienne et la nouvelle tâche ne soient pas toutes deux planifiées.