Para desenvolver tarefas do MaxCompute no DataWorks, associe seu projeto do MaxCompute a um workspace do DataWorks como recurso de computação para sincronização, desenvolvimento e análise de dados.
Limitações
Limites de região: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), UK (London), US (Silicon Valley) e US (Virginia).
O projeto do MaxCompute e o workspace do DataWorks devem estar na mesma região e sob a mesma conta Alibaba Cloud.
-
Permissões:
Product
Operator
Permissions
DataWorks
Alibaba Cloud account
Nenhuma permissão adicional é necessária.
RAM user/RAM role
Apenas membros do workspace com a função O&M ou Workspace Administrator, ou membros com a permissão
AliyunDataWorksFullAccess, podem criar recursos de computação. Você pode conceder permissões aos membros do workspace.MaxCompute
RAM user/RAM role
Para vincular um recurso de computação: É necessário ter a permissão odps:ListProjects para o MaxCompute e a permissão Super_Administrator para o projeto do MaxCompute de destino.
Requisitos da identidade de acesso padrão: Esta identidade deve ter a função admin ou super_administrator no projeto do MaxCompute. Após a associação, a plataforma concede a esta identidade a função Role_Project_Scheduler para o projeto de produção.
A identidade de acesso padrão para o ambiente de produção possui todos os dados de produção. Outras contas devem solicitar acesso por meio do Security Center.
Para verificar a região de um recurso de computação do MaxCompute associado, acesse a página de detalhes do workspace ou abra a página de lista Computing Resources no Management Center e visualize os detalhes do recurso de computação. Os detalhes incluem a região do projeto do MaxCompute. Isso ajuda a localizar rapidamente informações de região ao solucionar problemas, como uma falha na associação entre regiões.
Pré-requisitos
O MaxCompute está ativado e um projeto foi criado na mesma região do seu workspace do DataWorks.
-
Um workspace do DataWorks foi criado e seu usuário RAM possui a função Workspace Administrator.
NotaO DataWorks suporta o modo Simples e o modo Padrão. Compreenda as diferenças entre o modo Simples e o modo Padrão antes de criar um workspace.
-
Um grupo de recursos está associado ao workspace e a conectividade de rede foi verificada.
Se você usar um grupo de recursos serverless, garanta a conectividade de rede entre o recurso de computação do MaxCompute e o grupo de recursos serverless.
Caso você use um grupo de recursos exclusivo legado, assegure a conectividade de rede entre o recurso de computação do MaxCompute e o grupo de recursos exclusivo para agendamento.
Novo Data Studio: Associar um recurso de computação
Associe um recurso de computação do MaxCompute a um workspace que Use Data Studio (New Version).
Acessar a página de recursos de computação
Faça login no console do DataWorks e mude para a região de destino. Na barra de navegação à esquerda, clique em . Na lista suspensa, selecione o workspace correspondente e clique em Go to Management Center.
No painel de navegação à esquerda, clique em Computing Resources para abrir a página de recursos de computação.
Associar o recurso de computação do MaxCompute
Na página Compute resource, associe um recurso de computação do MaxCompute.
-
Selecione o tipo de recurso de computação.
Clique em Associate Computing Resources para abrir a página Associate Computing Resources.
Na página Associate Computing Resources, selecione MaxCompute como tipo de recurso de computação para acessar a página de configuração Associate MaxCompute Computing Resource.
-
Configure o recurso de computação do MaxCompute.
Na página de configuração Associate MaxCompute Computing Resource, defina os seguintes parâmetros.
Parameter
Description
MaxCompute Project
Selecione o projeto do MaxCompute a ser associado. Você pode criar um projeto interno do MaxCompute ou criar um projeto externo do MaxCompute e, em seguida, selecionar o novo projeto.
Nota-
No modo Padrão, selecione projetos distintos do MaxCompute para os ambientes de produção e desenvolvimento.
-
Se o projeto de destino não estiver listado, conceda a função Super_Administrator do projeto à conta atual.
Default Access Identity
Identidade usada para acessar o projeto do MaxCompute a partir deste workspace.
-
Ambiente de desenvolvimento: Apenas a identidade Executor é suportada.
-
Ambiente de produção: As identidades Alibaba Cloud Account, Alibaba Cloud RAM Sub-account e RAM role são suportadas.
Nota-
Somente uma conta Alibaba Cloud ou um principal com AdministratorAccess pode selecionar todas as identidades de acesso.
-
O Security Center do ambiente de produção detém todos os dados de produção. Outras contas devem solicitar acesso pelo Security Center. Consulte Controle de acesso a dados do MaxCompute e Approval Center.
Endpoint
Endpoint para acessar o projeto do MaxCompute, incluindo o endpoint de service e o endpoint do Tunnel para transferências de dados.
-
Auto Fit: O DataWorks se adapta automaticamente às suas configurações. Recomendado.
-
Custom Configuration: Configure manualmente os endpoints do MaxCompute e do Tunnel, que variam conforme a região.
Computing Resource Instance Name
Nome exclusivo para o recurso de computação, usado em tempo de execução para selecioná-lo nas tarefas.
-
-
Teste a conectividade.
Selecione o grupo de recursos para executar tarefas do MaxCompute e clique em Test Connectivity para verificar o acesso. Consulte Soluções de conexão de rede.
NotaSe nenhum grupo de recursos estiver disponível, adicione e associe um grupo de recursos serverless primeiro e depois teste a conectividade na página Computing Resources.
-
Clique em Confirm para concluir a associação.
NotaApós a associação, uma fonte de dados do MaxCompute com o mesmo nome é criada automaticamente na página Data Sources.
Depois da associação, a plataforma autoriza a identidade de acesso adicionando-a ao projeto do MaxCompute com as permissões necessárias. Um teste de conectividade pode falhar com erro de permissão até que a autorização seja concluída. Se isso ocorrer, salve o recurso e tente novamente após alguns instantes.
Modificar um recurso de computação do MaxCompute associado
Para modificar um recurso de computação do MaxCompute associado — por exemplo, alterar o projeto associado, substituir vínculos ou atualizar a configuração — acesse a página de lista Computing Resources no Management Center, localize o recurso de computação desejado e clique em Edit.
Na página de edição, é possível modificar o projeto do MaxCompute associado, a identidade de acesso padrão, o Endpoint e outras configurações.
Data Studio Legado: Associar um recurso de computação
Associe um recurso de computação do MaxCompute a um workspace que não Use Data Studio (New Version).
Acessar a página de recursos de computação
-
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
No painel de navegação à esquerda, clique no ícone
para abrir a página Computing Resources.
Associar o recurso de computação do MaxCompute
Na página de recursos de computação, associe um recurso de computação do MaxCompute.
-
Selecione o tipo de recurso de computação.
Clique em Create Computing Resource para abrir a página Create Computing Resource.
Na página Create Computing Resource, selecione MaxCompute como tipo de recurso de computação para ir à página de configuração Create Computing Resource.
-
Configure o recurso de computação do MaxCompute.
Na página de configuração Create Computing Resource, defina os seguintes parâmetros.
Parameter
Description
Authentication Method
Novos recursos de computação suportam apenas autenticação por conta Alibaba Cloud ou função RAM.
Alibaba Cloud Account
Apenas projetos do MaxCompute sob a Current Alibaba Cloud Account podem ser associados a este workspace.
MaxCompute Project Name
Selecione o projeto do MaxCompute a ser associado. Se nenhum estiver disponível, crie um projeto do MaxCompute.
Nota-
No modo Padrão, selecione projetos distintos do MaxCompute para os ambientes de produção e desenvolvimento.
-
Se o projeto de destino não estiver listado, conceda a função Super_Administrator do projeto à conta atual.
Region
Região do projeto do MaxCompute. Deve corresponder à região do workspace.
Default Access Identity
Identidade usada para acessar o recurso de computação a partir deste workspace.
-
Ambiente de desenvolvimento: Apenas a identidade Executor é suportada.
-
Ambiente de produção: Contas Alibaba Cloud, usuários RAM e funções RAM são suportados.
Nota-
Somente uma conta Alibaba Cloud ou um principal com AdministratorAccess pode selecionar todas as identidades de acesso.
-
O Security Center do ambiente de produção detém todos os dados de produção. Outras contas devem solicitar acesso pelo Security Center. Consulte Controle de acesso a dados do MaxCompute e Approval Center.
-
Endpoint
Endpoint para acessar o projeto do MaxCompute, incluindo o endpoint de service e o endpoint do Tunnel para transferências de dados.
-
Auto Fit: O DataWorks se adapta automaticamente às suas configurações. Recomendado.
-
Custom Configuration: Configure manualmente os endpoints do MaxCompute e do Tunnel, que variam conforme a região.
-
-
Teste a conectividade.
Selecione o grupo de recursos para executar tarefas do MaxCompute e clique em Test Connectivity para verificar o acesso. Consulte Soluções de conexão de rede.
NotaSe nenhum grupo de recursos estiver disponível, adicione e associe um grupo de recursos serverless primeiro e depois teste a conectividade na página Computing Resources.
-
Clique em Create and Associate Computing Resource with DataStudio para concluir a associação.
NotaApós a associação, uma fonte de dados do MaxCompute com o mesmo nome é criada automaticamente na página Data Sources.
Depois da associação, a plataforma autoriza a identidade de acesso adicionando-a ao projeto do MaxCompute com as permissões necessárias. Um teste de conectividade pode falhar com erro de permissão até que a autorização seja concluída. Se isso ocorrer, salve o recurso e tente novamente após alguns instantes.
Modificar um recurso de computação do MaxCompute associado
Para modificar um recurso de computação do MaxCompute associado — por exemplo, alterar o projeto associado, substituir vínculos ou atualizar a configuração — acesse a página de lista Computing Resources no Data Studio, localize o recurso de computação desejado e clique em Edit.
Na página de edição, é possível modificar o projeto do MaxCompute associado, a identidade de acesso padrão, o Endpoint e outras configurações.
Próximos passos
Após a associação, o DataWorks cria automaticamente uma fonte de dados do MaxCompute no workspace. Utilize-a no Data Integration e em um nó de banco de dados (Novo Data Studio) ou nó de banco de dados (Data Studio Legado).
FAQ
-
Problema: Ao executar uma tarefa em um recurso de computação do MaxCompute, ocorre o erro
connect timed out, the possible reason is that the endpoint.Solução: Verifique a configuração do endpoint. Use o endpoint de VPC correspondente à região do recurso.
-
Problema: Ao testar a conectividade, ocorre o erro
You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}.Solução: Verifique o status do projeto do MaxCompute. Se o projeto estiver frozen ou suspenso, faça a Restore dele no console do MaxCompute.
-
Problema: O DataWorks suporta associar um projeto do MaxCompute entre contas Alibaba Cloud diferentes ou consultar dados entre contas usando SQL?
Solução: Não. Ao associar um recurso de computação do MaxCompute ao DataWorks, você só pode associar um projeto do MaxCompute que pertença à mesma conta Alibaba Cloud do seu workspace do DataWorks. Da mesma forma, ao executar consultas SQL no Data Studio, o mecanismo de computação utilizado também deve pertencer à mesma conta. O acesso direto a dados do MaxCompute entre contas via SQL não é suportado. Se precisar acessar dados entre contas, utilize o Data Integration ou uma abordagem similar.
-
Problema: Um recurso de computação do MaxCompute já está associado, mas ao publicar uma tarefa ou criar um recurso, o DataWorks ainda exibe "No compute resource is associated", "The ODPS information cannot be found" ou a opção aparece desabilitada. O que fazer?
Solução: Esse problema geralmente é causado por um dos motivos abaixo. Verifique-os nesta ordem:
Atraso do sistema: Após concluir a associação, a plataforma precisa de tempo para autorizar a identidade de acesso. Isso pode causar um breve atraso. Aguarde alguns minutos, atualize a página e tente novamente.
Permissões insuficientes: Certifique-se de que a conta conectada possui a permissão
Super_Administratorno projeto do MaxCompute de destino. A falta de permissões pode fazer com que o status da associação pareça anormal ou não associado.Configuração de associação incorreta: Verifique se o nome do projeto do MaxCompute associado e a região estão corretos e se correspondem à região e à conta Alibaba Cloud do workspace do DataWorks.
Não associado manualmente: Ativar o mecanismo do MaxCompute apenas no lado do MaxCompute não conclui a associação. É necessário associar manualmente o recurso de computação na página Computing Resources no Management Center.
Problema de conectividade: Clique em Test Connectivity para a fonte de dados do MaxCompute no ambiente de desenvolvimento. Se o teste de conectividade falhar, verifique a rede e a configuração do Endpoint.
-
Problema: Ao associar um recurso de computação do MaxCompute, o DataWorks exibe "The project already exists". O que fazer?
Solução: Um projeto do MaxCompute pode ser associado como recurso de computação a apenas um workspace do DataWorks. Este erro indica que já existe um registro de associação no DataWorks para esta combinação de projeto do MaxCompute e Endpoint. Para resolver:
Verifique a lista Computing Resources de cada workspace para confirmar se o recurso de computação já existe. Caso já exista, não é necessário associá-lo novamente. Você pode selecionar diretamente esse mecanismo de computação ao criar tarefas no Data Studio.
Se precisar atualizar a configuração, exclua primeiro o registro de associação existente (ou limpe o cache do navegador e tente novamente) e, em seguida, associe o recurso de computação novamente.
-
Problema: Após desassociar um recurso de computação do MaxCompute de um workspace e associá-lo novamente, uma tarefa existente do Data Integration (DI) criada antes da desassociação abre no modo somente leitura ou retorna um erro. O que fazer?
Solução: Desassociar um recurso de computação do MaxCompute e associá-lo novamente corrompe os metadados das tarefas de DI criadas antes da desassociação, mesmo que você associe o mesmo projeto do MaxCompute. Os sintomas típicos incluem:
Ao abrir a tarefa antiga, o DataWorks relata um problema de conectividade com a fonte de dados de origem, e a página da tarefa entra no modo somente leitura, impedindo a edição.
O console do navegador retorna um erro de ponteiro nulo. A mensagem exata varia conforme a versão do product, por exemplo,
Cannot read properties of undefined (reading 'type').A seção Field Mapping continua mostrando que as informações de campo estão sendo recuperadas e nunca termina de carregar.
Usar Clone na tarefa antiga não restaura a capacidade de edição, pois a tarefa clonada também abre no modo somente leitura. Para resolver esse problema, crie uma nova tarefa de DI com a mesma configuração para substituir a tarefa antiga e, em seguida, acesse o Operation Center para confirmar que a tarefa antiga foi despublicada, evitando que ambas as tarefas sejam agendadas simultaneamente.