Se o seu código ou função exigir um recurso do MaxCompute, crie-o ou faça upload dele para o workspace de destino. Após o upload, utilize o recurso nas tarefas desse workspace. Você pode fazer upload de recursos por meio de comandos SQL do MaxCompute ou das ferramentas visuais do DataWorks. Este documento explica como usar as ferramentas visuais do DataWorks para criar um recurso, usá-lo em um nó e registrar uma função com base nele.
Visão geral
Use os recursos do MaxCompute para implementar funções definidas pelo usuário (UDFs) ou MapReduce no MaxCompute. O DataWorks oferece uma interface visual para fazer upload de pacotes de recursos desenvolvidos localmente ou armazenados no OSS. Também é possível criar novos recursos diretamente no DataWorks. Jobs UDF e MapReduce podem ler e usar esses recursos. A tabela a seguir descreve os tipos de recursos que você pode criar no DataWorks.
Tipo de recurso | Descrição | Métodos de criação suportados |
Python | Armazena código Python usado para registrar UDFs Python. A extensão do arquivo é .py. | Crie usando o editor sem código (edição online). |
JAR | Pacote Java Archive (JAR) compilado, usado para executar programas Java. A extensão do arquivo é .jar. |
|
Archive | Suporta upload de arquivos compactados como .zip, .tgz, .tar.gz e .tar como recursos. O tipo de compactação é identificado pela extensão do arquivo. |
|
File | Suporta upload de arquivos .zip, .so e .jar como recursos do tipo File. |
|
Para mais informações sobre operações e gerenciamento de recursos, consulte Gerenciar recursos , Gerenciar recursos por meio de comandos e Adicionar recursos ao DataWorks para gerenciamento .
Limitações
-
Tamanho do recurso
Edição online: Recursos Python aceitam tamanho máximo de 10 MB. Recursos do tipo File aceitam tamanho máximo de 500 KB.
Upload de arquivo local: Permite upload de recursos de até 500 MB.
Upload de arquivo do OSS: Permite upload de recursos de até 500 MB.
-
Implantação de recursos
Em workspaces no modo padrão, implante o recurso no ambiente de produção.
NotaOs ambientes de desenvolvimento e produção usam instâncias de mecanismo de computação diferentes. Antes de consultar tabelas ou recursos em um ambiente, verifique as informações do mecanismo de computação correspondente. Para saber como visualizar os mecanismos de computação do MaxCompute em diferentes ambientes, consulte Data Studio (versão legada): Associar um mecanismo de computação do MaxCompute.
-
Gerenciamento de recursos
O DataWorks permite visualizar e gerenciar apenas os recursos carregados por sua interface visual. Se você adicionar um recurso ao MaxCompute usando outras ferramentas, como o MaxCompute Studio, carregue manualmente esse recurso no DataWorks pela opção MaxCompute Resource. Após o carregamento, será possível visualizá-lo e gerenciá-lo no DataWorks. Para mais detalhes, consulte Gerenciamento de recursos do MaxCompute.
Faturamento
O DataWorks não cobra taxas pela criação ou upload de recursos. No entanto, o MaxCompute aplica cobranças pelo armazenamento desses recursos. Para mais informações, consulte Preços de armazenamento do MaxCompute.
Pré-requisitos
Você já associou um mecanismo de computação do MaxCompute para executar tarefas de desenvolvimento.
-
(Opcional) Para criar um recurso fazendo upload de um arquivo do OSS, conclua as seguintes preparações:
Ative o OSS e crie um bucket. Certifique-se de que o arquivo desejado esteja nesse bucket. Para mais informações, consulte Criar bucket e Fazer upload de objetos.
Conceda à conta Alibaba Cloud usada no upload as permissões necessárias para acessar o bucket de destino. Para evitar erros de permissão, conceda essas permissões antecipadamente. Para mais informações, consulte Visão geral do controle de acesso.
Acessar a página de criação de recursos
-
Acesse a página Data Studio.
Faça login no console do DataWorks. Na barra de navegação superior, selecione a região desejada. No painel de navegação à esquerda, escolha . Na página exibida, selecione o workspace desejado na lista suspensa e clique em Go to Data Development.
-
Clique com o botão direito no workflow de destino, selecione Create Resource e escolha um tipo de recurso no diretório MaxCompute.
NotaSe nenhum workflow estiver disponível, consulte Criar um workflow para criar um.
Etapa 1: Criar ou fazer upload de um recurso
O DataWorks permite fazer upload de pacotes de recursos desenvolvidos localmente ou armazenados no OSS. Por exemplo, se você tem uma UDF desenvolvida localmente, empacote-a e faça upload para o DataWorks antes de registrar a função. Para alguns tipos de recurso, como Python e arquivos menores que 500 KB, também é possível criá-los diretamente no DataWorks.
Para recursos criados ou carregados pela interface visual do DataWorks:
Se o recurso ainda não foi carregado, marque a opção Upload to MaxCompute. Caso o recurso já exista no MaxCompute, desmarque essa caixa de seleção. Caso contrário, o upload falhará.
Ao selecionar Upload to MaxCompute durante o upload, o recurso fica armazenado tanto no DataWorks quanto no MaxCompute. Se posteriormente você excluir o recurso do MaxCompute via comando, a cópia no DataWorks continuará existindo e visível.
O nome do recurso não precisa corresponder ao nome do arquivo carregado.
Método 1: Criar um recurso usando o editor sem código
A figura a seguir mostra a configuração para criar um recurso pela interface visual do DataWorks.
Para recursos Python maiores que 10 MB ou recursos do tipo File maiores que 500 KB, use o Método 2: Fazer upload de um recurso local ou o Método 3: Fazer upload de um recurso do OSS.
Para um exemplo prático de criação de recurso Python e registro de função no DataWorks, consulte Analisar origens de IP usando uma UDF do MaxCompute.
Método 2: Fazer upload de um recurso local
A figura a seguir ilustra a configuração para fazer upload de um recurso local pela interface visual do DataWorks.
Método 3: Fazer upload de um recurso do OSS
A figura a seguir apresenta a configuração para fazer upload de um recurso do OSS pela interface visual do DataWorks.
Este método suporta upload de recursos de até 500 MB.
A conta Alibaba Cloud usada para a operação de upload deve ter a permissão AliyunDataWorksAccessingOSSRole. Siga as instruções na tela para conceder essa permissão.
Etapa 2: Enviar e implantar o recurso
Após criar um recurso, clique no ícone 
na barra de ferramentas do editor de recursos para enviá-lo ao servidor de agendamento no ambiente de desenvolvimento.
Se uma tarefa de produção precisar usar este recurso, implante-o também no ambiente de produção. Para mais informações, consulte Implantar uma tarefa.
Etapa 3: Usar o recurso
Caso de uso 1: Usar um recurso em um nó
Depois de criar um recurso no DataWorks, referencie-o em um nó. Quando a referência for bem-sucedida, o seguinte formato de código aparecerá na aba de configuração do nó: @resource_reference{"Resource Name"}.
O formato de exibição varia conforme o tipo de nó. Por exemplo, um nó PyODPS 2 exibe a referência da seguinte forma: ##@resource_reference{"Resource Name"}.
Caso ainda não tenha criado um nó, consulte Criar um nó de computação para criar um.
Se o seu código PyODPS tiver dependências de terceiros, use uma imagem personalizada para instalá-las no ambiente de execução. Em seguida, execute o código PyODPS nesse ambiente. Para mais detalhes sobre imagens personalizadas, consulte Imagem personalizada.
A figura abaixo demonstra os passos para referenciar um recurso.
Caso de uso 2: Registrar uma função usando um recurso
Antes de registrar uma função com base em um recurso, crie a função. Para mais informações, consulte Criar e usar uma função personalizada. Na página de configuração da função, insira o nome do recurso criado, conforme ilustrado na figura a seguir.
Antes de registrar uma função usando um recurso, certifique-se de que o recurso foi enviado. Para saber como enviar um recurso, consulte Etapa 2: Enviar e implantar o recurso.
Para visualizar as funções integradas incluídas no MaxCompute, consulte Usar funções integradas.
Para verificar funções existentes em um mecanismo de computação do MaxCompute, consultar o histórico de alterações de funções ou executar outras operações relacionadas, consulte Gerenciar funções do MaxCompute.
Gerenciar recursos
Para gerenciar um recurso, clique com o botão direito sobre ele no diretório de recursos dentro do workflow e selecione uma operação:
-
View history: Visualize e compare versões salvas ou enviadas do recurso para identificar alterações entre diferentes versões.
NotaSelecione pelo menos duas versões para comparar.
Delete resource: Esta ação remove o recurso apenas do ambiente de desenvolvimento. Para excluí-lo do ambiente de produção, implante a exclusão. A implantação dessa alteração remove o recurso do ambiente de produção. Para mais informações, consulte Implantar uma tarefa.
Como gerenciar recursos do MaxCompute usando comandos?
A tabela a seguir resume os comandos comuns de gerenciamento de recursos.
Tipo de operação | Função | Função (Role) | Plataforma de operação |
Adiciona um recurso a um projeto do MaxCompute. | Usuário com permissão | Execute estes comandos nas seguintes plataformas: | |
Visualiza os detalhes de um recurso específico. | Usuário com permissão | ||
Lista todos os recursos no projeto atual. | Usuário com permissão | ||
Cria um alias para um recurso existente. | Usuário com permissão | ||
Baixa um recurso de um projeto do MaxCompute para sua máquina local. | Usuário com permissão | ||
Exclui um recurso existente de um projeto do MaxCompute. | Usuário com permissão |
Por exemplo, para listar recursos no DataWorks, use o comando LIST RESOURCES;.
-
Para listar todos os recursos no projeto atual:
Quando executado no Data Studio, este comando consulta por padrão o mecanismo de computação do MaxCompute associado ao ambiente de desenvolvimento.
list resources; -
Para listar todos os recursos em um projeto específico:
Primeiro, mude para o projeto de destino usando o comando
USE.use MaxCompute_project_name; list resources;
Para um guia completo sobre todos os comandos relacionados a recursos, consulte Gerenciar recursos.
Como importar recursos criados fora do DataWorks para gerenciamento na interface?
Use o recurso MaxCompute Resource no DataWorks. Essa funcionalidade permite carregar e gerenciar visualmente recursos criados externamente (por exemplo, via MaxCompute Studio ou linha de comando).
Observe que este método suporta apenas recursos com tamanho de até 500 MB.
Para obter instruções detalhadas sobre como carregar seus recursos, consulte Gerenciar recursos do MaxCompute.