Se o seu código ou função precisar usar um recurso do MaxCompute, crie ou faça o upload do recurso antes. Crie ou faça o upload de recursos por meio de MaxCompute SQL commands ou da interface visual do DataWorks e, em seguida, referencie-os em nós e registre funções.
Visão geral
Os resources do MaxCompute viabilizam jobs de user-defined functions (UDFs) ou MapReduce. O DataWorks permite fazer upload de pacotes de recursos locais ou do OSS, ou criar recursos diretamente. A tabela a seguir lista os tipos de recursos compatíveis.
Tipo de recurso | Descrição | Métodos de criação |
Python | Código Python para registrar UDFs Python. Extensão: .py. | Criar no editor online |
JAR | Pacote Java Archive compilado para executar programas Java. Extensão: .jar. |
|
Archive | Arquivos compactados nos formatos .zip, .tgz, .tar.gz e .tar. A extensão identifica o tipo de compactação. |
|
File | Compatível com arquivos .zip, .so e .jar. |
|
Gerenciamento de recursos: Manage resources , Manage resources by using commands e Add external resources to DataWorks for management .
Limites
-
Tamanho do recurso
Edição online: até 10 MB para recursos Python e 500 KB para recursos de arquivo.
Upload local: até 500 MB.
Upload via OSS: até 500 MB.
-
Implantação de recursos
Em workspaces no modo padrão, implante o recurso no ambiente de produção para que as alterações entrem em vigor.
NotaOs ambientes de desenvolvimento e produção usam engines de computação diferentes. Verifique a engine de computação de cada ambiente antes de consultar tabelas ou recursos. Data Studio (legacy version): Associate a MaxCompute compute engine.
-
Gerenciamento de recursos
O DataWorks exibe apenas os recursos carregados por meio de sua interface visual. Recursos adicionados por outras ferramentas (como o MaxCompute Studio) precisam ser carregados manualmente usando o recurso MaxCompute Resources. Após o carregamento, é possível visualizar e gerenciar o recurso no DataWorks. Manage MaxCompute resources.
Faturamento
O DataWorks não cobra pela criação ou upload de recursos. O MaxCompute cobra pelo armazenamento de recursos. Storage pricing.
Pré-requisitos
Você associou uma engine de computação do MaxCompute para tarefas de desenvolvimento.
-
(Opcional) Para fazer upload de um recurso a partir do OSS:
O OSS está ativado, um bucket foi criado e o arquivo foi carregado. Ao fazer upload a partir do OSS, selecione um arquivo de um bucket específico. Consulte Create a bucket e Upload objects.
A conta da Alibaba Cloud tem as permissões necessárias para acessar o bucket de destino. Para evitar erros de permissão, conceda as permissões à conta com antecedência. Access control overview.
Acessar a página de criação de recursos
-
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
-
Na página Data Studio, clique com o botão direito do mouse no workflow de destino, selecione Create Resource e, em seguida, selecione um tipo de recurso no diretório MaxCompute.
NotaSe nenhum workflow estiver disponível, Create a workflow.
Etapa 1: Criar ou fazer upload de um recurso
Faça upload de pacotes de recursos locais ou do OSS para o DataWorks. Por exemplo, empacote e faça o upload de uma UDF desenvolvida localmente antes de registrá-la como função. Recursos Python e recursos de arquivo (até 500 KB) também podem ser criados diretamente.
Ao criar ou fazer upload de um recurso:
Se o recurso ainda não foi enviado ao MaxCompute, selecione Upload to MaxCompute. Se o recurso já existe no MaxCompute, desmarque Upload to MaxCompute. Caso contrário, o upload falhará.
Ao marcar Upload to MaxCompute, o recurso é armazenado tanto no DataWorks quanto no MaxCompute. Excluir o recurso do MaxCompute via comando não o remove do DataWorks.
O nome do recurso não precisa coincidir com o nome do arquivo carregado.
Online editor
Configure o recurso conforme necessário.
Para recursos Python com mais de 10 MB ou recursos de arquivo com mais de 500 KB, use o Método 2: Upload de recurso local ou o Método 3: Upload de recurso do OSS.
Para um tutorial, consulte Analyze IP address origins by using a MaxCompute UDF.
Ao criar um recurso Python ou um recurso File, configure os seguintes campos:
Engine type: Selecione MaxCompute.
Engine instance: Selecione a instância de engine de destino.
Path: Selecione o caminho do fluxo de negócios para armazenar o recurso.
Upload to ODPS: Quando selecionado, o recurso é enviado ao MaxCompute de forma síncrona.
Name: Insira o nome do recurso. Para recursos Python, o nome do arquivo deve incluir a extensão
.py.
Para recursos File, configure também o campo File source, que pode ser definido como Local, OSS (one-click authorization) ou Online editor.
Local resource
Configure o recurso conforme necessário.
Na caixa de diálogo Create resource, preencha os seguintes campos de acordo com o tipo de recurso (JAR, Archive ou File):
Engine type: Selecione MaxCompute.
Engine instance: Selecione a instância de engine de destino.
Resource type: Selecione JAR, Archive ou File.
Path: Selecione o caminho de armazenamento do recurso.
Upload to ODPS: Quando selecionado, o recurso é enviado ao MaxCompute de forma síncrona.
File source: Selecione Local ou OSS (one-click authorization). O tipo File também é compatível com Online editor.
Upload file: Clique em Click to upload para fazer upload de um arquivo local.
Name: Insira o nome do recurso. O tipo JAR exige a extensão
.jar. O tipo Archive exige as extensões.zip,.tgz,.tar.gzou.tar.
OSS resource
Configure o recurso conforme necessário.
Este método permite fazer upload de recursos de até 500 MB.
A conta da Alibaba Cloud usada para o upload precisa ter a política AliyunDataWorksAccessingOSSRole concedida. Siga as instruções na tela para conceder a permissão com um único clique.
Etapa 2: Enviar e implantar
Após criar o recurso, clique no ícone 
na barra de ferramentas para enviá-lo ao servidor de agendamento no ambiente de desenvolvimento.
Para usar esse recurso em produção, implante-o no ambiente de produção. Deploy tasks.
Etapa 3: Usar o recurso
Use in a node
Referencie o recurso no nó correspondente. Uma referência bem-sucedida adiciona uma linha como @resource_reference{"Resource Name"} à configuração do nó. O formato varia conforme o tipo de nó. Por exemplo, nós PyODPS 2 usam ##@resource_reference{"Resource Name"}.
Se nenhum nó existir, Create a compute node.
Se o seu código PyODPS depender de pacotes de terceiros, use uma imagem personalizada para instalá-los no ambiente de execução. Custom images.
Referencie um recurso conforme descrito abaixo.
Na interface do DataWorks Data Studio, siga estas etapas para referenciar um recurso:
Clique duas vezes no nó PyODPS de destino para abri-lo.
No diretório Resource à esquerda, clique com o botão direito do mouse no arquivo de recurso de destino (por exemplo,
pyodps_packagetest.py) e selecione Reference resource no menu de contexto.O editor de código gera automaticamente
##@resource_reference{"pyodps_packagetest.py"}no início do arquivo, indicando que a referência foi criada com sucesso. Em seguida, chame os métodos do recurso usandoimport.
Register a function
Para registrar uma função, primeiro Create and use a custom function. Na página de configuração da função, insira o nome do recurso.
O recurso precisa ser enviado antes de registrar uma função. Step 2: Submit and deploy.
No formulário Register function, defina o campo Resource list com o nome do recurso carregado (por exemplo, xc_ip2region.jar) e configure os campos Class name (por exemplo, org.alidata.odps.udf.Ip2Region) e Command format (por exemplo, getregion('ip')).
Funções nativas do MaxCompute: Use built-in functions.
Para visualizar funções em uma engine de computação, gerenciar o histórico de funções ou executar outras operações de gerenciamento: Manage MaxCompute functions.
Gerenciar recursos
No diretório de recursos de um workflow, clique com o botão direito do mouse no recurso de destino para realizar operações de gerenciamento:
-
View History: Visualize e compare versões salvas ou enviadas para acompanhar as alterações.
NotaPara comparar versões, selecione pelo menos duas versões.
Delete: Exclui o recurso somente do ambiente de desenvolvimento. Implante essa alteração para removê-lo da produção; o recurso é removido do ambiente de produção após uma implantação bem-sucedida. Deploy tasks.
Apêndice 1: Gerenciar recursos com comandos
A tabela a seguir descreve os comandos mais comuns para operações com recursos.
Operação | Descrição | Função | Plataforma |
Adiciona um recurso a um projeto do MaxCompute. | Usuários com a permissão | Execute estes comandos nas seguintes plataformas: | |
Exibe os detalhes de um recurso. | Usuários com a permissão | ||
Lista todos os recursos do projeto atual. | Usuários com a permissão | ||
Cria um alias para um recurso. | Usuários com a permissão | ||
Baixa um recurso de um projeto do MaxCompute para a máquina local. | Usuários com a permissão | ||
Exclui um recurso existente de um projeto do MaxCompute. | Usuários com a permissão |
Se nenhum nome de projeto for especificado, os comandos operam no projeto atual. Exemplos:
-
Listar todos os recursos do projeto atual. No Data Studio, essa consulta opera na engine de computação do ambiente de desenvolvimento por padrão.
list resources; -
Listar recursos de um projeto específico:
use <MaxCompute_project_name>; list resources;
Referência completa de comandos: Resource operations.
Apêndice 2: Adicionar recursos externos ao DataWorks
Use o recurso MaxCompute Resource para carregar recursos do MaxCompute (até 500 MB) no DataWorks para gerenciamento visual. Manage MaxCompute resources.