O recurso de gerenciamento de recursos do Data Studio permite criar e gerenciar recursos e funções para MaxCompute, EMR (incluindo EMR Jar, EMR File e Ray File), CDH e Flink (incluindo Flink Jar, Flink File e Flink Python) para uso no desenvolvimento de dados ou em consultas SQL.
Visão geral
O gerenciamento de recursos do Data Studio permite administrar recursos e funções de forma centralizada. Você pode carregar arquivos do OSS ou do armazenamento local para criar recursos e, em seguida, registrá-los como funções para uso em nós de desenvolvimento de dados. Apenas os recursos e funções criados pelo módulo de gerenciamento de recursos podem ser administrados nessa interface.
Pré-requisitos
Para criar um recurso carregando um arquivo do OSS:
Ative o OSS, crie um bucket e armazene nele os arquivos a serem carregados. Como o carregamento a partir do OSS exige a seleção de um arquivo em um bucket específico, você deve primeiro criar um bucket e armazenar os arquivos relevantes antes de usar esse método para criar um recurso. Para mais informações, consulte Upload simples.
Sua conta Alibaba Cloud precisa ter as permissões necessárias para acessar o bucket de destino. Conceda as permissões necessárias antes de carregar os arquivos para evitar erros.
Limitações
Tamanho do recurso: O tamanho máximo permitido para carregar um recurso é de 500 MB.
-
Implantação de recursos: Se você utiliza um workspace no modo padrão, deve implantar o recurso no ambiente de produção para torná-lo disponível no projeto de produção.
NotaAs informações da fonte de dados diferem entre os ambientes de desenvolvimento e produção. Antes de consultar tabelas ou recursos, verifique as informações da fonte de dados do ambiente de destino.
Gerenciamento de recursos: O DataWorks permite visualizar e gerenciar apenas os recursos carregados pela própria plataforma.
Recursos e funções suportados
Recursos
O recurso de gerenciamento de recursos permite carregar e criar recursos por meio de uma interface visual. Você pode utilizar esses recursos em tarefas de desenvolvimento de dados ou registrá-los como UDFs.
Data source | Resource | Creation methods | |
Local | OSS | ||
MaxCompute Python Código Python para registrar uma UDF Python. O arquivo deve ter a extensão |
|
| |
MaxCompute Jar Pacote JAR Java compilado para executar um programa Java. O arquivo deve ter a extensão | |||
MaxCompute Archive Apenas arquivos compactados com extensão | |||
MaxCompute File Você pode carregar arquivos de qualquer tipo como recursos do tipo File. O uso real depende das capacidades de cada mecanismo. | |||
EMR Jar Pacote JAR Java compilado para executar um programa Java. O arquivo deve ter a extensão |
|
| |
EMR File Você pode carregar arquivos de qualquer tipo como recursos do tipo File. O uso real depende das capacidades de cada mecanismo. | |||
Ray File Arquivo de dependência para nós Serverless Ray, como jobs Python com múltiplos arquivos, arquivos de configuração ou arquivos de dados. Referencie-o em um nó utilizando | |||
CDH Jar Pacote JAR Java compilado para executar um programa Java. O arquivo deve ter a extensão |
|
| |
CDH File Você pode carregar arquivos de qualquer tipo como recursos do tipo File. O uso real depende das capacidades de cada mecanismo. | |||
Flink Jar Pacote JAR Java compilado para executar um programa Java. O arquivo deve ter a extensão |
|
| |
Flink File Você pode carregar arquivos de qualquer tipo para o Flink. Esses arquivos podem ser usados como arquivos de dependência adicionais ou bibliotecas Python para nós Flink Jar e Flink Python. |
| ||
Flink Python Você pode carregar arquivos Python com extensão |
| ||
Funções
Os recursos permitem criar funções para MaxCompute, EMR, CDH e Flink. Essas funções podem ser utilizadas no Data Studio e em SQL query.
Ponto de entrada
Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace de interesse e escolha na coluna Actions.
No painel de navegação à esquerda, clique em
para acessar a página Resource Management.Na página Resource Management, clique no ícone
para criar um recurso ou função. Alternativamente, clique primeiro em Create Directory para organizar o diretório de gerenciamento de recursos e, em seguida, clique com o botão direito no diretório desejado e selecione Create para criar um recurso ou função.
Criar e gerenciar recursos e funções
Outras operações
Clonar recursos e funções
A clonagem de itens existentes permite criar recursos e funções rapidamente.
No painel Resource Management à esquerda, clique com o botão direito no recurso ou função que deseja clonar e selecione Cloning no menu de contexto.
Na caixa de diálogo, modifique o Name e o Path (ou mantenha os valores padrão) e clique em Confirm para iniciar a clonagem.
Após a conclusão da clonagem, visualize o recurso ou função clonado em Resource Management e edite ou modifique outras informações de parâmetros conforme necessário.
Gerenciamento de versões
Utilize os recursos de visualização e comparação do gerenciamento de versões para analisar rapidamente as diferenças entre versões de recursos ou funções e realizar ajustes.
No painel Resource Management à esquerda, clique duas vezes no nome do recurso ou função cujas versões deseja visualizar e gerenciar para abrir a página de edição correspondente.
-
No lado direito da página de edição do recurso ou função, clique em Version. Na página Version, visualize e gerencie as informações de Developer Record e Publish Record.
-
View uma versão:
Na aba Developer Record ou Publish Record, localize a versão do recurso ou função que deseja visualizar.
Clique em View na coluna Operation para acessar a página de detalhes e visualizar as informações de código do recurso ou função.
-
Compare versões:
Na aba Developer Record ou Publish Record, é possível comparar diferentes versões de um recurso ou função. O exemplo a seguir utiliza registros de desenvolvedor para demonstrar a operação de comparação.
Comparação dentro do ambiente de desenvolvimento ou produção: Na aba Developer Record, selecione duas versões e clique em Select Comparison na parte superior para comparar o conteúdo do código e as configurações de agendamento do recurso ou função entre as diferentes versões.
-
Comparação entre os ambientes de desenvolvimento e produção ou build:
Na aba Developer Record, localize a versão desejada do recurso ou função.
Clique em Compare na coluna Operation. Na página de detalhes, selecione uma versão em Publish Record ou Build Records para realizar a comparação.
-
Download uma versão:
O download de versões de arquivos está disponível apenas no Developer Record de arquivos de Resource implantados. Na aba Developer Record, localize a versão alvo e clique em Download na coluna Operation para baixar o arquivo do recurso para sua máquina local.
-