O recurso de gerenciamento de recursos no Data Studio permite criar e gerenciar recursos e funções para MaxCompute, EMR (incluindo EMR Jar, EMR File e Ray File), CDH e Flink (incluindo Flink Jar, Flink File e Flink Python) para uso em desenvolvimento de dados ou consultas SQL.
Visão geral
O recurso de gerenciamento de recursos no Data Studio possibilita o gerenciamento centralizado de seus recursos e funções. Você pode fazer upload de arquivos do OSS ou do armazenamento local para criar recursos e, em seguida, registrá-los como funções para uso em nós de desenvolvimento de dados. Apenas os recursos e funções criados por meio do módulo de gerenciamento de recursos podem ser administrados nessa interface.
Pré-requisitos
Para criar um recurso fazendo upload de um arquivo do OSS:
Ative o OSS, crie um bucket e armazene nele os arquivos a serem enviados. Como o upload a partir do OSS exige a seleção de um arquivo em um bucket específico, você deve primeiro crie um bucket e armazenar os arquivos relevantes antes de utilizar esse método para criar um recurso. Para mais informações, consulte Simple upload.
Sua conta Alibaba Cloud deve ter as permissões necessárias para acessar o bucket de destino. Grant the required permissions antes de fazer o upload para evitar erros.
Limitações
Tamanho do recurso: O tamanho máximo permitido para upload de um recurso é de 500 MB.
-
Implantação de recursos: Se você utiliza um workspace no modo padrão, implante o recurso no ambiente de produção para torná-lo disponível no projeto de produção.
NotaAs informações da source de dados diferem entre o ambiente de desenvolvimento e o ambiente de produção. Antes de consultar tabelas ou recursos em um ambiente, verifique as informações da source de dados correspondente ao ambiente alvo.
Gerenciamento de recursos: O DataWorks permite visualizar e gerenciar apenas os recursos carregados pela própria plataforma.
Recursos e funções suportados
Recursos
A funcionalidade de gerenciamento de recursos possibilita o upload e a criação de recursos por meio de uma interface visual. Use esses recursos em tarefas de desenvolvimento de dados ou registre-os como UDFs.
Data source | Recurso | Métodos de criação | |
Local | OSS | ||
MaxCompute Python Código Python para registro de uma UDF Python. O arquivo deve possuir a extensão |
|
| |
MaxCompute Jar Pacote JAR Java compilado para execução de programas Java. O arquivo deve possuir a extensão | |||
MaxCompute Archive Apenas arquivos compactados com extensão | |||
MaxCompute File Arquivos de qualquer tipo podem ser carregados como recursos do tipo File. A utilização efetiva depende das capacidades de cada engine. | |||
EMR Jar Pacote JAR Java compilado para execução de programas Java. O arquivo deve possuir a extensão |
|
| |
EMR File Arquivos de qualquer tipo podem ser carregados como recursos do tipo File. A utilização efetiva depende das capacidades de cada engine. | |||
Ray File Arquivo de dependência para nós Serverless Ray, como jobs Python com múltiplos arquivos, arquivos de configuração ou arquivos de dados. Faça referência a ele em um nó utilizando | |||
CDH Jar Pacote JAR Java compilado para execução de programas Java. O arquivo deve possuir a extensão |
|
| |
CDH File Arquivos de qualquer tipo podem ser carregados como recursos do tipo File. A utilização efetiva depende das capacidades de cada engine. | |||
Flink Jar Pacote JAR Java compilado para execução de programas Java. O arquivo deve possuir a extensão |
|
| |
Flink File É possível carregar arquivos de qualquer tipo no Flink. Esses arquivos servem como dependências adicionais ou bibliotecas Python para nós Flink Jar e Flink Python. |
| ||
Flink Python Carregue arquivos Python com extensão |
| ||
Funções
Use os recursos para criar funções para MaxCompute, EMR, CDH e Flink. Essas funções estão disponíveis para uso no Data Studio e em SQL query.
Ponto de entrada
Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace de interesse e escolha na coluna Actions.
No painel de navegação à esquerda, clique em
para acessar a página Resource Management.Na página Resource Management, clique no ícone
para criar um recurso ou função. Alternativamente, clique primeiro em Create Directory para organizar o diretório de gerenciamento de recursos e, depois, clique com o botão direito no diretório desejado e selecione Create para criar o recurso ou função.
Criar e gerenciar recursos e funções
Outras operações
Clonar recursos e funções
Clone itens existentes para criar novos recursos e funções rapidamente.
No painel Resource Management à esquerda, clique com o botão direito no recurso ou função que deseja clonar e selecione Cloning no menu de contexto.
Na caixa de diálogo, modifique o Name e o Path (ou mantenha os valores padrão) e clique em Confirm para iniciar a clonagem.
Após a conclusão da clonagem, visualize o recurso ou função clonado em Resource Management para editar ou modificar outras informações de parâmetros.
Gerenciamento de versões
Use os recursos de visualização e comparação do gerenciamento de versões para analisar diferenças entre versões de recursos ou funções e realizar ajustes.
No painel Resource Management à esquerda, dê um clique duplo no nome do recurso ou função cujo versionamento deseja visualizar e gerenciar para abrir a página de edição correspondente.
-
No lado direito da página de edição do recurso ou função, clique em Version. Na página Version, visualize e gerencie as informações de Developer Record e Publish Record.
-
View uma versão:
Na aba Developer Record ou Publish Record, localize a versão do recurso ou função que deseja visualizar.
Clique em View na coluna Operation para acessar a página de detalhes e visualizar as informações de código do recurso ou função.
-
Compare versões:
Compare diferentes versões de um recurso ou função nas abas Developer Record ou Publish Record. O exemplo a seguir utiliza registros de desenvolvedor para demonstrar a operação de comparação.
Comparação dentro do ambiente de desenvolvimento ou produção: Na aba Developer Record, selecione duas versões e clique em Select Comparison na parte superior para comparar o conteúdo do código e as configurações de agendamento do recurso ou função entre as diferentes versões.
-
Comparação entre os ambientes de desenvolvimento e produção ou build:
Na aba Developer Record, localize a versão desejada do recurso ou função.
Clique em Compare na coluna Operation. Na página de detalhes, selecione uma versão em Publish Record ou Build Records para realizar a comparação.
-
Download uma versão:
O download de versões de arquivos está disponível apenas no Developer Record de arquivos de Resource implantados. Na aba Developer Record, encontre a versão alvo e clique em Download na coluna Operation para baixar o arquivo de recurso para sua máquina local.
-