O O&M Assistant permite instalar pacotes de terceiros em um grupo de recursos exclusivo para agendamento, garantindo a execução correta das tarefas dependentes. O DataWorks oferece instalação com um clique para diversos pacotes integrados. Caso os pacotes integrados não atendam às suas necessidades, instale outros pacotes por meio de comandos shell.
Aplicabilidade
Limites de grupos de recursos: Este recurso aplica-se apenas a um exclusive resource group for scheduling. Outros tipos de grupos de recursos, como grupos de recursos exclusivos para integração de dados e grupos de recursos serverless, não oferecem suporte a este recurso.
-
Permissões: Você deve ter a política RAM AliyunDataWorksFullAccess ou ModifyResourceGroup.
Para obter mais informações sobre como conceder permissões, consulte Product and console access control: RAM policies .
Considerações
Um pacote de terceiros instalado em um grupo de recursos exclusivo para agendamento aplica-se a todas as tarefas desse grupo. Conflitos de versão ou problemas de compatibilidade podem afetar todas as tarefas. Selecione e teste os pacotes cuidadosamente antes da instalação.
Cotas e limites
Gerenciamento de comandos: Não é possível modificar comandos de instalação criados. Crie novos comandos ou exclua os existentes.
-
Tipos de tarefa aplicáveis: Pacotes de terceiros Python instalados por este método aplicam-se apenas a nós de tarefa Python, como nós PyODPS 2 e PyODPS 3, que executam neste Resource Group.
Para usar um pacote de terceiros em uma função definida pelo usuário (UDF) Python do MaxCompute, consulte UDF example: Use third-party packages in a Python user-defined function (UDF) .
Suporte a comandos: O método de entrada manual não oferece suporte ao comando
pip.
Acessar o O&M Assistant
Faça login no console do DataWorks. Na região de destino, clique em Resource Group no painel de navegação à esquerda para abrir a lista de grupos de recursos.
Na aba Exclusive Resource Group, localize o grupo de recursos usado para Data Scheduling, clique no ícone
ao lado do Resource Group e selecione O&M Assistant para acessar a página correspondente.
Instalar um pacote de terceiros
Criar um comando de instalação
-
Na página do O&M Assistant, clique em Create Command e escolha um método de instalação.
Instalação rápida
Instale pacotes de terceiros comuns já integrados ao DataWorks.
A tabela a seguir descreve os parâmetros.
Parâmetro
Descrição
Command Name
Nome personalizado para o comando.
Command Type
Selecione Quick Installation.
O DataWorks gera automaticamente um comando de instalação shell com base no pacote selecionado.
Pacote de terceiros integrado
Escolha o pacote e a versão a serem instalados.
O DataWorks oferece suporte a diversos pacotes comuns de Python 2, Python 3 e Yum. Exemplos:
-
Aliyun-python-sdk-core: Biblioteca principal do Alibaba Cloud Python SDK. Fornece funcionalidades básicas para interação com serviços da Alibaba Cloud, como chamadas de API e autenticação.
-
NumPy: Biblioteca fundamental para computação científica e análise de dados. Oferece arrays multidimensionais de alto desempenho e recursos de computação numérica.
-
Pandas: Estruturas de dados e ferramentas de análise de alto desempenho e fáceis de usar, destinadas ao processamento e à análise de dados estruturados.
Para obter a lista completa, consulte a interface do usuário.
Generated Shell Script
O DataWorks gera automaticamente o comando de instalação com base na sua seleção.
Por exemplo, se você selecionar aliyun-python-sdk-core, o sistema gerará o seguinte comando:
pip install aliyun-python-sdk-coreTimeout
Tempo máximo de execução do comando, em segundos. O comando será encerrado caso esse período seja excedido.
Entrada manual
Caso os pacotes integrados não atendam às suas necessidades, instale pacotes de terceiros por meio de comandos.
Parâmetro
Descrição
Command Name
Nome personalizado para o comando.
Command Type
Selecione Manually enter.
Command Content
Insira o comando a ser executado. Exemplo:
yum install -y git.Importante-
O método de entrada manual não oferece suporte ao uso de comandos pip para instalar pacotes de terceiros.
-
Não há garantia de sucesso para comandos inseridos manualmente. Valide o script antecipadamente.
-
Após a instalação de um pacote de terceiros, use um caminho absoluto para referenciar o pacote em um nó do Data Studio.
Installation Directories
Caminhos de diretório acessíveis ao comando. Separe múltiplos caminhos com ponto e vírgula (;). O DataWorks adiciona os diretórios especificados a uma lista de permissões para garantir o acesso.
-
É possível instalar pacotes em um diretório /home/ ou fora dele. Se instalar pacotes em um diretório /home/, armazene-os no caminho /home/admin/usertools/tools/.
-
Caso nenhum diretório seja especificado, o sistema usará o caminho padrão /home/admin/usertools/tools/.
Timeout
Tempo máximo de execução do comando, em segundos. O comando será encerrado caso esse período seja excedido.
-
Clique em Confirm para concluir a configuração do comando.
Executar o comando de instalação
Na página do O&M Assistant, localize o comando e clique em Run command na coluna Operation. O sistema gera um registro de execução para o comando.
Visualizar o resultado da execução
No registro de execução do comando, visualize informações básicas como Run Status e Command Content. Clique em View Result na coluna Operation para visualizar logs e solucionar falhas. Após a instalação, use o pacote nas tarefas de agendamento do grupo de recursos.
Visualizar a configuração do ambiente
Na página do O&M Assistant, clique em View Detailed Environment Configuration no canto superior esquerdo para visualizar a configuração de ambiente do grupo de recursos, incluindo pacotes de terceiros instalados, versões e status.
Usar o pacote de terceiros em uma tarefa
Data Studio (nova versão)
Acessar o Data Studio: Acesse a página de workspaces do DataWorks. Na barra de navegação superior, selecione a região de destino. Localize o workspace desejado e escolha na coluna Operation.
-
Configurar o grupo de recursos: No Data Studio, localize o nó de tarefa no qual deseja testar o pacote de terceiros. No painel à direita, clique em Scheduling Settings.
-
Resource Group: Selecione um grupo de recursos exclusivo para agendamento.
Se o Resource Group de destino não for exibido, verifique se ele está vinculado ao workspace atual. Acesse a página Resource Group , localize o Resource Group desejado e clique em Associate Workspace na coluna Operation .
-
Depurar o nó: No painel Run Configuration à direita, configure Computing Resources, Resource Group e Script Parameters. Em seguida, clique em Run na barra de ferramentas superior.
Publicar o nó: Na barra de ferramentas superior, clique em Publish para implantar o nó no ambiente de produção.
Data Development (versão antiga)
Acessar o Data Development: Faça login no console do DataWorks. Após alternar para a região de destino, escolha no painel de navegação à esquerda. Na lista suspensa, selecione o workspace desejado e clique em Data Analytics.
-
Configurar o grupo de recursos: No Data Development, localize o nó de tarefa no qual deseja testar o pacote de terceiros. No painel à direita, clique em Scheduling Settings.
-
Resource Group for Scheduling: Selecione um grupo de recursos exclusivo para agendamento.
Se o Resource Group de destino não for exibido, verifique se ele está vinculado ao workspace atual. Acesse a página Resource Group , localize o Resource Group desejado e clique em Associate Workspace na coluna Operation .
-
Depurar o nó: Na barra de ferramentas superior, clique em Run with Parameters (
). Configure Resource Group Name e clique em Run.Publicar o nó: Na barra de ferramentas superior, clique em Salve e Envie para implantar o nó no ambiente de produção.
Documentos relacionados
Após a instalação de um pacote de terceiros, as tarefas no grupo de recursos exclusivo para agendamento poderão usá-lo. Para mais informações, consulte os seguintes tópicos: