O nó Lindorm Ray no DataWorks permite desenvolver e agendar periodicamente tarefas Python com o framework de computação distribuída Ray.
Visão geral
O mecanismo de computação do Lindorm oferece um serviço baseado no framework de computação distribuída Ray. Ele é compatível com as APIs Ray open source e suporta o modelo de programação Python para computação distribuída, machine learning e processamento de dados. Com o nó Lindorm Ray no DataWorks, você escreve código Python, configure comandos de envio do Ray e desenvolve, depura e agenda jobs do Ray periodicamente.
Limitações
Grupos de recursos: Os nós Lindorm Ray executam apenas em grupos de recursos Serverless.
Linguagem: O suporte é restrito a Python.
Execução: Não é possível execute linhas individuais ou blocos de código isolados. Envie o script inteiro para execução.
Pré-requisitos
Crie uma instância do Lindorm e associe-a a um workspace do DataWorks. Para mais informações, consulte Associar um recurso de computação do Lindorm.
Crie um grupo de recursos Ray no console do Lindorm. Para mais informações, consulte Usar um grupo de recursos RAY.
-
(Opcional, obrigatório para contas RAM) Adicione a conta RAM de desenvolvimento ao workspace correspondente e conceda a função Developer ou Workspace Administrator. A função Workspace Administrator possui permissões amplas; atribua-a com cautela. Para instruções sobre como adicionar membros, consulte Adicionar membros ao workspace.
NotaSe você usar uma conta primária, pule esta etapa.
Criar um nó Lindorm Ray
Para instruções sobre como crie um nó, consulte Criar um nó Lindorm Ray.
Desenvolver um nó Lindorm Ray
Escreva o código Python no editor de código e configure o comando de envio do job na área de comando de envio do Ray.
Exemplo 1: Execução direta de código
Exemplo 2: Execução de código com arquivos de recurso
Depurar um nó Lindorm Ray
-
Configure as propriedades de execução.
No painel Run Configuration, no lado direito do nó, configure Compute Resource, Lindorm Resource Group e Resource Group. A tabela a seguir descreve esses parâmetros.
Parâmetro
Descrição
Compute Resource
Selecione o recurso de computação do Lindorm associado.
Lindorm Resource Group
Selecione o grupo de recursos Ray criado no console do Lindorm.
Resource Group
Selecione um grupo de recursos Serverless que tenha passado no teste de conectividade de rede. Nós Lindorm Ray suportam apenas grupos de recursos Serverless.
Parâmetros de script
Se você defina variáveis usando o formato ${Nome do Parâmetro} ao configure o nó, configure Parameter name e Parameter Value na seção Script Parameters. A tarefa substitui dinamicamente as variáveis pelos seus valores em tempo de execução. Para mais informações, consulte Fontes de parâmetros de agendamento e suas expressões.
-
Execute e depure o nó.
Para execute a tarefa do nó, clique em Save e, em seguida, clique em Run.
Próximas etapas
Configure o agendamento do nó: Para execute o nó em uma programação periódica, configure a política de agendamento no painel Scheduling à direita.
Implantar o nó: Para execute a tarefa no ambiente de produção, implante o nó clicando no ícone
. Os nós são executados periodicamente somente após a implantação.