DataWorks:Serverless Ray node

Introdução

O EMR Serverless Ray oferece computação Ray gerenciada sobre workspaces Spark. É compatível com as APIs Ray de código aberto e suporta o modelo de programação Python para computação distribuída, machine learning e processamento de dados. Com os nós Serverless Ray, você escreve código Python online e configure o comando ray job submit para desenvolver, depurar e agendar seus jobs.

Limitações

• Recursos de computação: Selecione apenas um recurso de computação do EMR Serverless Ray vinculado. O grupo de recursos serverless também precisa ter conectividade de rede com o recurso de computação.

• Linguagem: Apenas a linguagem Python é suportada.

• Execução: Envie o script inteiro para execução. Não há suporte para execução de linhas individuais ou blocos de código isolados.

Pré-requisitos

• Vincule um recurso de computação do EMR Serverless Ray ao workspace DataWorks de destino e verifique se o cluster Ray está disponível.

• (Opcional) Caso utilize um usuário RAM para desenvolver tarefas, adicione-o ao workspace e conceda a função Developer ou Workspace Administrator. A função Workspace Administrator possui permissões amplas; portanto, conceda-a com cautela. Para mais informações sobre como adicionar um membro, consulte Adicionar um membro a um workspace.

  Nota

  Se estiver usando uma conta raiz, pule esta etapa.

Criar um nó Serverless Ray

Crie um nó Serverless Ray da mesma forma que outros tipos de nó no Data Studio. Para mais informações, consulte Nós.

Desenvolver um nó Serverless Ray

Para desenvolver um nó Serverless Ray, escreva o código Python no editor de código e configure o comando de envio de job na seção Submit Command. Ao criar um arquivo, o sistema gera automaticamente um comando de envio cujo nome corresponde ao nome do nó com a extensão .py.

import ray
import random
import time
import sys

ray.init()

@ray.remote
def compute_points_in_circle(num_points: int) -> int:
    inside = 0
    for _ in range(num_points):
        x = random.uniform(0, 1)
        y = random.uniform(0, 1)
        if x * x + y * y <= 1:
            inside += 1
    return inside

def estimate_pi(total_points: int, num_workers: int = 4) -> float:
    start_time = time.time()
    points_per_worker = total_points // num_workers
    tasks = [compute_points_in_circle.remote(points_per_worker) for _ in range(num_workers)]
    results = ray.get(tasks)
    total_inside = sum(results)
    pi_estimate = 4.0 * total_inside / total_points
    print(f"Estimated π: {pi_estimate:.10f}, seconds: {time.time() - start_time:.4f}")
    return pi_estimate

if __name__ == "__main__":
    estimate_pi(total_points=int(sys.argv[1]), num_workers=4)
    ray.shutdown()

Caso seu job dependa de vários arquivos Python, crie os arquivos de dependência como recursos Ray File do DataWorks, referencie-os no código usando ##@resource_reference e organize o comando ray job submit com --working-dir apontando para o diretório de trabalho. Para mais informações sobre a criação de recursos, consulte Criar um recurso do EMR.

Depurar um nó Serverless Ray

1. Configure as definições de execução.

   No painel Run Configuration, no lado direito do nó, configure os seguintes parâmetros.

   Parâmetro	Descrição
   Compute Resource	Selecione o recurso de computação Serverless Ray associado.
   Resource Group	Escolha um grupo de recursos serverless aprovado no teste de conectividade de rede. Os nós Serverless Ray suportam apenas grupos de recursos serverless.
   Script Parameters	Durante a configuração do conteúdo do nó, defina variáveis usando ${nome do parâmetro}. Preencha a seção Script Parameters com o Parameter name e o Parameter Value. Esses valores são substituídos dinamicamente pelos valores reais durante a execução. Para mais informações, consulte Configurar parâmetros de agendamento.

2. Depure e execute o nó.

   Clique em Save e, em seguida, clique em Run para depurar o nó.

Próximas etapas

• Configurar definições de agendamento: Para agendar periodicamente os nós no diretório do projeto, configure a Scheduling Policy e as propriedades relacionadas no painel Scheduling Settings, localizado à direita do nó.

• Implantar um nó: Para implantar a tarefa no ambiente de produção, clique em ícone na página para iniciar o processo de implantação. Os nós no diretório do projeto só serão agendados periodicamente após a implantação no ambiente de produção.

Referência

Para detalhes sobre como referenciar recursos Ray File, consulte Referenciar um recurso Ray File.