Todos os produtos
Search

Este produto

    DataWorks:Criar um nó EMR Spark Streaming

    Central de documentação

    DataWorks:Criar um nó EMR Spark Streaming

    Última atualização: Jul 20, 2026

    Os nós EMR Spark Streaming oferecem processamento de alto throughput e tolerante a falhas para fluxos de dados em tempo real, facilitando a recuperação rápida de erros. Crie um nó EMR Spark Streaming e desenvolva uma tarefa de streaming no DataWorks.

    Pré-requisitos

    • Crie e registre um cluster do Alibaba Cloud EMR no DataWorks. Para mais informações, consulte Data Studio (legacy): Register an EMR cluster.

    • (Obrigatório para desenvolvimento com usuário RAM) Adicione o usuário RAM ao workspace do DataWorks como membro e atribua a função Develop ou Workspace Administrator. A função Workspace Administrator concede mais permissões do que o necessário; tenha cautela ao atribuí-la. Para mais informações sobre como adicionar membros, consulte Add members to a workspace.

    • Adquira e configure um grupo de recursos serverless, incluindo a associação a um workspace e as configurações de rede. Para mais informações, consulte Create and use a serverless resource group.

    • Crie um fluxo de trabalho no DataStudio.

      O DataStudio baseia as operações de desenvolvimento em diferentes mecanismos de computação nos fluxos de trabalho. Portanto, crie um fluxo de trabalho antes de criar um nó. Para mais informações, consulte Create a workflow.

    Limites

    • Execute este tipo de tarefa apenas em um serverless resource group (recomendado) ou em um grupo de recursos exclusivo para agendamento.

    • Não utilize nós EMR Spark Streaming para desenvolver tarefas em clusters Spark executados no EMR on ACK.

    Etapa 1: Criar um nó EMR Spark Streaming

    1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

    2. Crie um nó EMR Spark Streaming.

      1. No painel Business Flow, clique com o botão direito no fluxo de trabalho desejado e escolha Create Node > EMR > EMR Spark Streaming.

        Nota

        Alternativamente, passe o mouse sobre o ícone Create e escolha Create Node > EMR > EMR Spark Streaming.

      2. Na caixa de diálogo Create Node, insira um Name e selecione a Engine Instance, o Node Type e o Path. Clique em Confirm para abrir a aba do editor do nó.

        Nota

        Os nomes dos nós podem conter letras maiúsculas, minúsculas, caracteres chineses, dígitos, sublinhados (_) e pontos (.).

    Etapa 2: Desenvolver a tarefa EMR Spark Streaming

    Clique duas vezes no nó criado para abrir sua aba de edição.

    Criar e referenciar um recurso JAR do EMR

    Se utilizar um cluster DataLake, siga estas etapas para referenciar um recurso JAR do EMR.

    Nota

    Caso seu nó EMR Spark Streaming dependa de um recurso muito grande para upload pela página do DataWorks, armazene-o no HDFS e referencie-o no código. Exemplo:

    spark-submit --master yarn
--deploy-mode cluster
--name SparkPi
--driver-memory 4G
--driver-cores 1
--num-executors 5
--executor-memory 4G
--executor-cores 1
--class org.apache.spark.examples.JavaSparkPi
hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

    1. Crie um recurso JAR do EMR. Para mais informações, consulte Create and use EMR resources. Na primeira execução desta operação, clique em Authorize.

    2. Referencie o recurso JAR do EMR.

      1. Abra o nó EMR Spark Streaming criado.

      2. Na árvore de navegação, expanda EMR > Resources, localize o recurso desejado, clique com o botão direito nele e selecione Insert Resource Path.

      3. Uma instrução de referência como ##@resource_reference{""} aparecerá no editor. Substitua os valores de espaço reservado no exemplo abaixo pelas suas informações reais.

        ##@resource_reference{"examples-1.2.0-shaded.jar"}
--master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

    Desenvolver o código da tarefa

    No editor do nó EMR Spark Streaming, insira o código do job a ser executado. Exemplo:

    spark-submit --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>
    Nota

    • Neste exemplo, o recurso carregado no DataWorks é examples-1.2.0-shaded.jar.

    • Substitua access-key-id e access-key-secret pelo AccessKey ID e AccessKey secret da sua conta Alibaba Cloud. Para obtê-los, faça login no console do DataWorks, passe o mouse sobre sua foto de perfil no canto superior direito e acesse a página de gerenciamento de AccessKey.

    • O editor de código para nós EMR Spark Streaming não suporta comentários.

    • Se o workspace estiver vinculado a vários recursos de computação EMR, selecione o apropriado para sua tarefa.

    (Opcional) Configurar parâmetros avançados

    Configure propriedades específicas na aba Advanced Settings do nó. Para mais informações sobre as propriedades disponíveis, consulte Configuração do Spark. A tabela a seguir descreve os parâmetros avançados.

    Datalake: EMR on ECS

    Parâmetro

    Descrição

    queue

    Fila YARN para o job. O valor padrão é default. Para mais informações sobre o YARN no EMR, consulte Basic queue configurations.

    priority

    Prioridade do job. O valor padrão é 1.

    Outros

    Adicione parâmetros SparkConf personalizados nas configurações avançadas. O DataWorks anexa automaticamente esses parâmetros ao comando no momento do envio. Exemplo: "spark.driver.memory" : "2g".

    Nota

    Para ativar o controle de permissão do Ranger, adicione a configuração spark.hadoop.fs.oss.authorization.method=ranger ao set global Spark parameters.

    Para mais informações sobre configurações de parâmetros, consulte Set global Spark parameters.

    Executar a tarefa

    1. Na barra de ferramentas, clique no ícone 高级运行. Na caixa de diálogo Parameter, selecione o grupo de recursos de agendamento criado e clique em Running.

      Nota

      • Para acessar recursos de computação em rede pública ou VPC, utilize um grupo de recursos de agendamento aprovado no teste de conectividade com o recurso de computação. Para mais informações, consulte Network connectivity solutions.

      • Para alterar o grupo de recursos em execuções subsequentes, clique no ícone Run with Parameters 高级运行 e selecione o grupo de recursos desejado.

    2. Clique no ícone 保存 para salvar o código.

    3. (Opcional) Execute testes de fumaça (smoke testing).

      Para realizar testes de fumaça no ambiente de desenvolvimento, execute o teste antes ou depois de enviar (commit) o nó. Para mais informações, consulte Perform smoke testing.

    Etapa 3: Configurar propriedades de agendamento

    Para executar periodicamente uma tarefa no nó, clique em Properties no painel de navegação à direita, na aba de configuração do nó, e defina as propriedades de agendamento conforme seus requisitos de negócio. Para mais informações, consulte Overview.

    Nota

    Configure os parâmetros Rerun e Parent Nodes na aba Properties antes de enviar a tarefa.

    Etapa 4: Implantar a tarefa

    Após configurar uma tarefa em um nó, envie-a e implante-a. O sistema executará a tarefa regularmente com base nas configurações de agendamento definidas.

    1. Clique no ícone 保存 na barra de ferramentas superior para salvar a tarefa.

    2. Clique no ícone 提交 na barra de ferramentas superior para enviar a tarefa.

      Na caixa de diálogo Submit, configure o parâmetro Change description. Em seguida, decida se deseja revisar o código da tarefa após o envio, conforme seus requisitos de negócio.

      Nota

      • Configure os parâmetros Rerun e Parent Nodes na aba Properties antes de enviar a tarefa.

      • Utilize o recurso de revisão de código para garantir a qualidade e evitar erros de execução causados por código inválido. Se ativado, o código enviado só poderá ser implantado após aprovação na revisão. Para mais informações, consulte Code review.

    Em workspaces no modo padrão, implante a tarefa no ambiente de produção após o envio. Para implantar uma tarefa em um nó, clique em Deploy no canto superior direito da aba de configuração do nó. Para mais informações, consulte Deploy a node.

    Mais operações

    Após o envio e a implantação, a tarefa será executada periodicamente conforme as configurações de agendamento. Clique em Operation Center no canto superior direito da aba de configuração do nó correspondente para acessar o Operation Center e visualizar o status de agendamento da tarefa. Para mais informações, consulte Manage scheduled tasks.