Todos os produtos
Search

Este produto

    DataWorks:Nó ADB Spark

    Central de documentação

    DataWorks:Nó ADB Spark

    Última atualização: Aug 20, 2026

    Utilize um nó ADB Spark no DataWorks para desenvolver, agendar periodicamente e integrar tarefas do AnalyticDB Spark a outros jobs. Este tópico descreve o fluxo de trabalho principal para desenvolver tarefas com um nó ADB Spark.

    Informações básicas

    ADB Spark é um mecanismo de computação dentro do service AnalyticDB, projetado para executar tarefas de processamento de dados Apache Spark em grande escala. Ele oferece suporte a análise de dados em tempo real, consultas complexas e aplicações de machine learning. Com compatibilidade para Java, Scala e Python, simplifica o desenvolvimento e realiza dimensionamento automático para otimizar desempenho e custos. Configure as tarefas enviando os arquivos Jar ou .py relevantes. O ADB Spark é ideal para diversos setores que precisam processar grandes volumes de dados com eficiência e obter insights em tempo real, ajudando empresas a extrair informações valiosas para impulsionar o crescimento dos negócios.

    Pré-requisitos

    Pré-requisitos do AnalyticDB for MySQL:

    • Crie um cluster AnalyticDB for MySQL Basic Edition na mesma região do seu workspace do DataWorks. Para mais informações, consulte Create a cluster.

    • Configure um grupo de recursos de job no seu cluster AnalyticDB for MySQL. Para mais informações, consulte Create a job resource group.

      Nota

      Ao usar o DataWorks para desenvolver aplicações Spark, é obrigatório criar um grupo de recursos de job.

    • Caso utilize o OSS para armazenamento, garanta que o bucket do OSS esteja na mesma região do seu cluster AnalyticDB for MySQL.

    Pré-requisitos do DataWorks:

    • Tenha um workspace com a opção Use Data Studio (New Version) selecionada e um grupo de recursos anexado. Para mais informações, consulte Create a workspace.

    • O grupo de recursos deve estar na mesma VPC do cluster AnalyticDB for MySQL, e você deve adicionar o IP addresses of the resource group à lista de permissões do cluster AnalyticDB for MySQL. Para mais informações, consulte Configure a whitelist.

    • Adicione sua instância de cluster AnalyticDB for MySQL ao DataWorks como mecanismo de computação. O tipo de mecanismo de computação deve ser AnalyticDB for Spark. O DataWorks testa a conectividade do mecanismo de computação usando o grupo de recursos. Para mais informações, consulte Bind a compute engine.

    • Crie uma pasta de workflow. Para mais informações, consulte Workflow folder.

    • Crie um nó ADB Spark. Para mais informações, consulte Create a node for a workflow.

    Etapa 1: Desenvolver o nó ADB Spark

    No editor do nó ADB Spark, configure o conteúdo do nó com base no tipo de Language selecionado, utilizando o pacote de exemplo spark-examples_2.12-3.2.0.jar ou o arquivo spark_oss.py. Para mais detalhes sobre como desenvolver o conteúdo do nó, consulte Develop a Spark application by using the spark-submit command-line tool.

    Java e Scala

    Preparar o arquivo JAR

    Envie o pacote JAR de exemplo para o OSS. O nó exige esse pacote para executar a tarefa.

    1. Prepare o pacote JAR de exemplo.

      Baixe o pacote JAR de exemplo spark-examples_2.12-3.2.0.jar para uso no nó ADB Spark.

    2. Envie o código de exemplo para o OSS.

      1. Faça login no OSS console. No painel de navegação à esquerda, clique em Buckets.

      2. Na página Buckets, clique em Create Bucket. No painel Create Bucket, crie um bucket na mesma região do seu cluster AnalyticDB for MySQL.

        Nota

        Este tópico utiliza um bucket chamado dw-1127 como exemplo.

      3. Crie um diretório de armazenamento externo.

        Após a criação, clique em Go to Bucket. Na página Files, clique em Create Directory e defina o Catalog Name como db_home.

      4. Envie o arquivo de código de exemplo spark-examples_2.12-3.2.0.jar para o diretório db_home. Para mais informações, consulte Upload objects.

    Configurar o nó ADB Spark

    Configure o conteúdo do nó ADB Spark seguindo as descrições de parâmetros abaixo.

    Language

    Parameter

    Description

    Java/Scala

    Main JAR Resource

    Caminho do OSS para o pacote JAR. Exemplo: oss://dw-1127/db_home/spark-examples_2.12-3.2.0.jar.

    Main Class

    Classe principal no seu pacote JAR compilado. No código de exemplo, o nome da classe principal é org.apache.spark.examples.SparkPi.

    Parameter

    Argumentos a serem passados para o seu código. É possível configurar este campo com parâmetros dinâmicos no formato ${var}.

    Nota

    Neste exemplo, o parâmetro dinâmico ${var} pode ser definido como 1000.

    Configuration Item

    Parâmetros de tempo de execução para o programa Spark. Para mais informações, consulte Spark application configuration parameters. Exemplo:

    spark.driver.resourceSpec:medium

    Python

    Preparar o arquivo Python e os dados

    Siga estas etapas para enviar o arquivo de dados de teste e o código de exemplo para o OSS. Isso permite que o código de exemplo na configuração do nó leia o arquivo de dados de teste.

    1. Prepare os dados de teste.

      Crie um arquivo chamado data.txt e adicione o seguinte conteúdo.

      Hello,Dataworks
Hello,OSS

    2. Escreva o código de exemplo.

      Crie um arquivo chamado spark_oss.py e adicione o seguinte conteúdo ao arquivo spark_oss.py.

      import sys

from pyspark.sql import SparkSession

# Initialize Spark.
spark = SparkSession.builder.appName('OSS Example').getOrCreate()
# Read the specified file. The file path is specified by the value of the argument passed to the job.
textFile = spark.sparkContext.textFile(sys.argv[1])
# Calculate and print the number of lines in the file.
print("File total lines: " + str(textFile.count()))
# Print the first line of the file.
print("First line is: " + textFile.first())

    3. Envie os dados de teste e o código de exemplo para o OSS.

      1. Faça login no OSS console. No painel de navegação à esquerda, clique em Buckets.

      2. Na página Buckets, clique em Create Bucket. No painel Create Bucket, crie um bucket na mesma região do seu cluster AnalyticDB for MySQL.

        Nota

        Este tópico utiliza um bucket chamado dw-1127 como exemplo.

      3. Crie um diretório de armazenamento externo.

        Após a criação, clique em Enter Bucket. Na página Files, clique em Create Directory e defina o Catalog Name como db_home.

      4. Envie o arquivo de dados de teste data.txt e o arquivo de código de exemplo spark_oss.py para o diretório db_home. Para mais informações, consulte Upload objects.

    Configurar o nó ADB Spark

    Configure o conteúdo do nó ADB Spark seguindo as descrições de parâmetros abaixo.

    Language

    Parameter

    Description

    Python

    Main Package

    Caminho para o arquivo de código de exemplo. Exemplo: oss://dw-1127/db_home/spark_oss.py.

    Parameter

    Argumentos a serem passados para o seu código. Para este exemplo, use o caminho de armazenamento do arquivo de dados de teste. Exemplo: oss://dw-1127/db_home/data.txt.

    Configuration Item

    Parâmetros de tempo de execução para o programa Spark. Para mais informações, consulte Spark application configuration parameters. Exemplo:

    spark.driver.resourceSpec:medium

    Etapa 2: Depurar o nó ADB Spark

    1. Configure as propriedades de depuração para o nó ADB Spark.

      No painel Run Configuration, no lado direito do editor de nós, configure os parâmetros Compute Resource, ADB Computing Resource Group, Resource Group e Compute Units.

      Parameter type

      Parameter

      Description

      Compute Resource

      Compute Resource

      Selecione o mecanismo de computação AnalyticDB for Spark anexado.

      ADB Computing Resource Group

      Selecione o grupo de recursos de job criado no cluster AnalyticDB for MySQL. Para mais informações, consulte Resource group overview.

      Resource Group

      Resource Group

      Selecione o grupo de recursos aprovado no teste de conectividade ao anexar o mecanismo de computação.

      Compute Units

      Este nó utiliza o número padrão de CUs. Não é necessário modificar este valor.

    2. Depure e execute o nó ADB Spark.

      Para executar a tarefa do nó, clique em Save e depois em Run.

    Etapa 3: Agendar o nó ADB Spark

    1. Configure as propriedades de agendamento para o nó ADB Spark.

      Para executar a tarefa do nó periodicamente, abra o painel Scheduling Settings no lado direito do editor de nós. Na seção Scheduling Policy, configure os seguintes parâmetros conforme necessário. Para mais informações sobre outros parâmetros, consulte Configure scheduling for a node.

      Parameter

      Description

      Compute Resource

      Selecione o mecanismo de computação AnalyticDB for Spark anexado.

      ADB Computing Resource Group

      Selecione o grupo de recursos de job criado no cluster AnalyticDB for MySQL. Para mais informações, consulte Resource group overview.

      Resource Group

      Selecione o grupo de recursos aprovado no teste de conectividade ao anexar o mecanismo de computação.

      Compute Units

      Este nó utiliza o número padrão de CUs. Não é necessário modificar este valor.

    2. Publique o nó ADB Spark.

      Após configurar a tarefa do nó, publique-o. Para mais informações, consulte Publish a node or workflow.

    Próximas etapas

    Após publicar a tarefa, visualize seu status de execução no Operation Center. Para mais informações, consulte Getting started with Operation Center.