:Guia de configuração de aplicações Spark

Precauções

O Enterprise Edition, Basic Edition e Data Lakehouse Edition está atualmente em versão canary. Para solicitar um teste do Enterprise Edition, Basic Edition e Data Lakehouse Edition, Envie um ticket.

Aplicações em lote

O Spark suporta aplicações batch, streaming e SQL. A execução de uma aplicação batch exige os pacotes JAR ou arquivos Python que contêm a classe de entrada. Dependendo dos requisitos do seu negócio, também podem ser necessários pacotes JAR adicionais para a aplicação, sandboxes Python e parâmetros da classe de entrada.

Escreva uma aplicação Spark em lote no AnalyticDB for MySQL usando parâmetros de linha de comando semelhantes aos da ferramenta spark-submit.

Exemplo de configuração de aplicação em lote

 {
  "args": ["oss://${testBucketName}/data/test/test.csv"],
  "name": "spark-oss-test",
  "file": "oss://${testBucketName/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.SparkReadOss",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.adb.connectors": "oss"
  }
}

Aplicações SQL

O AnalyticDB for MySQL permite enviar aplicações Spark SQL diretamente pelo console, sem precisar empacotar instruções em um arquivo JAR ou escrever código Python. Isso facilita a análise de dados com Spark pelos desenvolvedores. Ao enviar uma aplicação Spark SQL, defina o tipo de aplicação como SQL.

Exemplo de configuração de aplicação SQL

-- Here is just an example of SparkSQL. Modify the content and run your spark program.

conf spark.driver.resourceSpec=medium;
conf spark.executor.instances=2;
conf spark.executor.resourceSpec=medium;
conf spark.app.name=Spark SQL Test;
conf spark.adb.connectors=oss;

-- Here are your sql statements
show databases;

Tipos de instrução suportados pelo Spark SQL

Edite as instruções SQL no editor Spark. Cada instrução individual deve terminar com ponto e vírgula (;).

Alternar o serviço de metadados

Descrição dos parâmetros conf

Os parâmetros de configuração do Spark no AnalyticDB for MySQL assemelham-se aos do Apache Spark. As tabelas a seguir detalham os parâmetros do AnalyticDB for MySQL que diferem do Apache Spark e aqueles exclusivos do AnalyticDB for MySQL.

• Recursos especificados para driver e executor

  Importante

  O uso dos parâmetros descritos na tabela a seguir difere do Apache Spark.

  Defina os parâmetros spark.driver.resourceSpec e spark.executor.resourceSpec com o mesmo valor.

  Parâmetro	Descrição	Parâmetro correspondente no Apache Spark
  spark.driver.resourceSpec	Especificações de recurso do driver Spark. Cada tipo corresponde a uma especificação distinta. Para mais informações, veja a coluna Tipo na seção "Especificações de recursos do Spark" deste tópico. Exemplo: CONF spark.driver.resourceSpec = c.small;. Neste exemplo, o driver Spark utiliza 1 núcleo e 2 GB de memória.	spark.driver.cores e spark.driver.memory
  spark.executor.resourceSpec	Especificações de recurso de cada executor Spark. Cada tipo corresponde a uma especificação distinta. Consulte a coluna Tipo na seção "Especificações de recursos do Spark" deste tópico. Exemplo: CONF spark.executor.resourceSpec = c.small;. Aqui, cada executor Spark ocupa 1 núcleo e 2 GB de memória.	spark.executor.cores e spark.executor.memory

• Spark UI

  Parâmetro	Valor padrão	Descrição
  spark.app.log.rootPath	Nenhum	Diretório onde os logs de eventos da Spark UI e os logs gerados pelas aplicações Spark do AnalyticDB for MySQL são armazenados. Especifique manualmente um caminho do OSS para este parâmetro. Caso contrário, não será possível acessar a Spark UI nem visualizar os logs da aplicação.

• Operações e manutenção de usuários RAM

  Parâmetro	Valor padrão	Descrição
  spark.adb.roleArn	Nenhum	Alibaba Cloud Resource Name (ARN) da função do Resource Access Management (RAM) com permissões para enviar aplicações Spark no Console RAM. Para mais informações, consulte Visão geral. Este parâmetro só é necessário ao enviar aplicações Spark como usuário RAM.

• Conectores de fonte de dados integrados no Spark do AnalyticDB for MySQL

  Parâmetro	Valor padrão	Descrição
  spark.adb.connectors	Nenhum	Nomes dos conectores integrados no Spark do AnalyticDB for MySQL. Separe os nomes dos conectores com vírgulas (,). Valores válidos: OSS, hbase1.x e tablestore.
  spark.hadoop.io.compression.codec.snappy.native	false	Indica se um arquivo Snappy está no formato Snappy padrão. Por padrão, o Hadoop reconhece arquivos Snappy editados nele. Se definido como true, usa-se a biblioteca Snappy padrão para descompressão; caso contrário, utiliza-se a biblioteca Snappy padrão do Hadoop.

• Acesso VPC e conexão à fonte de dados

  Parâmetro	Valor padrão	Descrição
  spark.adb.eni.vswitchId	Nenhum	ID do vSwitch associado a uma interface de rede elástica (ENI), usado para acessar uma Virtual Private Cloud (VPC). Se sua instância do Elastic Compute Service (ECS) consegue acessar a fonte de dados de destino, defina este parâmetro como o ID do vSwitch ao qual a instância ECS está conectada.
  spark.adb.eni.securityGroupId	Nenhum	ID do grupo de segurança associado a uma ENI, utilizado para acesso à VPC. Caso sua instância ECS tenha acesso à fonte de dados desejada, configure este parâmetro com o ID do grupo de segurança ao qual ela pertence.
  spark.adb.eni.extraHosts	Nenhum	Mapeamentos entre endereços IP e hostnames, permitindo que o Spark resolva os hostnames das fontes de dados. Obrigatório ao conectar-se a uma fonte de dados Hive autogerenciada. Nota Separe endereços IP e hostnames com espaços. Separe múltiplos grupos de IPs e hostnames com vírgulas (,). Exemplo: "ip0 master0, ip1 master1".

• Conexão do Spark SQL aos metadados do AnalyticDB for MySQL

  Parâmetro	Valor padrão	Descrição
  spark.sql.hive.metastore.version	Nenhum	Versão do Hive metastore. Se definido como ADB, permite acessar os metadados do AnalyticDB for MySQL e ler dados de tabelas do AnalyticDB for MySQL.

• Novas tentativas de aplicação

  Parâmetro	Valor padrão	Descrição
  spark.adb.maxAttempts	1	Número máximo de novas tentativas. O valor padrão é 1, indicando que a aplicação Spark não tenta novamente após falha. Se definido como 3, a aplicação fará até três novas tentativas dentro de uma janela deslizante.
  spark.adb.attemptFailuresValidityInterval	Long.MAX	Duração da janela deslizante, em milissegundos. Por exemplo, se definido como 6000, o sistema conta as tentativas nos últimos 6.000 milissegundos após uma falha. Se o número de tentativas for menor que o valor de spark.adb.maxAttempts, o sistema continua tentando executar a aplicação.

• Configuração de origem

  Parâmetro	Valor padrão	Descrição
  spark.adb.driver.cpu-vcores-ratio	1	Proporção de vCPUs para núcleos de cpu reais usados pelo driver. Por exemplo, se o driver usa especificações de recurso medium (2 núcleos e 8 GB de memória) e você define este parâmetro como 2, ele poderá executar 4 vCPUs em paralelo. Definir spark.driver.cores como 4 produz o mesmo desempenho.
  spark.adb.executor.cpu-vcores-ratio	1	Proporção de vCPUs para núcleos de cpu reais usados por um executor. Se a utilização da cpu de uma tarefa estiver baixa, ajuste este parâmetro para aumentá-la. Por exemplo, se um executor usa especificações medium (2 núcleos e 8 GB de memória) e você define este parâmetro como 2, ele executará 4 vCPUs em paralelo, agendando 4 tarefas simultaneamente. Definir spark.executor.cores como 4 alcança o mesmo resultado.

Especificações de recursos do Spark