DataWorks:Nó MaxCompute Spark

Visão geral

O Spark on MaxCompute é um service de computação fornecido pelo MaxCompute, compatível com o Spark open source. Ele oferece um framework de computação Spark baseado em um sistema unificado de recursos de computação e permissões. Isso permite que você envie e execute jobs Spark utilizando fluxos de trabalho de desenvolvimento familiares para atender a diversas necessidades de processamento e análise de dados. No DataWorks, utilize o nó MaxCompute Spark para agendar e executar jobs do Spark on MaxCompute, além de integrá-los a outros jobs.

O Spark on MaxCompute suporta desenvolvimento em Java, Scala e Python, executando jobs tanto no modo local quanto no modo cluster. Ao executar um job offline do Spark on MaxCompute no DataWorks, ele roda no modo cluster. Para mais informações sobre os modos de execução do Spark on MaxCompute, consulte Run modes.

Requisitos de permissão

Para desenvolver jobs, adicione usuários RAM ao workspace correspondente e conceda a função Development ou Workspace Administrator. A função Workspace Administrator inclui permissões amplas e deve ser concedida com cautela. Para mais detalhes sobre como adicionar um membro a um workspace, consulte Add workspace members.

Limitações

Caso encontre um erro ao enviar um nó MaxCompute Spark que utiliza Spark 3.x, compre e utilize um grupo de recursos serverless. Para mais informações, consulte Use a serverless resource group.

Antes de começar

O nó MaxCompute Spark suporta a execução de jobs offline do Spark on MaxCompute usando Java/Scala e Python. As etapas de desenvolvimento e a interface de configuração variam conforme a linguagem. Escolha a linguagem adequada às suas necessidades de negócio.

Parâmetros

O DataWorks executa jobs offline do Spark on MaxCompute no modo Cluster. Nesse modo, especifique um ponto de entrada personalizado do programa main. O job Spark correspondente termina quando a função main finaliza com status Success ou Fail. Além disso, adicione as configurações do arquivo spark-defaults.conf individualmente às configurações do nó MaxCompute Spark. Por exemplo, o número de executor s, o tamanho da memória e a configuração spark.hadoop.odps.runtime.end.point.

Procedimento

1. Crie um recurso.

   1. Localize Resource Management na barra de navegação à esquerda da página Data Studio e clique em Create. Crie um recurso Python do tipo MaxCompute Spark e nomeie-o como spark_is_number.py. Para mais informações, consulte Resource Management. O código é o seguinte:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Salve o recurso.

2. No nó MaxCompute Spark criado, configure os parâmetros do nó e os parâmetros de agendamento. Para mais informações, consulte Parameters.

3. Para executar o job em um agendamento, configure suas propriedades de agendamento de acordo com suas necessidades de negócio. Para mais informações, consulte Node scheduling configuration.

4. Após configurar o job do nó, implante o nó. Para mais informações, consulte Deploy nodes/workflows.

5. Depois que o job for implantado, acesse o Operation Center para visualizar o status de execução do job periódico. Para mais informações, consulte Get started with Operation Center.

   Nota

   • Os nós MaxCompute Spark não possuem um ponto de entrada de execução no Data Studio. Execute os jobs Spark no Operation Center, no ambiente de desenvolvimento.

   • Após a execução bem-sucedida da instância de backfill de dados, abra a URL de rastreamento no log de execução da instância para visualizar o resultado.

Referências

• Para mais informações sobre o desenvolvimento de jobs Spark on MaxCompute para outros casos de uso, consulte os seguintes tópicos:

  • Java/Scala example: Spark 1.x

  • Java/Scala example: Spark 2.x

  • Python example: PySpark development

  • Use case: Access a VPC instance from Spark

  • Use case: Access OSS from Spark

• FAQ do Spark: Encontre soluções para problemas comuns de execução do Spark para acelerar a solução de problemas. Para mais informações, consulte Spark FAQ.

• Diagnóstico de jobs Spark: O MaxCompute fornece a ferramenta Logview e a interface web do Spark. Utilize os logs do job para verificar se ele foi enviado e está sendo executado corretamente. Para mais informações, consulte Spark job diagnosis.