DataWorks:Configurar parâmetros globais do Spark

Contexto

O Apache Spark é um mecanismo para análise de dados em grande escala. No DataWorks, configure parâmetros de runtime do Spark para nós agendados das seguintes formas:

• Método 1: Configurar parâmetros globais do Spark

  Defina parâmetros do Spark no nível do workspace para módulos do DataWorks que executam tarefas do EMR. Também atribua a esses parâmetros uma prioridade maior do que a dos parâmetros configurados em um módulo específico. Para mais informações, consulte Configurar parâmetros globais do Spark.

• Método 2: Configurar parâmetros do Spark específicos do módulo

  • Data Development (Data Studio): Para nós Hive e Spark, defina propriedades do Spark para tarefas individuais no painel Scheduling Settings, à direita da página de edição do nó.

  • Outros módulos: Não há suporte para definir propriedades do Spark em outros módulos.

Limitações

• Apenas as funções abaixo podem configurar parâmetros globais do Spark:

  • Uma conta Alibaba Cloud.

  • Um usuário RAM ou função RAM com a permissão AliyunDataWorksFullAccess.

  • Um usuário RAM com a função Workspace Administrator.

• Os parâmetros do Spark entram em vigor apenas para nós EMR Spark, nós EMR Spark SQL e nós EMR Spark Streaming.

  Nota

  Para usar o Ranger no controle de acesso do Spark, adicione a configuração spark.hadoop.fs.oss.authorization.method=ranger nos parâmetros globais do Spark para impor o controle de acesso via Ranger.

• Atualize configurações relacionadas ao Spark tanto no Management Center do DataWorks quanto no console do E-MapReduce. Caso haja divergência entre as configurações desses dois locais, as tarefas enviadas pelo DataWorks usarão a configuração definida no Management Center do DataWorks.

• Atualmente, a configuração de parâmetros globais do Spark está disponível apenas para os módulos Data Development (Data Studio), Data Quality, Data Analysis e Operation Center.

Pré-requisitos

Associe um cluster E-MapReduce ao seu workspace do DataWorks. Para mais informações, consulte Vincular um mecanismo de computação E-MapReduce.

Configurar parâmetros globais do Spark

1. Acesse a página de configuração de parâmetros globais do Spark.

   1. Faça login no console do DataWorks. Na região desejada, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

   2. No painel de navegação à esquerda, clique em Computing Resources.

   3. Localize o cluster EMR desejado e clique em SPARK Parameters para acessar a página de configuração de parâmetros globais do Spark.

      A página de configuração de parâmetros globais do Spark contém uma seção Production and Development Environments, que lista os módulos DataStudio (Data Development) e Data Analysis. À direita de cada módulo, há uma caixa de seleção Global Configuration Has Priority e um link Expand. No canto superior direito da página, encontra-se o botão Edit SPARK Parameters.

2. Configure os parâmetros globais do Spark.

   No canto superior direito da página SPARK Parameters, clique em Edit SPARK Parameters para definir os parâmetros globais do Spark e a prioridade de cada módulo.

   Nota

   Essas configurações se aplicam globalmente a todo o workspace. Antes de continuar, verifique se você selecionou o workspace correto.

   Parâmetro	Descrição
   Propriedade do Spark	Configure as propriedades do Spark (Spark Property Name e Spark Property Value) usadas por um módulo para executar tarefas do EMR. Para configurações válidas, consulte Spark Configurations e Spark Configurations on Kubernetes.
   Global Settings Take Precedence	Ao selecionar esta opção, as configurações globais prevalecem sobre as configurações específicas do módulo. Nesse cenário, as tarefas usam as propriedades globais do Spark. Configurações globais: Referem-se aos parâmetros do Spark definidos na página SPARK Parameters para um cluster EMR emManagement Center > Computing Resources. Nota Atualmente, a configuração de parâmetros globais do Spark está disponível apenas para os módulos Data Development (Data Studio), Data Quality, Data Analysis e Operation Center. Configurações específicas do módulo: Data Development (Data Studio): Para nós Hive e Spark, defina propriedades do Spark para tarefas individuais no painel Scheduling Settings, à direita da página de edição do nó. Outros módulos: Não há suporte para definir propriedades do Spark em outros módulos.