E-MapReduce:Developing batch or streaming tasks

Pré-requisitos

Você deve ter criado um workspace. Para mais informações, consulte Gerencie workspaces.

Procedimento

1. Acesse a página Data Development.

   1. Faça login no console do E-MapReduce.

   2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

   3. Na página Spark, clique em nome do workspace de destino.

   4. Na página EMR Serverless Spark, clique em Development no painel de navegação à esquerda.

2. Crie uma tarefa.

   1. Na aba Development, clique em ícone .

   2. Na caixa de diálogo, insira um Name, selecione um tipo de tarefa em lote ou de streaming e clique em OK.

   3. No canto superior direito, selecione uma fila de recursos.

   4. No editor da nova tarefa, edite os parâmetros de acordo com o tipo de tarefa.

      JAR

      Parâmetro	Descrição
      Main JAR Resource	O pacote JAR principal necessário para executar a tarefa. Workspace: Arquivos enviados anteriormente para a página Artifacts. OSS: Um arquivo armazenado no Object Storage Service (OSS) do Alibaba Cloud.
      Engine Version	A versão do Spark. Para mais informações, consulte Versões do mecanismo.
      Classe principal	A classe principal especificada ao enviar a tarefa Spark.
      Execution Parameters	Itens de configuração necessários durante a execução da tarefa ou parâmetros personalizados passados para a classe principal. Separe vários parâmetros com espaços.
      Timeout	O tempo máximo permitido para a conclusão desta tarefa. Se a tarefa for executada por mais tempo que esse limite, o sistema a interrompe automaticamente. O valor padrão é vazio, o que significa que não há tempo limite definido.
      Network Connection	Uma conexão de rede existente para acessar fontes de dados em uma VPC ou serviços externos. Para mais informações, consulte Conectividade de rede entre o EMR Serverless Spark e outras VPCs.
      Mount Integrated File Directory	Desativado por padrão. Para usar este recurso, adicione um diretório de arquivos na página Artifacts, na aba Integrated File Directory. Para mais informações, consulte Gerencie o diretório de arquivos integrado. Ao ativar este recurso, o diretório de arquivos gerenciado é montado na aplicação, permitindo a leitura e gravação direta de arquivos no diretório. A operação de montagem consome recursos de computação do driver. A quantidade consumida é o maior dos dois valores a seguir: Recursos fixos: 0,3 vCPUs + 1 GB de memória. Recursos dinâmicos: 10% dos recursos do spark.driver (ou seja, 10% dos núcleos e da memória do spark.driver). Por exemplo, se o spark.driver estiver configurado com 4 núcleos e 8 GB de memória, os recursos dinâmicos serão 0,4 vCPUs + 0,8 GB de memória. Nesse caso, os recursos realmente consumidos são max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), que resulta em 0,4 vCPUs + 1 GB de memória. Nota Escopo de montagem: Por padrão, o diretório de arquivos é montado apenas no driver. Para montá-lo também nos executors, ative Mount to Executor. Vários diretórios: É possível montar vários diretórios de arquivos integrados. No entanto, os diretórios CPFS não podem ser usados junto com outros tipos. Por exemplo, é possível montar vários diretórios OSS e NAS juntos, mas não é possível montar CPFS com diretórios OSS ou NAS. Requisitos de rede: Ao montar um diretório de arquivos NAS ou CPFS, é necessário configurar uma conexão de rede. A VPC da conexão de rede deve ser a mesma VPC do destino de montagem NAS ou CPFS.
      Mount to Executor	Ao ativar este recurso, o diretório de arquivos gerenciado é montado nos executors da aplicação, permitindo a leitura e gravação direta de arquivos no diretório. Esta operação de montagem consome recursos do executor. A quantidade de recursos consumida varia conforme o uso dos arquivos montados.
      File Resources	Ao enviar a tarefa, os arquivos especificados pelo parâmetro --files são copiados para o diretório de trabalho do executor. Isso garante que a tarefa Spark possa acessar esses arquivos durante a execução. Selecione arquivos do Workspace ou do OSS.
      Archive Resources	Ao enviar a tarefa, os arquivos especificados pelo parâmetro --archives são descompactados e distribuídos para os objetos arquivados no executor. Selecione arquivos compactados do Workspace ou do OSS.
      JAR Resources	Ao enviar a tarefa, especifique os arquivos de dependência JAR necessários usando o parâmetro --jars. Selecione JARs do Workspace ou do OSS.
      spark.driver.cores	O número de núcleos de CPU usados pelo driver na aplicação Spark.
      spark.driver.memory	A quantidade de memória disponível para o driver na aplicação Spark.
      spark.executor.cores	O número de núcleos de CPU virtuais usados por cada executor na aplicação Spark.
      spark.executor.memory	A quantidade de memória disponível para cada executor na aplicação Spark.
      spark.executor.instances	O número de executors alocados pelo Spark.
      Dynamic Resource Allocation	Desativada por padrão. Ao ativá-la, configure os seguintes parâmetros: Minimum Number of Executors: O valor padrão é 2. Maximum Number of Executors: Se spark.executor.instances não estiver definido, o valor padrão é 10.
      More Memory Configurations	spark.driver.memoryOverhead: A memória não heap disponível para o driver. Se este parâmetro não for definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.driver.memory). spark.executor.memoryOverhead: A memória não heap disponível para cada executor. Se este parâmetro não for definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.executor.memory). spark.memory.offHeap.size: A quantidade de memória off-heap disponível para o Spark. O valor padrão é 1 GB. Este parâmetro só tem efeito quando spark.memory.offHeap.enabled é definido como true. Ao usar o engine Fusion, este recurso é ativado por padrão com 1 GB de memória off-heap.
      Spark Configuration	Insira as informações de configuração do Spark. Separe os pares chave-valor com um espaço. Por exemplo, key value.
      Tags	Insira pares chave-valor para tags. As tags facilitam o gerenciamento de tarefas com mais precisão e praticidade.

      PySpark

      Parâmetro	Descrição
      Main Python Resources	O arquivo Python principal necessário para executar a tarefa. Workspace: Arquivo enviado anteriormente para a página Artifacts. OSS: Um arquivo armazenado no Object Storage Service (OSS).
      Engine Version	A versão do Spark. Para mais informações, consulte Versões do mecanismo.
      Execution Parameters	Itens de configuração necessários durante a execução da tarefa ou parâmetros personalizados passados para a classe principal.
      Timeout	O tempo máximo permitido para a conclusão desta tarefa. Se a tarefa for executada por mais tempo que esse limite, o sistema a interrompe automaticamente. O valor padrão é vazio, o que significa que não há tempo limite definido.
      Environment	Os recursos necessários para executar a tarefa são pré-configurados com base no ambiente selecionado.
      Network Connection	Uma conexão de rede existente para acessar fontes de dados em uma VPC ou serviços externos. Para mais informações, consulte Conectividade de rede entre o EMR Serverless Spark e outras VPCs.
      Mount Integrated File Directory	Desativado por padrão. Para usar este recurso, adicione um diretório de arquivos na página Artifacts, na aba Integrated File Directory. Para mais informações, consulte Gerencie o diretório de arquivos integrado. Ao ativar esta opção, o diretório de arquivos gerenciado é montado na tarefa, permitindo acesso direto de leitura e gravação aos arquivos no diretório. A operação de montagem consome recursos de computação do driver. A quantidade consumida é o maior dos dois valores a seguir: Recursos fixos: 0,3 vCPUs + 1 GB de memória. Recursos dinâmicos: 10% dos recursos do spark.driver (ou seja, 10% dos núcleos e da memória do spark.driver). Por exemplo, se o spark.driver estiver configurado com 4 núcleos e 8 GB de memória, os recursos dinâmicos serão 0,4 vCPUs + 0,8 GB de memória. Nesse caso, os recursos realmente consumidos são max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), que resulta em 0,4 vCPUs + 1 GB de memória. Nota Escopo de montagem: Por padrão, o diretório de arquivos é montado apenas no driver. Para montá-lo também nos executors, ative Mount to Executor. Vários diretórios: É possível montar vários diretórios de arquivos integrados. No entanto, os diretórios CPFS não podem ser usados junto com outros tipos. Por exemplo, é possível montar vários diretórios OSS e NAS juntos, mas não é possível montar CPFS com diretórios OSS ou NAS. Requisitos de rede: Ao montar um diretório de arquivos NAS ou CPFS, é necessário configurar uma conexão de rede. A VPC da conexão de rede deve ser a mesma VPC do destino de montagem NAS ou CPFS.
      Mount to Executor	Ao ativar esta opção, o diretório de arquivos gerenciado é montado nos executors da tarefa, permitindo acesso direto de leitura e gravação aos arquivos no diretório. Esta operação de montagem consome recursos do executor. A porcentagem de recursos consumida varia conforme o uso dos arquivos montados.
      File Resources	Uma lista de arquivos a serem distribuídos para todos os nós executors no cluster. Para o tipo de recurso, selecione Workspace ou OSS.
      Pyfiles Resources	Ao enviar a tarefa, os arquivos especificados pelo parâmetro --py-files são distribuídos como arquivos de dependência Python. Para o tipo de recurso, selecione Workspace ou OSS.
      Archive Resources	Ao enviar a tarefa, os arquivos especificados pelo parâmetro --archives são descompactados e distribuídos para os objetos arquivados no executor. Para o tipo de recurso, selecione Workspace ou OSS.
      JAR Resources	Ao enviar a tarefa, especifique os arquivos de dependência JAR necessários usando o parâmetro --jars. Para o tipo de recurso, selecione Workspace ou OSS.
      spark.driver.cores	O número de núcleos de CPU usados pelo driver na aplicação Spark.
      spark.driver.memory	A quantidade de memória disponível para o driver na aplicação Spark.
      spark.executor.cores	O número de núcleos de CPU virtuais usados por cada executor na aplicação Spark.
      spark.executor.memory	A quantidade de memória disponível para cada executor na aplicação Spark.
      spark.executor.instances	O número de executors alocados pelo Spark.
      Dynamic Resource Allocation	Desativada por padrão. Ao ativá-la, configure os seguintes parâmetros: Minimum Number of Executors: O valor padrão é 2. Maximum Number of Executors: Se spark.executor.instances não estiver definido, o valor padrão é 10.
      More Memory Configurations	spark.driver.memoryOverhead: A memória não heap disponível para o driver. Se este parâmetro não for definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.driver.memory). spark.executor.memoryOverhead: A memória não heap disponível para cada executor. Se este parâmetro não for definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.executor.memory). spark.memory.offHeap.size: A quantidade de memória off-heap disponível para o Spark. O valor padrão é 1 GB. Este parâmetro só tem efeito quando spark.memory.offHeap.enabled é definido como true. Ao usar o engine Fusion, este recurso é ativado por padrão com 1 GB de memória off-heap.
      Spark Configuration	Insira as informações de configuração do Spark. Separe os pares chave-valor com um espaço. Por exemplo, key value.
      Tags	Insira pares chave-valor para tags. As tags facilitam o gerenciamento de tarefas com mais precisão e praticidade.

      SQL

      Parâmetro	Descrição
      SQL File	O arquivo necessário ao enviar a tarefa. Workspace: Um arquivo da página Artifacts. OSS: Um arquivo do OSS do Alibaba Cloud. Executar instrução: Execute instruções SQL diretamente sem fazer upload de um arquivo.
      Engine Version	A versão do Spark. Para mais informações, consulte Versões do mecanismo.
      Timeout	O tempo máximo permitido para a conclusão desta tarefa. Se a tarefa for executada por mais tempo que esse limite, o sistema a interrompe automaticamente. O valor padrão é vazio, o que significa que não há tempo limite definido.
      Network Connection	Uma conexão de rede existente para acessar fontes de dados em uma VPC ou serviços externos. Para mais informações, consulte Conectividade de rede entre o EMR Serverless Spark e outras VPCs.
      Mount Integrated File Directory	Desativado por padrão. Para usar este recurso, adicione um diretório de arquivos na página Artifacts, na aba Integrated File Directory. Para mais informações, consulte Gerencie o diretório de arquivos integrado. Ao ativar esta opção, o sistema monta o diretório de arquivos gerenciado na tarefa, permitindo a leitura e gravação no diretório. A operação de montagem consome recursos de computação do driver. A quantidade consumida é o maior dos dois valores a seguir: Recursos fixos: 0,3 vCPUs + 1 GB de memória. Recursos dinâmicos: 10% dos recursos do spark.driver (ou seja, 10% dos núcleos e da memória do spark.driver). Por exemplo, se o spark.driver estiver configurado com 4 núcleos e 8 GB de memória, os recursos dinâmicos serão 0,4 vCPUs + 0,8 GB de memória. Nesse caso, os recursos realmente consumidos são max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), que resulta em 0,4 vCPUs + 1 GB de memória. Nota Escopo de montagem: Por padrão, o diretório de arquivos é montado apenas no driver. Para montá-lo também nos executors, ative Mount to Executor. Vários diretórios: É possível montar vários diretórios de arquivos integrados. No entanto, os diretórios CPFS não podem ser usados junto com outros tipos. Por exemplo, é possível montar vários diretórios OSS e NAS juntos, mas não é possível montar CPFS com diretórios OSS ou NAS. Requisitos de rede: Ao montar um diretório de arquivos NAS ou CPFS, é necessário configurar uma conexão de rede. A VPC da conexão de rede deve ser a mesma VPC do destino de montagem NAS ou CPFS.
      Mount to Executor	Ao ativar esta opção, o sistema monta o diretório de arquivos gerenciado nos executors da tarefa, permitindo a leitura e gravação no diretório. A operação de montagem consome recursos dos executors. A porcentagem de recursos consumida varia conforme o uso dos arquivos.
      spark.driver.cores	O número de núcleos de CPU usados pelo driver na aplicação Spark.
      spark.driver.memory	A quantidade de memória disponível para o driver na aplicação Spark.
      spark.executor.cores	O número de núcleos de CPU virtuais usados por cada executor na aplicação Spark.
      spark.executor.memory	A quantidade de memória disponível para cada executor na aplicação Spark.
      spark.executor.instances	O número de executors alocados pelo Spark.
      Dynamic Resource Allocation	Desativada por padrão. Ao ativá-la, configure os seguintes parâmetros: Minimum Number of Executors: O valor padrão é 2. Maximum Number of Executors: Se spark.executor.instances não estiver definido, o valor padrão é 10.
      More Memory Configurations	spark.driver.memoryOverhead: A memória não heap disponível para o driver. Se este parâmetro não for definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.driver.memory). spark.executor.memoryOverhead: A memória não heap disponível para cada executor. Se este parâmetro não for definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.executor.memory). spark.memory.offHeap.size: A quantidade de memória off-heap disponível para o Spark. O valor padrão é 1 GB. Este parâmetro só tem efeito quando spark.memory.offHeap.enabled é definido como true. Ao usar o engine Fusion, este recurso é ativado por padrão com 1 GB de memória off-heap.
      Spark Configuration	Insira as informações de configuração do Spark. Separe os pares chave-valor com um espaço. Por exemplo, key value.
      Tags	Insira pares chave-valor para tags. As tags facilitam o gerenciamento de tarefas com mais precisão e praticidade.

      Spark Submit

      Parâmetro	Descrição
      Engine Version	A versão do Spark. Para mais informações, consulte Versões do mecanismo.
      Script	Insira seu script Spark Submit. Exemplo de código: --class org.apache.spark.examples.SparkPi \ --conf spark.executor.memory=2g \ oss://<YourBucket>/spark-examples_2.12-3.5.2.jar
      Timeout	O tempo máximo permitido para a conclusão desta tarefa. Se a tarefa for executada por mais tempo que esse limite, o sistema a interrompe automaticamente. O valor padrão é vazio, o que significa que não há tempo limite definido.
      Network Connection	Uma conexão de rede existente para acessar fontes de dados em uma VPC ou serviços externos. Para mais informações, consulte Conectividade de rede entre o EMR Serverless Spark e outras VPCs.
      Mount Integrated File Directory	Desativado por padrão. Para usar este recurso, adicione um diretório de arquivos na página Artifacts, na aba Integrated File Directory. Para mais informações, consulte Gerencie o diretório de arquivos integrado. Ao ativar este recurso, o diretório de arquivos gerenciado é montado na aplicação, permitindo a leitura e gravação direta no diretório. A operação de montagem consome recursos de computação do driver. A quantidade consumida é o maior dos dois valores a seguir: Recursos fixos: 0,3 vCPUs + 1 GB de memória. Recursos dinâmicos: 10% dos recursos do spark.driver (ou seja, 10% dos núcleos e da memória do spark.driver). Por exemplo, se o spark.driver estiver configurado com 4 núcleos e 8 GB de memória, os recursos dinâmicos serão 0,4 vCPUs + 0,8 GB de memória. Nesse caso, os recursos realmente consumidos são max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), que resulta em 0,4 vCPUs + 1 GB de memória. Nota Escopo de montagem: Por padrão, o diretório de arquivos é montado apenas no driver. Para montá-lo também nos executors, ative Mount to Executor. Vários diretórios: É possível montar vários diretórios de arquivos integrados. No entanto, os diretórios CPFS não podem ser usados junto com outros tipos. Por exemplo, é possível montar vários diretórios OSS e NAS juntos, mas não é possível montar CPFS com diretórios OSS ou NAS. Requisitos de rede: Ao montar um diretório de arquivos NAS ou CPFS, é necessário configurar uma conexão de rede. A VPC da conexão de rede deve ser a mesma VPC do destino de montagem NAS ou CPFS.
      Mount to Executor	Ao ativar este recurso, o diretório de arquivos gerenciado é montado nos executors da aplicação, permitindo a leitura e gravação direta no diretório. A quantidade de recursos do executor consumida depende de como os arquivos montados são usados.
      spark.driver.cores	O número de núcleos de CPU usados pelo driver na aplicação Spark.
      spark.driver.memory	A quantidade de memória disponível para o driver na aplicação Spark.
      spark.executor.cores	O número de núcleos de CPU virtuais usados por cada executor na aplicação Spark.
      spark.executor.memory	A quantidade de memória disponível para cada executor na aplicação Spark.
      spark.executor.instances	O número de executors alocados pelo Spark.
      Dynamic Resource Allocation	Desativada por padrão. Ao ativá-la, configure os seguintes parâmetros: Minimum Number of Executors: O valor padrão é 2. Maximum Number of Executors: Se spark.executor.instances não estiver definido, o valor padrão é 10.
      More Memory Configurations	spark.driver.memoryOverhead: A memória não heap disponível para o driver. Se este parâmetro não for definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.driver.memory). spark.executor.memoryOverhead: A memória não heap disponível para cada executor. Se este parâmetro não for definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.executor.memory). spark.memory.offHeap.size: A quantidade de memória off-heap disponível para o Spark. O valor padrão é 1 GB. Este parâmetro só tem efeito quando spark.memory.offHeap.enabled é definido como true. Ao usar o engine Fusion, este recurso é ativado por padrão com 1 GB de memória off-heap.
      Spark Configuration	Insira as informações de configuração do Spark. Separe os pares chave-valor com um espaço. Por exemplo, key value.
      Tags	Insira pares chave-valor para tags. As tags facilitam o gerenciamento de tarefas com mais precisão e praticidade.

   5. (Opcional) Na lateral direita da página de desenvolvimento de tarefas, clique em aba Version Information e visualize ou compare versões.

3. Execute e publique a tarefa.

   1. Clique em Run.

      Visualize os detalhes da tarefa acessando a área Execution Records na parte inferior da página após a execução e clique em Details na coluna Actions.

   2. No canto superior direito, clique em Publish.

   3. Na caixa de diálogo Publish, insira Remarks e clique em OK.

Documentos relacionados

• Início rápido para desenvolvimento de JAR

• Início rápido para desenvolvimento de Spark Submit

• Início rápido para desenvolvimento de SparkSQL

• Início rápido para desenvolvimento de PySpark

• Enviar uma tarefa de streaming PySpark usando o Serverless Spark

Usar recursos de GPU

Em tarefas em lote, é possível especificar recursos de GPU por meio dos seguintes parâmetros de configuração do Spark.

Perguntas frequentes

P1: Como definir uma política de nova tentativa automática para tarefas com falha?

Para melhorar a tolerância a falhas em tarefas de streaming, defina uma política de nova tentativa automática por meio dos seguintes itens de configuração do Spark:

spark.emr.serverless.streaming.fail.retry.interval 60    # Retry interval: 60 seconds
spark.emr.serverless.streaming.fail.retry.time 3        # Maximum retries: 3

**P2: O que faço se o erro "ApplicationConfigs is empty" for retornado ao chamar a operação StartJobRun?**

Esse erro ocorre quando o campo ApplicationConfigs nos parâmetros da requisição está vazio ou formatado incorretamente. Para resolver esse problema, consulte o código de exemplo para iniciar uma tarefa Spark usando o SDK do Python e certifique-se de que a requisição inclua um parâmetro ApplicationConfigs não vazio e configurado corretamente.

Palavras-chave: StartJobRun, ApplicationConfigs, SDK, erro de API.

P3: O que faço se uma tarefa falhar na inicialização do contêiner devido a recursos insuficientes?

Esse problema geralmente é causado por recursos insuficientes, causando a falha imediata do contêiner na inicialização. Para resolver esse problema, acesse o console do EMR Serverless Spark, localize o recurso de computação correspondente e aumente o número de núcleos do executor (spark.executor.cores) e o tamanho da memória do executor (spark.executor.memory) na configuração de recursos no nível da tarefa. Em seguida, envie a tarefa novamente e verifique se o problema foi resolvido.

Palavras-chave: falha de contêiner, recursos insuficientes, Executor Core, Executor Memory, OOM.