E-MapReduce:Quick start for PySpark development

Etapa 1: Preparar os arquivos de exemplo

O EMR Serverless Spark permite desenvolver arquivos Python em uma plataforma local ou independente e enviá-los como jobs. Os arquivos de exemplo abaixo ajudam você a começar.

Clique em DataFrame.py e employee.csv para baixe os arquivos de exemplo.

Etapa 2: Enviar os arquivos de exemplo

1. Envie o arquivo Python para o EMR Serverless Spark.

   1. Acesse a página de upload de recursos.

      1. Faça login no console EMR.

      2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

      3. Na página Spark, clique em no nome do workspace desejado.

      4. Na página do EMR Serverless Spark, clique em Artifacts no painel de navegação à esquerda.

   2. Na página Artifacts, clique em Upload File.

   3. Na caixa de diálogo Upload File, clique em na área de upload para selecione um arquivo Python ou arraste-o para essa área.

      Neste exemplo, envie o arquivo DataFrame.py.

2. Envie o arquivo de dados (employee.csv) para o OSS. Para mais informações, consulte Fazer upload de arquivos.

Etapa 3: Desenvolver e executar o job

1. Na página do EMR Serverless Spark, clique em Development no painel de navegação à esquerda.

2. Na aba Development, clique em no ícone .

3. Na caixa de diálogo, insira um nome, selecione Application > PySpark como tipo e clique em OK.

4. No canto superior direito, selecione uma fila.

   Para saber como adicionar uma fila, consulte Gerenciar filas de recursos.

5. Na nova aba de desenvolvimento, configure os parâmetros abaixo, mantenha os demais valores padrão e clique em Run.

   Parâmetro	Descrição
   Main Python Resources	Selecione o arquivo Python enviado na página Artifacts na etapa anterior. Neste exemplo, selecione DataFrame.py.
   Execution Parameters	Insira o caminho do OSS para o arquivo de dados employee.csv. Exemplo: oss://<yourBucketName>/employee.csv.

6. Após a execução do job, na seção Execution Records abaixo, clique em Log Exploration na coluna Actions do job.

7. Na aba Log Exploration, visualize as informações de log.

   Esta aba inclui as subabas driver log, executor log e startup log. Cada subaba oferece três tipos de saída: Stdout, Stderr e Log4j. Neste exemplo, a saída Stdout do driver log exibe os resultados da consulta Spark DataFrame, incluindo detalhes salariais dos funcionários (employee_name, department, salary) e dados salariais agregados por departamento.

Etapa 4: Publicar o job

1. Após a conclusão do job, clique em Publish no lado direito da página Development.

2. Na caixa de diálogo de publicação do job, insira as informações de publicação e clique em OK.

Etapa 5: Visualizar a Spark UI

Após a execução bem-sucedida do job, visualize seus detalhes de execução na Spark UI.

1. No painel de navegação à esquerda, clique em Job History.

2. Na página Application, clique em Spark UI na coluna Actions do job desejado.

3. Na página Spark Jobs, visualize os detalhes do job.

   A página exibe informações básicas da aplicação (como User: root, Total Uptime e Scheduling Mode: FIFO) e a lista Completed Jobs. A tabela inclui colunas como Job Id, Description, Submitted, Duration, Stages: Succeeded/Total e Tasks. Para cada job, visualize sua descrição, duração e detalhes de conclusão de estágios e tarefas.