DataWorks:O&M de Engine

Limitações

• O recurso de O&M de engine no DataWorks oferece suporte apenas a jobs do EMR. É necessário enviar um ticket para atualizar o pacote de execução do EMR e assegurar a recuperação correta dos dados de O&M.

• O menu Engine O&M não aparece no painel de navegação à esquerda do Operation Center em workspaces sem um cluster EMR registrado.

• Se você utilizar um grupo de recursos exclusivo para agendamento, deverá enviar um ticket para solicitar uma atualização. Caso contrário, alguns campos na página Engine O&M serão exibidos como hifens (-).

Observações

Quando um aplicativo YARN é reutilizado, seu Job ID (ID do aplicativo) na página de O&M de engine permanece o mesmo, mesmo que a tarefa seja executada em diferentes módulos do DataWorks.

• A página de O&M de engine exibe apenas o ID de aplicativo gerado na primeira execução de um job EMR no DataWorks.

• Após a conclusão da instância de tarefa do DataWorks para um job EMR (com status Successful ou Failed), o aplicativo YARN pode permanecer no estado RUNNING. No Kyuubi, por exemplo, o tempo limite de sessão ociosa, especificado por kyuubi.session.engine.idle.timeout, geralmente determina se um aplicativo YARN é retido por um período. A configuração PT30M para kyuubi.session.engine.idle.timeout indica que o aplicativo YARN é mantido por 30 minutos após a conclusão do job EMR Kyuubi. Acesse o console do EMR on ECS para visualizar as configurações do serviço correspondente.

Pré-requisitos

Você já registrou um cluster EMR em um workspace do DataWorks e executou as tarefas relevantes do EMR.

1. Registre um cluster: Consulte DataStudio (legado): Vincular recursos de computação do EMR.

2. Execute uma tarefa EMR: Consulte Notas de uso do DataWorks no EMR.

Como acessar a página de O&M de engine

1. Faça login no console do DataWorks. Na região desejada, clique em Data Development and O&M > Operation Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.

2. No painel de navegação à esquerda, escolha Others > Engine O&M > E-MapReduce para acessar a página de O&M de engine do E-MapReduce.

Jobs do engine

A página de O&M de engine do E-MapReduce lista todos os jobs do E-MapReduce de todos os workspaces do DataWorks na região atual. Nesta página, visualize detalhes dos jobs e execute operações de O&M.

• Filtrar jobs do E-MapReduce

  Na barra de menus superior da página de O&M de engine do E-MapReduce, utilize os filtros para localizar jobs específicos por critérios como ID do job ou tipo de job.

  Nota

  • Por padrão, a página Engine O&M exibe dados de instâncias de engine dos últimos três dias.

  • Ao filtrar por DataWorks Instance ID, a busca restringe-se a IDs do Operation Center. Pesquisas por Job ID ou DataWorks Instance ID limitam-se a instâncias de jobs dos últimos sete dias.

• Executar operações em jobs do E-MapReduce

  Nesta área, visualize os detalhes dos jobs selecionados e execute operações de O&M conforme necessário.

  Recurso	Descrição
  Visualizar detalhes do job	Visualize as informações básicas de um job do E-MapReduce, incluindo ID do job, status do job, tempo de execução, source do job e a instância do DataWorks à qual o job pertence. Descrições de status do job: NEW: O job acabou de ser criado. NEW_SAVING: O job está sendo salvo. SUBMITTED: Uma solicitação para executar o job foi enviada. ACCEPTED: O agendador aceitou a solicitação para executar o job. RUNNING: O job está em execução. Nota Se um job permanecer no estado RUNNING por muito tempo, encerre manualmente a instância de tarefa do DataWorks que executa esse job. Essa ação evita que jobs com erros ocupem recursos por períodos prolongados e bloqueiem tarefas downstream. FINISHED: A execução do job foi concluída. SUCCEEDED: O job foi executado com sucesso. FAILED: Falha na execução do job. Se um job estiver neste estado, identifique e resolva o erro prontamente para evitar o bloqueio de jobs downstream e impactos na execução normal das tarefas. Clique em o ID do job ou no ID da instância do DataWorks para navegar até a página de detalhes da tarefa e solucionar o problema. KILLED: O executor ou um administrador encerrou o job. ID da Instância do DataWorks: Diferentes jobs do E-MapReduce podem ter o mesmo ID de instância do DataWorks. No entanto, se os valores de Start time forem diferentes, eles pertencem a instâncias de tarefa distintas do DataWorks. Portanto, utilize tanto o DataWorks Instance ID quanto o Start time para identificar exclusivamente uma instância de tarefa do DataWorks. Nota Tarefas acionadas a partir de alguns módulos do DataWorks, como Data Quality, DataStudio e DataAnalysis, não possuem IDs de instância. Para essas tarefas, a plataforma exibe um hífen (-). Tipo de job EMR: Apenas jobs dos tipos MAPREDUCE e SPARK são visíveis. Ordenação por tempo de execução: Ordene por Start time ou End Time em ordem crescente ou decrescente para verificar visualmente a ordem de execução e a duração dos jobs, compreendendo seu status de execução. Source do job: Indica o módulo do DataWorks onde o job do E-MapReduce foi executado. Acesse o módulo correspondente na coluna Actions para visualizar os detalhes da tarefa. Uso da fila (%): Representa a porcentagem da capacidade da fila utilizada pelo job atual. Trata-se da proporção de recursos que o gerenciador de recursos do cluster YARN aloca para a fila durante a execução do job.
  Executar operações em instâncias de tarefa	Encerrar uma instância de tarefa do DataWorks Encerre manualmente qualquer job do E-MapReduce que permaneça no estado RUNNING por um tempo anormalmente longo. Tais jobs frequentemente falham ao tentar o encerramento automático devido a erros internos. Interromper esses jobs evita que consumam recursos indefinidamente e bloqueiem outras tarefas. Para encerrar um único job, clique em Terminate na coluna Actions do job correspondente. Para encerrar múltiplos jobs, selecione os jobs desejados e clique em Stop DataWorks Node Instances no canto inferior esquerdo. Importante Somente o Workspace Administrator, usuários com a função O&M e proprietários da tarefa podem encerrar instâncias de tarefa. Se múltiplos jobs do E-MapReduce pertencerem à mesma instância de tarefa do DataWorks, o encerramento de qualquer um dos jobs fará com que a instância de tarefa do DataWorks entre no estado FAILED. Apenas instâncias de tarefa do DataWorks em execução podem ser encerradas. O encerramento de uma instância de tarefa define seu status como FAILED. Uma instância FAILED impede a execução de nós downstream, portanto, proceda com cautela. Acessar um módulo para visualizar uma tarefa Clique em o link do módulo na coluna Actions (por exemplo, Go to DataStudio) para abrir o módulo de origem do DataWorks e visualizar os detalhes de execução da tarefa. Nota DataAnalysis: Apenas o proprietário do arquivo pode abrir o arquivo de consulta SQL. DataStudio: Após navegar para a página do DataStudio, todos os desenvolvedores do workspace podem visualizar a tarefa. Contudo, apenas o usuário que executou a tarefa pode visualizar seus registros históricos de execução.