Esta página define os principais termos do E-MapReduce (EMR) Serverless Spark para ajudar você a criar um modelo mental claro do serviço antes de consultar a documentação.
Workspaces e recursos
|
Termo |
Definição |
|
workspace |
Unidade básica de desenvolvimento no EMR Serverless Spark. Um workspace agrupa jobs, recursos computacionais e permissões, além de mantê-los isolados de outros workspaces. |
|
resource queue |
Pool de capacidade computacional medido em unidades de computação (CUs). Cada CU corresponde a uma configuração específica de vCore e memória. Você pode alocar uma ou mais CUs para um driver Spark ou nó executor. Cada nó de computação recebe entre 20 GiB e 160 GiB de armazenamento local. O consumo de CUs de um job varia conforme a complexidade da computação e a distribuição dos dados. Consulte a lista de jobs para verificar o uso real de CUs. Para detalhes sobre preços, veja Faturamento. |
|
session resource |
Sessão Spark implantada em um workspace. As sessões fornecem a base computacional necessária para executar instruções SQL e trabalhar no ambiente de notebook. Implante uma sessão em uma resource queue e ajuste a versão do mecanismo, a atribuição de fila e os parâmetros do Spark conforme a carga de trabalho mudar. |
Controle de acesso
|
Termo |
Definição |
|
user |
Entidade de controle de acesso. Adicione um usuário RAM como membro do workspace e conceda permissões para gerencie jobs e recursos nesse workspace. |
|
role |
Entidade de controle de acesso que agrupa permissões. Um único usuário pode assumir várias funções, e vários usuários podem assumir a mesma função. Todos os usuários que assumem uma função possuem as mesmas permissões. |
Execução de jobs
|
Termo |
Definição |
|
workflow |
Sequência ordenada de jobs. Os jobs em um workflow dependem uns dos outros e são executados em uma ordem específica. Use workflows para modelar pipelines de dados com múltiplas etapas e ordem de execução definida. |
|
job run |
Execução única de um workflow. Sempre que um workflow é execute, o sistema de orquestração de jobs atribui a ele um ID de job run. |
|
publish |
Ação de promover um arquivo de job rascunho para produção. A publicação é obrigatória após a conclusão da edição de um rascunho. Esse processo impede que alterações em andamento afetem os agendamentos de jobs ativos e mantém os ambientes de desenvolvimento e produção separados. |