Um workspace é a unidade básica do EMR Serverless Spark para gerenciar jobs, membros, funções e permissões. Os administradores podem adicionar membros e atribuir funções como administrador do workspace, analista de dados, desenvolvedor de dados ou convidado para trabalho colaborativo.
Pré-requisitos
Você registrou uma conta da Alibaba Cloud e concluiu a verificação de nome real.
-
Sua conta deve ter as permissões necessárias para criar um workspace:
Se você usar sua conta da Alibaba Cloud, consulte Assign roles to an Alibaba Cloud account para detalhes de autorização.
Se você usar um usuário RAM ou uma função RAM, verifique se as políticas de acesso AliyunEMRServerlessSparkFullAccess, AliyunOSSFullAccess e AliyunDLFFullAccess estão associadas ao usuário RAM ou à função RAM. Em seguida, na página Access Control, adicione o usuário RAM ou a função RAM e conceda a ele a função de administrador. Para obter mais informações, consulte Grant permissions to a RAM user e Manage users and roles.
O Data Lake Formation (DLF) está ativado. Para obter mais informações, consulte Quick Start. Para ver a lista de regiões com suporte ao DLF, consulte Regions and endpoints.
O Object Storage Service (OSS) está ativado e um bucket foi criado. Para obter mais informações, consulte Activate OSS e Create a bucket.
Criar um workspace
-
Acesse a página de workspaces do EMR Serverless Spark.
Faça login no E-MapReduce console.
No painel de navegação à esquerda, escolha EMR Serverless > Spark.
Na página Spark, clique em Create Workspace.
-
Na caixa de diálogo Create Workspace, configure os seguintes parâmetros.
Parâmetro
Descrição
Region
Selecione a região onde seus dados residem. A região não pode ser alterada após a criação.
Billing Method
Os métodos de faturamento disponíveis são Subscription e Pay-as-you-go.
Workspace Name
O nome deve ter entre 1 e 64 caracteres e pode conter apenas caracteres chineses, letras, dígitos, hifens (-) e underscores (_).
NotaSe você inserir um nome que já está em uso, o sistema solicitará que você forneça um diferente.
Maximum Quota
Número máximo de unidades de computação (CUs) disponíveis para execução simultânea de jobs no workspace.
Workspace Directory
Armazena arquivos de dados como logs de jobs, eventos de runtime e recursos. Para visualização incremental de logs em tempo quase real durante operações e manutenção, selecione um bucket com OSS-HDFS ativado.
DLF for Metadata Storage
Armazena e gerencia metadados. Selecione o catálogo de dados a ser associado ao workspace. Para criar um catálogo de dados:
-
Clique em Create Catalog. Na caixa de diálogo exibida, insira um Catalog Name e clique em OK.
-
Na lista suspensa, selecione o catálogo de dados criado.
NotaApós criar um workspace, você pode adicionar um catálogo de dados DLF existente. Data catalog.
Execution Role
Especifica a função que o Serverless Spark assume para executar jobs. A função padrão é AliyunEMRSparkJobRunDefaultRole.
O Serverless Spark usa essa função para acessar seus recursos em outros serviços, como OSS e DLF. Para controlar as permissões da função de execução, use uma função de execução personalizada. Para obter mais informações, consulte Execution role.
Advanced Settings
Tags: Tags são identificadores para seus recursos cloud. Use tags para classificar, pesquisar e agregar recursos com características em comum, aumentando a eficiência do gerenciamento. É possível associar até 20 tags a cada workspace. Cada tag consiste em uma chave e um valor personalizados. As tags também permitem a alocação de custos e o gerenciamento detalhado de recursos com pagamento conforme o uso.
Associe tags ao criar um workspace ou adicione e modifique tags a qualquer momento na página de lista de workspaces. Vincular tags a recursos facilita a classificação e otimiza as operações.
-
Clique em Create Workspace.
Excluir um workspace
A exclusão falha se houver jobs em execução no workspace. Pare todos os jobs em execução antes de prosseguir.
Após a exclusão, todos os recursos, incluindo as definições de jobs, são liberados e não podem ser recuperados. Faça backup dos scripts de jobs antes de excluir.
Excluir um workspace não exclui os dados associados, como logs no OSS ou OSS-HDFS.
Os passos de exclusão variam conforme o método de faturamento:
Subscription: Cancele a assinatura do pedido de cota primeiro. O workspace é excluído após o cancelamento. Unsubscription and refunds.
-
Pay-as-you-go:
Na página Spark, clique em Delete na coluna Actions do workspace.
Na caixa de diálogo, insira o nome do workspace para confirmação e clique em OK.
Ajustar a cota de assinatura
Em workspaces com subscription, você pode aumentar ou reduzir a cota de CUs.
Na página Spark, escolha ou Downgrade Subscription Quota na coluna Actions do workspace.
Na página EMR Serverless Spark Reserved Resources | Change Specification, ajuste o parâmetro CU Quota. A diferença de preço é calculada automaticamente.
Confirme a configuração e clique em Buy Now.
Modificar a cota de pagamento conforme o uso
Na página Spark, escolha na coluna Actions do workspace.
Na caixa de diálogo exibida, ajuste o parâmetro Maximum Pay-as-you-go Quota (CUs) e clique em OK.
O intervalo da cota vai de max(25, total allocated pay-as-you-go quota in the workspace) a 5.000 CUs.
Documentos relacionados
Adicione usuários RAM e atribua funções para desenvolvimento colaborativo usando o Access Control. Manage users and roles.
Isole e gerencie recursos adicionando filas. Manage resource queues.
> Upgrade Subscription Quota
> Modify Pay-as-you-go Quota