DataWorks:Create and use Serverless resource groups

Pré-requisitos

• Permissões necessárias para grupos de recursos:

  • Permissões de compra: São necessárias as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess.

    A permissão AliyunVPCReadOnlyAccess também é necessária para ler informações da VPC.

  • Permissões de gerenciamento: Apenas um administrador do workspace DataWorks de destino pode associar um grupo de recursos a esse workspace ou modificar a associação.

    Não sabe como conceder permissões? Consulte View the permissions of a RAM user e Manage the permissions of a RAM user . Para obter informações sobre controle de permissões em outras operações de grupos de recursos, consulte Object-level permission control policies in the console .

• Planejamento de ambiente e rede:

  • Princípio da mesma região: O grupo de recursos serverless deve estar na mesma região do seu workspace DataWorks.

  • Planejamento de VPC (obrigatório): Grupos de recursos serverless exigem uma Virtual Private Cloud (VPC). É necessário ter uma VPC and a vSwitch pronta.

    Importante

    • Não altere o ambiente de VPC e vSwitch associado a um grupo de recursos serverless. Essa alteração pode causar falhas nas tarefas do DataWorks.

    • **Grupos de recursos serverless não suportam VPCs que utilizam endereços IP no bloco CIDR 21.0.0.0/8, ou seja, endereços IP de 21.0.X.X até 21.255.XXX.XXX são proibidos.**

  • Conectividade de rede: Para garantir que o grupo de recursos acesse suas fontes de dados (bancos de dados, serviços de dados ou outros dados em ambientes de rede de destino), configure a network connectivity de acordo com o ambiente da sua fonte de dados.

    Importante

    Por padrão, grupos de recursos serverless não têm acesso à internet. Para acessar fontes de dados pela internet, configure uma Internet NAT Gateway e um EIP para a VPC associada ao grupo de recursos serverless.

Criar um grupo de recursos serverless

As ofertas de Free trial resource packages são válidas apenas para grupos de recursos com modelo de cobrança pagamento conforme o uso. Para utilizar a oferta resgatada, crie um grupo de recursos com pagamento conforme o uso.

1. Faça login no console do DataWorks. Na região de destino, clique em Resource Group no painel de navegação à esquerda para abrir a lista de grupos de recursos.

2. Clique em Create Resource Group para acessar a página de compra do grupo de recursos serverless. Os principais parâmetros são:

   Para usuários de versões anteriores, a operação está localizada na aba padrão Exclusive Resource Group .

   Parâmetro	Descrição
   Região e zona	Selecione uma região. A região deve ser a mesma do seu workspace DataWorks.
   Método de faturamento	Dois métodos de faturamento estão disponíveis: Subscription (pré-pago) e Pay-As-You-Go (pós-pago). Pay-As-You-Go: Ideal para cargas de trabalho com grandes flutuações ou cenários de teste. Não há cobrança quando nenhum recurso é utilizado. Suporta switching to Subscription. Importante Limite de CU para pagamento conforme o uso: A especificação máxima para um único grupo de recursos com pagamento conforme o uso é de 500 CUs. Subscription: Recomendado para cargas de produção estáveis e de longo prazo com menor custo. Não é possível alterar de Subscription para Pay-As-You-Go. É possível adquirir vários grupos de recursos com diferentes métodos de faturamento para atender aos requisitos do seu negócio.
   Especificações do grupo de recursos	Quando o método de faturamento for Subscription, defina as especificações do grupo de recursos. A quantidade mínima de compra é de 2 CUs, e o incremento mínimo de dimensionamento é de 1 CU. 1 CU = 1 núcleo de CPU + 4 GiB de memória. Para recomendações de compra e especificações mínimas necessárias para executar diversas tarefas, consulte Resource group specifications and pricing.
   VPC	Selecione a VPC com base na rede à qual o grupo de recursos precisa se conectar. Se não houver opções disponíveis na lista suspensa, acesse o console da VPC para criar uma. Para mais informações sobre VPCs, consulte What is a VPC?. A fonte de dados está na mesma conta e região do grupo de recursos serverless: Configure a VPC e o vSwitch onde a fonte de dados reside. A fonte de dados está em outros ambientes de rede complexos: Também será necessário conectar a VPC associada ao grupo de recursos serverless à VPC onde a fonte de dados reside, utilizando VPN Gateway ou Express Connect. Para mais detalhes, consulte Network connectivity. Importante Um grupo de recursos suporta associação a múltiplas VPCs. Você pode associar VPCs adicionais após concluir a compra. Se o método de faturamento do grupo de recursos for Subscription, a VPC configurada aqui não poderá ser alterada ou substituída para o Data Service após ser aplicada ao Data Service, computação de dados e Data Integration. Planeje com antecedência.
   vSwitch
   Ciclo de faturamento	Quando o método de faturamento for Subscription, é necessário definir o ciclo de faturamento. Importante Recomendamos selecionar Auto Renewal para evitar interrupções nos negócios causadas por expiração, desligamento ou liberação de recursos. Ao selecionar essa opção, o ciclo de renovação automática será mensal, e as taxas serão deduzidas automaticamente pelo preço em tempo real antes da expiração da instância.
   Função vinculada ao serviço	Na primeira compra, é necessário Create Service-linked Role (AliyunServiceRoleForDataWorks). Compras subsequentes utilizarão automaticamente a função criada. Essa função é usada para acessar recursos de VPC, Elastic Network Interface (ENI) e grupo de segurança. Se você vir o aviso Please create AliyunServiceRoleForDataWorks, forneça esta URL de autorização ao proprietário da conta Alibaba Cloud ou a outro pessoal autorizado para realizar a autorização e, em seguida, prossiga.

   Após a criação de um grupo de recursos serverless, não é possível alterar o vSwitch (V-Switch) associado ao grupo. Caso selecione um vSwitch incorreto durante a criação, não será possível modificar diretamente a associação. Será necessário cancelar a assinatura do grupo de recursos atual e adquirir um novo com o vSwitch correto. Verifique a configuração do vSwitch antes de criar o grupo de recursos.

Após concluir a compra, a lista de grupos de recursos pode levar de 1 a 2 minutos para exibir o novo grupo criado. Se o grupo não aparecer imediatamente na lista, atualize manualmente a página. Após a criação, o status do grupo será exibido como Creating. O grupo só poderá ser utilizado quando o status mudar para Running.

Associe o grupo de recursos a um workspace assim que o status mudar para Running. Caso contrário, o grupo de recursos não estará disponível para seleção nas configurações de tarefas.

Configuração e uso do grupo de recursos

Operação e monitoramento de grupos de recursos

Gerenciamento de custos de grupos de recursos

Perguntas frequentes

P: Existem restrições de região para compras?

R: As restrições de compra são as seguintes.

• Se desejar usar grupos de recursos serverless em um ambiente de revendedor, confirme primeiro se o seu provedor oferece suporte à venda deste product.

• Compras não são suportadas na região Thailand (Bangkok).

P: Após adquirir um pacote de recursos de avaliação gratuita para grupos de recursos serverless, não consigo associar um grupo no DataWorks e nenhum grupo aparece na lista. O que devo fazer?

R: Um pacote de recursos de avaliação gratuita é um voucher de dedução de custos e não cria automaticamente um grupo de recursos. Crie manualmente um grupo de recursos serverless com modelo de cobrança pagamento conforme o uso; o sistema utilizará automaticamente o pacote de recursos para compensar os custos gerados por esse grupo. Quando a cota do pacote se esgotar, as cobranças serão deduzidas do saldo da sua conta com base no pagamento conforme o uso.

P: Como um grupo de recursos serverless pode acessar um endereço de host?

R: Grupos de recursos serverless não suportam acesso direto a hosts. Se necessário, utilize o Privatezone DNS para resolver e acessar o host.

1. Activate the PrivateZone DNS service

   Nota

   Se o PrivateZone DNS já estiver ativado, pule esta etapa.

2. Certifique-se de ter created a zone.

   Tomando como exemplo o nome de domínio do host header-1-cn-shanghai, realize a resolução autoritativa para o nome de domínio header-1-cn-shanghai. Ajuste este parâmetro conforme a configuração do nome de domínio do seu host.

3. Add a DNS record

   Defina o Record Value como o private IP address correspondente ao host associado ao nome de domínio.

4. Associate a VPC with the zone

   Ao definir a VPC para que o nome de domínio tenha efeito, selecione a VPC associada ao grupo de recursos.

P: Resgatei um pacote de recursos para novos usuários ou um pacote de dedução, mas não consigo selecionar um grupo de recursos na página de associação ou na configuração da tarefa. Por quê?

R: Pacotes de recursos para novos usuários e pacotes de dedução funcionam apenas como vouchers de desconto. Eles não criam instâncias de grupos de recursos automaticamente. Acesse a página Resource Group List, clique em Create Resource Group e selecione o método de faturamento Pay-As-You-Go para criar uma instância de grupo de recursos. Após a criação, atualize a página e o grupo aparecerá na lista suspensa.

Se a página redirecionar para a página de avaliação gratuita durante a criação, navegue manualmente de volta para a página de compra de grupos de recursos serverless para criar o grupo. O sistema usará automaticamente o pacote de recursos resgatado para compensar os custos gerados pelo grupo.

P: Uma tarefa de Data Integration está em execução há muito tempo com 0% de progresso, ou uma mensagem de erro indica que o tipo de grupo de recursos não é suportado. O que fazer?

R: Esse problema geralmente ocorre ao usar um grupo de recursos exclusivo legado (como um grupo exclusivo para Data Integration), onde a fragmentação de slots de máquina impede que as tarefas obtenham recursos suficientes. Crie um grupo de recursos serverless e migre a tarefa para executá-lo nele. Se a tarefa ainda não conseguir ser executada, tente o seguinte:

• Reduza a configuração de concorrência da tarefa de sincronização.

• Aumente as especificações do grupo de recursos serverless para alocar mais CUs.

Grupos de recursos exclusivos legados não são mais recomendados. Migre para grupos de recursos serverless para obter melhor elasticidade e estabilidade.

P: Qual é a diferença entre grupos de recursos do DataWorks e recursos de computação do MaxCompute?

R: Para executar tarefas de sincronização de dados ODPS, são necessários dois tipos de recursos:

• Grupo de recursos serverless do DataWorks: Usado para agendar e executar tarefas de sincronização. Adquira o grupo no console do DataWorks.

• CUs de computação do MaxCompute: Usados para escanear e processar dados em projetos MaxCompute (ODPS). Adquira e configure as CUs de computação separadamente no console do MaxCompute.

Esses dois tipos de recursos são independentes e devem ser adquiridos separadamente. Se você adquirir apenas um grupo de recursos serverless do DataWorks, mas o projeto MaxCompute não tiver CUs de computação suficientes, as tarefas de sincronização ODPS podem falhar ou executar lentamente devido à falta de recursos durante a fase de varredura de dados.

Referências

• Utilize o recurso de monitoramento inteligente no Operation Center para acompanhar a utilização do grupo de recursos e o número de instâncias aguardando recursos. Para mais informações, consulte Create a custom rule.

• Se as tarefas executadas em um grupo de recursos serverless exigirem um ambiente de desenvolvimento específico (como dependências de bibliotecas de terceiros), crie uma custom image que integre os pacotes e dependências necessários. Em seguida, especifique o grupo de recursos serverless como recurso de execução e a imagem como ambiente de runtime ao executar a tarefa.