DataWorks:Create and use Serverless resource groups

Pré-requisitos

• Permissões necessárias para grupos de recursos:

  • Permissões de compra: São necessárias as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess.

    A permissão AliyunVPCReadOnlyAccess também é necessária para ler informações da VPC.

  • Permissões de gerenciamento: Apenas um administrador do workspace do workspace DataWorks de destino pode associar um grupo de recursos a esse workspace ou modifique a associação.

    Não sabe como conceder permissões? Consulte Visualize as permissões de um usuário RAM e Gerencie as permissões de um usuário RAM . Para obter informações sobre o controle de permissões para outras operações de grupos de recursos, consulte Políticas de controle de permissão no nível de objeto no console .

• Planejamento de ambiente e rede:

  • Princípio da mesma região: O grupo de recursos serverless deve estar na mesma região do seu workspace DataWorks.

  • Planejamento de VPC (obrigatório): Grupos de recursos serverless exigem uma Virtual Private Cloud (VPC). É necessário ter uma VPC e um vSwitch prontos.

    Importante

    • Não altere o ambiente de VPC e vSwitch associado a um grupo de recursos serverless. Alterações nesse ambiente podem causar falhas nas tarefas do DataWorks.

    • **Grupos de recursos serverless não suportam VPCs que utilizam endereços IP no bloco CIDR 21.0.0.0/8, ou seja, endereços IP de 21.0.X.X a 21.255.XXX.XXX são proibidos.**

  • Conectividade de rede: Para garantir que o grupo de recursos acesse suas fontes de dados (bancos de dados, serviços de dados ou outros dados em ambientes de rede de destino), configure a conectividade de rede de acordo com o ambiente da sua fonte de dados.

    Importante

    Por padrão, grupos de recursos serverless não têm acesso à internet. Para acessar fontes de dados pela internet, configure um NAT Gateway de Internet e um EIP para a VPC associada ao grupo de recursos serverless.

• Relação entre grupos de recursos do DataWorks e recursos de computação do MaxCompute: Para executar tarefas de sincronização de dados ODPS, são necessários dois tipos de recursos:

  • Grupo de recursos serverless do DataWorks: Utilizado para agendar e execute tarefas de sincronização. Adquira o grupo de recursos no console do DataWorks.

  • CUs de computação do MaxCompute: Utilizados para escanear e processar dados em projetos MaxCompute (ODPS). Adquira e configure as CUs de computação separadamente no console do MaxCompute.

  Esses dois tipos de recursos são independentes e devem ser adquiridos separadamente. Se você adquirir apenas um grupo de recursos serverless do DataWorks, mas o projeto MaxCompute não tiver CUs de computação suficientes, as tarefas de sincronização ODPS poderão falhar ou apresentar lentidão devido à insuficiência de recursos durante a fase de varredura de dados.

Criar um grupo de recursos serverless

Os Pacotes de recursos de teste gratuito são válidos apenas para grupos de recursos com pagamento conforme o uso. Para utilizar a oferta resgatada, certifique-se de criar um grupo de recursos com pagamento conforme o uso.

1. Faça login no console do DataWorks. Na região de destino, clique em Resource Group no painel de navegação à esquerda para abrir a lista de grupos de recursos.

2. Clique em Create Resource Group para acesse a página de compra do grupo de recursos serverless. Os principais parâmetros são:

   Para usuários de versões anteriores, a operação está na aba padrão Exclusive Resource Group .

   Parâmetro	Descrição
   Região e zona	Selecione uma região. A região deve ser a mesma do seu workspace DataWorks.
   Método de faturamento	Dois métodos de faturamento estão disponíveis: Subscription (pré-pago) e Pay-As-You-Go (pós-pago). Pay-As-You-Go: Ideal para cargas de trabalho com grandes flutuações ou cenários de teste. Não há cobrança quando nenhum recurso é utilizado. Suporta a alteração para Subscription. Importante Limite de CU no Pay-As-You-Go: A especificação máxima para um único grupo de recursos com pagamento conforme o uso é de 500 CUs. Subscription: Recomendado para cargas de trabalho de produção estáveis e de longo prazo, com custo reduzido. Não é possível alterar de Subscription para Pay-As-You-Go. É possível adquirir vários grupos de recursos com diferentes métodos de faturamento para atender aos requisitos do seu negócio.
   Especificações do grupo de recursos	Quando o método de faturamento for Subscription, defina as especificações do grupo de recursos. A quantidade mínima de compra é de 2 CUs, e o incremento mínimo de dimensionamento é de 1 CU. 1 CU = 1 núcleo de CPU + 4 GiB de memória. Para recomendações de compra e especificações mínimas necessárias para execute diversas tarefas, consulte Especificações e preços de grupos de recursos.
   VPC	Selecione a VPC com base na rede à qual o grupo de recursos precisa se conectar. Se não houver opções disponíveis na lista suspensa, acesse o console da VPC para criar uma. Para mais informações sobre VPCs, consulte O que é uma VPC?. A source de dados está na mesma conta e região do grupo de recursos serverless: Configure a VPC e o vSwitch onde a source de dados reside. A source de dados está em outros ambientes de rede complexos: Também será necessário conectar a VPC associada ao grupo de recursos serverless à VPC onde a source de dados reside, utilizando o VPN Gateway ou o Express Connect. Para mais detalhes, consulte Conectividade de rede. Importante Um grupo de recursos suporta associação a múltiplas VPCs. Você pode associar VPCs adicionais após a conclusão da compra. Se o método de faturamento do grupo de recursos for Subscription, a VPC configurada aqui não poderá ser alterada ou substituída para o Data Service após ser aplicada ao Data Service, computação de dados e Data Integration. Planeje com antecedência.
   vSwitch
   Ciclo de faturamento	Quando o método de faturamento for Subscription, será necessário defina o ciclo de faturamento. Importante Recomendamos selecione Auto Renewal para evitar interrupções nos negócios causadas por expiração, desligamento ou liberação de recursos. Após selecione essa opção, o ciclo de renovação automática será mensal, e as taxas serão deduzidas automaticamente pelo preço em tempo real antes da expiração da instância.
   Função vinculada ao serviço	Na primeira compra, é necessário Create Service-linked Role (AliyunServiceRoleForDataWorks). Compras subsequentes utilizarão automaticamente a função criada. Esta função é usada para acessar recursos de VPC, Elastic Network Interface (ENI) e grupo de segurança. Se você vir o aviso Please create AliyunServiceRoleForDataWorks, forneça esta URL de autorização ao proprietário da conta Alibaba Cloud ou a outro pessoal autorizado para realizar a autorização e, em seguida, prossiga.

   Importante

   Após a criação de um grupo de recursos serverless, não é possível alterar o vSwitch associado a ele. Caso selecione um vSwitch incorreto durante a criação, não será possível modifique diretamente a associação. Será necessário cancele a assinatura do grupo de recursos atual e adquirir um novo com o vSwitch correto. Certifique-se de verifique a configuração do vSwitch antes de criar um grupo de recursos.

Após concluir a compra, a lista de grupos de recursos pode levar de 1 a 2 minutos para exibir o grupo recém-criado. Se o grupo de recursos não aparecer imediatamente na lista, atualize manualmente a página. Após a criação, o status do grupo de recursos será exibido como Creating. O grupo de recursos só poderá ser utilizado quando o status mudar para Running.

Certifique-se de associar o grupo de recursos a um workspace assim que o status mudar para Running. Caso contrário, o grupo de recursos não poderá ser selecione nas configurações de tarefas.

Configuração e uso do grupo de recursos

Operação e monitoramento de grupos de recursos

Gestão de custos de grupos de recursos

FAQ

P: Existem restrições de região para compras?

R: As restrições de compra são as seguintes.

• Se desejar usar grupos de recursos serverless em um ambiente de revendedor, confirme primeiro se o seu provedor oferece suporte à venda deste product.

• Compras não são suportadas na região Thailand (Bangkok).

P: Após adquirir um pacote de recursos de teste gratuito para grupos de recursos serverless, não consigo associar um grupo de recursos no DataWorks e nenhum grupo aparece na lista. O que devo fazer?

R: Um pacote de recursos de teste gratuito é um voucher de dedução de custos e não cria automaticamente um grupo de recursos. É necessário criar manualmente um grupo de recursos serverless com pagamento conforme o uso, e o sistema utilizará automaticamente o pacote de recursos para compensar os custos gerados por esse grupo. Quando a cota do pacote de recursos se esgotar, as cobranças serão deduzidas do saldo da sua conta com base no pagamento conforme o uso.

P: Como um grupo de recursos serverless pode acessar um endereço de host?

R: Grupos de recursos serverless não suportam acesso direto a hosts. Se necessário, utilize o Privatezone DNS para resolver e acessar o host.

1. Ative o serviço PrivateZone DNS

   Nota

   Se o PrivateZone DNS já estiver ativado, pule esta etapa.

2. Você já criou uma zona.

   Usando o nome de domínio do host header-1-cn-shanghai como exemplo, realize a resolução autoritativa para o nome de domínio header-1-cn-shanghai. Ajuste este parâmetro com base na configuração do nome de domínio do seu host.

3. Adicionar um registro DNS

   Defina o Record Value como o private IP address correspondente ao host vinculado ao nome de domínio.

4. Associar uma VPC à zona

   Ao defina a VPC para que o nome de domínio tenha efeito, selecione a VPC associada ao grupo de recursos.

P: Resgatei um pacote de recursos para novos usuários ou um pacote de dedução, mas não consigo selecione um grupo de recursos na página de associação ou na configuração de tarefas. Por quê?

R: Pacotes de recursos para novos usuários e pacotes de dedução são apenas vouchers de dedução de custos. Eles não criam instâncias de grupos de recursos automaticamente. Acesse a página Resource Group List, clique em Create Resource Group e selecione o método de faturamento Pay-As-You-Go para criar uma instância de grupo de recursos. Após a criação do grupo de recursos, atualize a página e o grupo aparecerá na lista suspensa.

Se a página redirecionar para a página de teste gratuito durante a criação, navegue manualmente de volta para a página de compra do grupo de recursos serverless para criar o grupo. O sistema usará automaticamente o pacote de recursos resgatado para compensar os custos gerados pelo grupo de recursos.

P: Uma tarefa de Data Integration está em execução há muito tempo com 0% de progresso, ou uma mensagem de erro indica que o tipo de grupo de recursos não é suportado. O que devo fazer?

R: Esse problema geralmente é causado pelo uso de um grupo de recursos exclusivo legado (como um grupo de recursos exclusivo para Data Integration), onde a fragmentação de slots de máquina impede que as tarefas obtenham recursos suficientes. Crie um grupo de recursos serverless e alterne a tarefa para execute nele. Se a tarefa ainda não conseguir ser executada, tente o seguinte:

• Reduza a configuração de concorrência da tarefa de sincronização.

• Aumente as especificações do grupo de recursos serverless para alocar mais CUs.

Grupos de recursos exclusivos legados não são mais recomendados. Migre para grupos de recursos serverless para obter melhor elasticidade e estabilidade.

Referências

• Utilize o recurso de monitoramento inteligente no Operation Center para monitorar a utilização do grupo de recursos e o número de instâncias aguardando recursos. Para mais informações, consulte Criar uma regra personalizada.

• Se as tarefas executadas em um grupo de recursos serverless exigirem um ambiente de desenvolvimento específico (como dependências de bibliotecas de terceiros), crie uma imagem personalizada que integre os pacotes e dependências necessários e, em seguida, especifique o grupo de recursos serverless como recurso de execução e a imagem como ambiente de runtime ao execute a tarefa.