Os grupos de recursos serverless unificam as capacidades dos antigos grupos de recursos de agendamento exclusivo, integração de dados e service de dados. Um único grupo de recursos serverless gerencia sincronização de dados, agendamento periódico e serviços de API, simplificando o gerenciamento de recursos. Dois modelos de faturamento estão disponíveis:
Assinatura: Recursos computacionais dedicados estáveis e previsíveis, ideais para ambientes de produção.
Pagamento conforme o uso: Recursos computacionais elásticos e sob demanda, oferecendo flexibilidade e custo-benefício.
Uma taxa de agendamento de tarefas é cobrada para tarefas de nó agendadas periodicamente e publicadas no ambiente de produção ao utilizar um grupo de recursos serverless.
Cenários de faturamento
As taxas de um grupo de recursos serverless do DataWorks incluem uma taxa de uso de recursos e uma taxa de agendamento de tarefas.
-
Taxa de uso de recursos: Certas tarefas do DataWorks consomem unidades de computação (CUs) de um grupo de recursos serverless durante a execução. As taxas são calculadas com base no consumo total de CUs.
Onde,
1 CU = 1 núcleo de CPU + 4 GiB de memória. -
Taxa de agendamento de tarefas: Uma taxa de agendamento de tarefas se aplica quando você publica uma tarefa para agendamento periódico no ambiente de produção. Essas tarefas incorrem apenas na taxa de agendamento, sem cobrança pelo uso de recursos. O cálculo considera o número de execuções bem-sucedidas da instância, excluindo execuções de teste.
Um grupo de recursos serverless suporta um máximo de 200 instâncias simultâneas . Esse limite iguala ou supera a concorrência de todos os tipos antigos de grupos de recursos. Não é necessário considerar as especificações de CU para o grupo de recursos serverless.
|
Tipo de tarefa |
Descrição do tipo de tarefa |
Tipo de custo |
|
Data Integration |
Execute uma tarefa de sincronização de dados, como sincronização em lote, no Data Integration ou Data Studio. |
Taxa de uso de recursos |
|
Data Compute |
Importante
Para tipos de tarefas de computação de dados, consulte Tipos de tarefas e consumo de CU. |
|
|
Data Service |
Chame endpoints de API no Data Service. |
|
|
Ambiente de desenvolvimento pessoal |
Depure tarefas usando um ambiente de desenvolvimento pessoal. |
|
|
Serviço de modelo grande |
Implante e utilize serviços de modelo grande. |
|
|
Agendamento de tarefas |
Tarefas de agendamento periódico executadas no ambiente de produção. |
Taxa de agendamento de tarefas |
Observações
Em grupos de recursos serverless com pagamento conforme o uso, pode ocorrer contenção de recursos durante horários de pico, sem garantia total de disponibilidade imediata.
É possível converter um grupo de recursos de pagamento conforme o uso para assinatura, mas grupos de recursos por assinatura não podem ser convertidos para pagamento conforme o uso.
Ao ativar o DataWorks, novos usuários adquirem por padrão um grupo de recursos serverless no modelo de pagamento conforme o uso. Nenhuma taxa é gerada se o grupo de recursos não for utilizado. Para detalhes sobre faturamento, consulte Padrões de faturamento.
O total de CUs disponíveis em um grupo de recursos serverless por assinatura corresponde à quantidade de CUs especificada na compra. O uso real não ultrapassa esse limite. Para obter mais CUs, faça o scale up do grupo de recursos.
Quando todas as CUs de um grupo de recursos serverless por assinatura estiverem ocupadas, novas tarefas enviadas entrarão em fila e só iniciarão após a liberação de CUs.
Métricas de desempenho
O faturamento dos grupos de recursos serverless baseia-se no uso de CUs, onde 1 CU = 1 núcleo de CPU + 4 GiB de memória. Planeje as especificações do grupo de recursos conforme seus cenários de desenvolvimento e tipos de tarefas.
As especificações abaixo são recomendações gerais. Ajuste-as conforme suas necessidades de negócio para garantir uma execução de tarefas estável e eficiente.
Data Integration
Sincronização em lote
|
Concorrência da tarefa de sincronização em lote |
Especificações recomendadas |
Especificações mínimas |
|
<4 |
0,5 CU |
0,5 CU |
|
>=4 |
|
Sincronização em tempo real
|
Tipo de tarefa de sincronização |
Especificações recomendadas |
Especificações mínimas |
|
|
Sincronização em tempo real do MySQL |
1 banco de dados |
2 CUs |
Especificações mínimas para executar uma tarefa de sincronização em tempo real: 1 CU |
|
2 a 5 bancos de dados |
2 CUs |
||
|
6 ou mais bancos de dados |
2 CUs |
||
|
Sincronização em tempo real do Kafka |
1 CU |
||
|
Outras tarefas em tempo real de tabela única |
1 CU |
||
|
Sincronização em tempo real de banco de dados completo |
- |
Especificações mínimas para executar uma tarefa de sincronização de banco de dados completo: 2 CUs |
|
Data compute
Cada tarefa de computação de dados possui uma alocação padrão de CUs. Para detalhes, consulte Tipos de tarefas e consumo de CU.
Data Service
|
QPS máximo |
Especificações mínimas |
Disponibilidade do service (SLA) |
|
500 |
4 CUs |
99,95% |
|
1000 |
8 CUs |
|
|
2000 |
16 CUs |
Personal development environment
Ambientes de desenvolvimento pessoal baseados em CPU suportam cotas de 2 a 100 CUs. Ambientes baseados em GPU suportam cotas de 21 a 60 CUs. Estime os requisitos com base nos tipos de tarefas:
Tarefas leves (como consultas SQL simples e depuração de scripts Python): Recomenda-se uma cota de recursos menor (como 2 CUs).
Tarefas de complexidade moderada (como processamento de dados e análise em notebook): Recomenda-se uma cota de recursos média (como 4 CUs).
Tarefas de deep learning (como treinamento de modelos TensorFlow e PyTorch): Recomenda-se o uso de recursos do tipo GPU. Selecione um tamanho adequado de memória GPU e quantidade de CUs conforme o tamanho do modelo.
Large model service
Estime a dedução de CUs necessária com base na memória da GPU.
A implantação de modelos
0.6B,1.7B,4Bou8Brequer no mínimo24GBde memória GPU.A implantação de um modelo
14Brequer no mínimo48GBde memória GPU.A implantação de um modelo
32Brequer no mínimo96GBde memória GPU.
Task scheduling
Um grupo de recursos serverless suporta no máximo 200 instâncias simultâneas. Não é necessário planejar especificações de CU. A concorrência padrão é 50, e você pode aumentar a concorrência máxima de agendamento de tarefas para 200 na página de detalhes do grupo de recursos.
Modelos de faturamento
Grupos de recursos serverless estão disponíveis em dois modelos de faturamento: assinatura (pré-pago) e pagamento conforme o uso (pós-pago).
Grupo de recursos serverless (assinatura): Estime antecipadamente a quantidade de CUs necessária e a duração do uso, pagando a taxa correspondente. Além da taxa de assinatura, o DataWorks não cobra taxas adicionais de uso de recursos para sincronização de dados, computação de dados ou depuração e chamada de APIs do Data Service.
Grupo de recursos serverless (pagamento conforme o uso): Utilize os recursos do product primeiro e pague posteriormente com base no consumo real de CUs. A execução de certas tarefas (como sincronização em lote, Data Service e tarefas de desenvolvimento de dados) em um grupo de recursos serverless no modelo de pagamento conforme o uso gera taxas de uso de recursos.
A tabela a seguir compara os dois modelos de faturamento:
|
Item de comparação |
Grupo de recursos serverless (pagamento conforme o uso) |
Grupo de recursos serverless (assinatura) |
|
Total de CUs disponíveis |
Calculado com base no uso real. |
Quantidade de CUs especificada na compra. |
|
Scale-up, scale-down e renovação |
Não aplicável |
Suportado |
|
Gerenciamento de cotas |
Controla o máximo de CUs disponíveis para diferentes cenários. Suportado para Data Compute, Data Integration, Data Service e ambientes de desenvolvimento pessoal. |
|
|
Concorrência máxima de agendamento de tarefas |
Suportado. Até 200 instâncias de tarefas podem ser executadas simultaneamente. |
|
|
Número de VPCs associadas |
|
Depende da quantidade de CUs adquirida.
|
Padrões de faturamento
Faturamento de grupo de recursos por assinatura
O faturamento baseia-se no uso de CUs: Taxa = Preço unitário mensal × Número de meses × CUs adquiridas por mês.
A compra mínima para assinatura é de 2 CUs por mês. Não há limite superior, mas a disponibilidade pode ser afetada pelo estoque. Verifique a página de compra para notificações quando o estoque for insuficiente.
Caso as especificações não atendam aos seus requisitos após a compra, faça o scale up a qualquer momento. Para detalhes, consulte Fazer scale up de um grupo de recursos.
Para as especificações mínimas exigidas por diferentes tipos de tarefas ao executar em um grupo de recursos serverless, consulte Métricas de desempenho.
|
Região |
Preço unitário mensal (USD/mês/CU) |
|
China (Shanghai), China (Hangzhou), China (Beijing), China (Shenzhen) |
37.1517 |
|
China (Chengdu) |
30.45686 |
|
UK (London) |
51.01286 |
|
US (Virginia) |
53.92014 |
|
Malaysia (Kuala Lumpur) |
63.36534 |
|
China (Hong Kong), Singapore, Germany (Frankfurt), Indonesia (Jakarta) |
67.61327 |
|
US (Silicon Valley) |
72.74794 |
|
Japan (Tokyo) |
77.45584 |
|
South Korea (Seoul) |
52.47334281 |
|
UAE (Dubai) |
81.09255 |
|
Thailand (Bangkok) |
50.21967298 |
Faturamento de grupo de recursos por pagamento conforme o uso
O faturamento baseia-se em CU-horas × Preço unitário da CU: Taxa = CU-horas × Preço unitário da CU. As faturas são geradas por hora.
No gerenciamento de cotas do grupo de recursos, se você configurar 1 CU para o Data Service, o consumo de CUs continuará independentemente de o recurso Data Service estar em uso. O consumo só será interrompido após definir a cota do Data Service como 0 CUs.
|
Região |
Preço unitário (USD/CU-hora) |
Exemplo |
|
China (Shanghai), China (Hangzhou), China (Beijing), China (Shenzhen) |
0.077399 |
|
|
China (Chengdu) |
0.063452 |
|
|
UK (London) |
0.106277 |
|
|
US (Virginia) |
0.112334 |
|
|
Malaysia (Kuala Lumpur) |
0.132011 |
|
|
Germany (Frankfurt), Indonesia (Jakarta), China (Hong Kong), Singapore |
0.140861 |
|
|
US (Silicon Valley) |
0.151558 |
|
|
Japan (Tokyo) |
0.161366 |
|
|
South Korea (Seoul) |
0.10931946 |
|
|
UAE (Dubai) |
0.168943 |
|
|
Thailand (Bangkok) |
0.10462432 |
Visualizar detalhes de faturamento
No console Billing Management, os itens e códigos de faturamento para grupos de recursos serverless são:
Pagamento conforme o uso: O item de faturamento é
General Resource Group CU-Hours (Pay-As-You-Go), e o código de faturamento éexresource_cu_hour_post.Assinatura: O item de faturamento é
General Exclusive Resource Group Subscription (Hybrid Billing), e o código de faturamento écu_number.
Para instruções detalhadas, consulte Visualizar detalhes de faturamento.
Vencimento e renovação
Renove seu grupo de recursos serverless por assinatura antes do vencimento para evitar suspensão ou liberação. Para detalhes, consulte Renovar um grupo de recursos.
Próxima etapa
Para adquirir um grupo de recursos, associá-lo a um workspace e configure a conectividade de rede, consulte Criar e gerenciar um grupo de recursos serverless.
Informações adicionais
Apêndice 1: Tipos de tarefas e consumo de CU
As tarefas geradas a partir do desenvolvimento de nós no DataWorks classificam-se em tarefas de computação de dados (que consomem CUs) e tarefas de agendamento (que não consomem CUs).
Determinar o tipo de tarefa
Na página de edição de nós no Data Studio, verifique o tipo de tarefa na barra de navegação à direita em .
-
Tarefas de computação: Na seção Scheduling Policy, especifique as CUs de computação necessárias para a tarefa.
-
Cenário 1: O valor de CU de computação pode ser personalizado.
No painel à direita, clique em Schedule Settings, selecione a aba Scheduling Policy e configure o Resource Group e Compute CU (por exemplo,
0.25). -
Cenário 2: O valor de CU de computação só pode ser definido como padrão.
No painel à direita, clique em Schedule Settings, selecione a aba Scheduling Policy. O valor padrão de Compute CU é 0,25, e a interface exibe a mensagem "The current node uses the default CU value. No CU modification is needed."
-
Tarefas de agendamento: Na seção Scheduling Policy, selecione apenas um grupo de recursos de agendamento. Nenhuma configuração de CU é necessária.
Lista de configuração de CU para tarefas de computação
A execução de tarefas de computação de dados em um grupo de recursos serverless consome CUs. A CU padrão e a CU de execução são descritas a seguir:
CU padrão: Quantidade recomendada de CUs alocada pela plataforma para cada execução de tarefa com base no tipo de tarefa. Executar uma tarefa abaixo desse valor pode não garantir uma execução eficiente.
-
CU de execução: Quantidade real de CUs configurada para uma execução de tarefa. A plataforma preenche previamente este campo com o valor da CU padrão, que você pode ajustar conforme necessário. Princípios de configuração:
A configuração mínima é 0,25 CU, com incremento de 0,25 CU. Se a interface exibir The CU Quota of the Current Resource Group Is Insufficient, ajuste a cota de CUs para tarefas de computação de dados.
Para evitar alocação insuficiente ou excessiva de recursos, configure os recursos com base na CU padrão e na cota de CUs para tarefas de computação de dados. Para detalhes, consulte Configurar a cota de CUs.
Apenas algumas tarefas suportam o ajuste da CU de execução. Por exemplo:
A CU de execução para tarefas Hologres SQL não pode ser ajustada e só pode ser definida como 0,25 (a CU padrão).
A CU de execução para tarefas PyODPS 2 tem como padrão 0,5 e pode ser ajustada conforme necessário (por exemplo, 0,4 ou 0,6).
|
Tipo de nó |
Nome do nó |
CU padrão (unidade: CU) |
CU de execução ajustável |
|
Notebook |
0,5 |
Sim |
|
|
MaxCompute |
0,5 |
Sim |
|
|
0,5 |
Sim |
||
|
0,5 |
Sim |
||
|
0,25 |
Sim |
||
|
0,25 |
Sim |
||
|
Hologres |
0,25 |
- |
|
|
0,25 |
- |
||
|
0,25 |
Sim |
||
|
0,25 |
Sim |
||
|
EMR |
0,25 |
- |
|
|
0,25 |
- |
||
|
0,25 |
Sim |
||
|
0,25 |
- |
||
|
0,25 |
Sim |
||
|
0,5 |
Sim |
||
|
0,5 |
Sim |
||
|
0,5 |
Sim |
||
|
0,25 |
- |
||
|
0,25 |
- |
||
|
Serverless Spark |
0,25 |
- |
|
|
0,25 |
- |
||
|
0,25 |
- |
||
|
Severless StarRocks |
0,25 |
- |
|
|
Modelo grande |
0,5 |
- |
|
|
ADB |
0,25 |
Sim |
|
|
0,25 |
Sim |
||
|
0,25 |
- |
||
|
0,25 |
- |
||
|
CDH |
0,25 |
- |
|
|
0,5 |
Sim |
||
|
0,25 |
- |
||
|
0,25 |
- |
||
|
0,25 |
- |
||
|
0,25 |
- |
||
|
Lindorm |
0,25 |
- |
|
|
0,25 |
- |
||
|
Click House |
0,25 |
- |
|
|
Data Quality |
0,25 |
- |
|
|
0,5 |
Sim |
||
|
Geral |
0,25 |
Sim |
|
|
0,25 |
Sim |
||
|
0,25 |
- |
||
|
0,5 |
Sim |
||
|
0,25 |
Sim |
||
|
0,25 |
Sim |
||
|
0,25 |
- |
||
|
0,25 |
- |
||
|
0,25 |
- |
||
|
Nó MySQL |
0,25 |
- |
|
|
SQL Server |
|||
|
Nó Oracle |
|||
|
Nó StarRocks |
|||
|
Nó DRDS |
|||
|
Nó PolarDB MySQL |
|||
|
Nó PolarDB PostgreSQL |
|||
|
Nó MariaDB |
|||
|
Nó Redshift |
|||
|
Nó Saphana |
|||
|
Nó Vertica |
|||
|
Nó DM (Dameng) |
|||
|
Nó KingbaseES |
|||
|
Nó OceanBase |
|||
|
Nó DB2 |
|||
|
Nó GBase 8a |
|||
|
Algoritmo |
0,25 |
- |
Lista de configuração de tarefas de agendamento
Tarefas de agendamento não consomem CUs do grupo de recursos serverless.
|
Tipo de nó |
Nome do nó |
|
Data Integration |
|
|
MaxCompute |
|
|
Flink |
|
|
Geral |
|
|
Algoritmo |
|
|
Nó PostgreSQL |
|
|
Nó Doris |
|
|
Nó SelectDB |
Apêndice 2: Modos de faturamento para execução de tarefas
Ao executar uma tarefa de nó no DataWorks, a taxa de computação não é necessariamente cobrada pelo DataWorks. A taxa depende de qual mecanismo de computação ou recurso executa a tarefa:
Uma taxa de agendamento de tarefas é sempre gerada quando uma tarefa é publicada no ambiente de produção para agendamento periódico.
|
Modo de execução |
Nós de tarefa representativos |
Provedor de recursos de computação |
Composição da taxa |
|
Modo 1: Tarefas de computação são enviadas ao grupo de recursos serverless para execução |
PyODPS, Shell, Data Integration, Data Quality |
Grupo de recursos serverless |
Apenas taxa do grupo de recursos serverless |
|
Modo 2: Tarefas de computação são enviadas a mecanismos de terceiros através do grupo de recursos serverless |
EMR Hive, Hologres SQL |
Grupo de recursos serverless + mecanismo de terceiros |
Taxa do grupo de recursos serverless + taxa do mecanismo de terceiros |
|
Modo 3: Tarefas de agendamento são enviadas a mecanismos de terceiros através do Operation Center |
MaxCompute SQL, Flink SQL |
Mecanismo de terceiros |
Taxa do mecanismo de terceiros |
Apêndice 3: Detalhamento de taxas por módulo
Os seguintes módulos geram taxas de grupo de recursos serverless:
Data Integration: Tarefas do Data Integration executadas nos módulos Data Integration, Data Studio e Operation Center consomem o grupo de recursos serverless e geram taxas do Data Integration. Tarefas de sincronização periódica também geram taxas de agendamento de instâncias de tarefas.
Data Studio: Tarefas de computação de dados e tarefas de agendamento executadas nos módulos Data Studio, Data Quality e Operation Center consomem o grupo de recursos serverless e geram taxas de computação de dados e taxas de agendamento de instâncias de tarefas. O uso de um ambiente de desenvolvimento pessoal também gera taxas de ambiente de desenvolvimento pessoal. O uso de serviços de modelo grande ou nós de modelo grande também gera taxas de service de modelo grande.
Data Analysis: Análises de consultas SQL e downloads de resultados de consultas no Data Analysis consomem o grupo de recursos serverless e geram taxas de computação de dados. O uso de insights de dados também gera taxas de agendamento de instâncias de tarefas.
Data Service: Configure as CUs ocupadas pelo Data Service através do gerenciamento de cotas do grupo de recursos, consumindo o grupo de recursos serverless e gerando taxas do Data Service. O uso do Data Push também gera taxas de agendamento de instâncias de tarefas.