Os grupos de recursos serverless unificam as capacidades dos antigos grupos de recursos de agendamento exclusivo, integração de dados e service de dados. Um único grupo de recursos serverless cuida da sincronização de dados, do agendamento periódico e de API services, o que simplifica o gerenciamento de recursos. Há dois modelos de faturamento disponíveis:
Assinatura: Recursos de computação dedicados, estáveis e previsíveis, ideais para ambientes de produção.
Pagamento conforme o uso: Recursos de computação elásticos e sob demanda, que oferecem flexibilidade e custo-benefício.
Ao usar um grupo de recursos serverless, há a cobrança de uma task scheduling fee para tarefas de nó agendadas periodicamente e publicadas no ambiente de produção.
Cenários de faturamento
As taxas de um grupo de recursos serverless do DataWorks incluem uma taxa de uso de recursos e uma taxa de agendamento de tarefas.
-
Taxa de uso de recursos: Certas tarefas do DataWorks consomem unidades de computação (CUs) de um grupo de recursos serverless durante a execução. As taxas são calculadas com base no consumo total de CUs. Essa parte da taxa é a taxa de uso de recursos, medida em CUs.
Em que,
1 CU = 1 CPU core + 4 GiB of memory. -
Taxa de agendamento de tarefas: Uma task scheduling fee se aplica ao publicar uma tarefa para agendamento periódico no ambiente de produção. Essas tarefas incorrem apenas na taxa de agendamento de tarefas, e não na taxa de uso de recursos. A taxa é calculada com base no número de execuções de instância bem-sucedidas, excluindo execuções de teste.
Um grupo de recursos serverless suporta um máximo de 200 instâncias simultâneas . Esse limite corresponde ou supera a simultaneidade de todos os tipos antigos de grupos de recursos. Não é necessário considerar as especificações de CU para o grupo de recursos serverless.
Tipo de tarefa | Descrição do tipo de tarefa | Tipo de custo |
Data Integration | execute uma data synchronization task (por exemplo, sincronização em lote) no módulo Data Integration ou DataStudio. | Taxa de uso de recursos |
Computação de dados |
Importante Para tipos de tarefa de computação de dados, consulte Appendix 1: Serverless resource group task types. | |
DataService Studio | Chame interfaces de API no DataService Studio. | |
Ambiente de desenvolvimento pessoal | Depure tarefas usando um personal development environment. | |
Service de LLM | Implante e use LLM services. | |
Agendamento de tarefas | Tarefas de Periodically scheduled executadas no ambiente de produção. | Taxa de agendamento de tarefas |
Observações
Em grupos de recursos serverless com pagamento conforme o uso, pode ocorrer contenção de recursos durante os horários de pico, e a disponibilidade oportuna dos recursos não pode ser totalmente garantida.
Você pode upgrade a pay-as-you-go resource group to a subscription resource group, mas um grupo de recursos de assinatura não pode ser convertido em um grupo de recursos com pagamento conforme o uso.
Quando novos usuários ativam o DataWorks, um grupo de recursos serverless com pagamento conforme o uso é adquirido por padrão. Nenhuma taxa é cobrada se você não o utilizar. Para detalhes de faturamento, consulte Billing details.
O total de CUs disponíveis para um grupo de recursos serverless de assinatura é a quantidade de CUs especificada no momento da compra. O uso real não excede esse limite. Para obter mais CUs, é necessário aumentar a escala do recurso.
Quando todos os CUs de um grupo de recursos serverless de assinatura estão ocupados, as novas tarefas enviadas entram em uma fila e aguardam a liberação de CUs ociosos antes de iniciar a execução.
Métricas de desempenho
Os grupos de recursos serverless são faturados com base no consumo de CUs, em que 1 CU = 1 CPU core + 4 GiB of memory. Ao usar um grupo de recursos serverless, planeje as especificações do grupo de recursos com base nos seus cenários de desenvolvimento e tipos de tarefa.
As especificações recomendadas a seguir são diretrizes gerais. Você pode ajustar os recursos com base nos requisitos específicos do seu negócio e nas condições reais para garantir que as tarefas sejam executadas de forma eficiente e estável.
Data Integration
Sincronização em lote
Simultaneidade de uma tarefa de sincronização em lote | Especificações recomendadas | Especificações mínimas |
<4 | 0.5 CU | 0.5 CU |
>=4 |
|
Sincronização em tempo real
Tipo de tarefa de sincronização | Especificações recomendadas | Especificações mínimas | |
Sincronização em tempo real do MySQL | 1 banco de dados | 2 CU | Especificações mínimas para execute uma tarefa de sincronização em tempo real: 1 CU |
2 a 5 bancos de dados | 2 CU | ||
6 ou mais bancos de dados | 2 CU | ||
Sincronização em tempo real do Kafka | 1 CU | ||
Outras tarefas em tempo real de tabela única | 1 CU | ||
Sincronização em tempo real de banco de dados inteiro | - | Especificações mínimas para execute uma tarefa de sincronização de banco de dados inteiro: 2 CU | |
Computação de dados
Cada tarefa de computação de dados possui uma alocação padrão de CUs. Para mais informações, consulte Task types and CU consumption.
DataService Studio
Máximo de consultas por segundo (QPS) | Especificações mínimas | Disponibilidade do service (SLA) |
500 | 4 CU | 99.95% |
1000 | 8 CU | |
2000 | 16 CU |
Ambiente de desenvolvimento pessoal
Os ambientes de desenvolvimento pessoal baseados em CPU fornecem cotas de recursos que variam de 2 a 100 CUs. Os ambientes baseados em GPU fornecem cotas de 21 a 60 CUs. Você pode estimar a cota necessária com base no seu tipo de tarefa:
Tarefas leves (como consultas SQL simples e depuração de scripts Python): Recomendamos selecionar uma cota de recursos menor (como 2 CUs).
Tarefas de complexidade média (como processamento de dados e análise em notebooks): Recomendamos selecionar uma cota de recursos média (como 4 CUs).
Tarefas de deep learning (como treinamento de modelos TensorFlow e PyTorch): Recomendamos selecionar recursos baseados em GPU e escolha a memória da GPU e a quantidade de CUs adequadas com base no tamanho do seu modelo.
Serviços de grandes modelos
Estime a dedução de CUs necessária com base na memória da GPU.
A implantação de modelos
0.6B,1.7B,4Bou8Brequer no mínimo24GBde memória da GPU.A implantação de um modelo
14Brequer no mínimo48GBde memória da GPU.A implantação de um modelo
32Brequer no mínimo96GBde memória da GPU.
Agendamento de tarefas
Um grupo de recursos serverless suporta um máximo de 200 instâncias simultâneas. Não é necessário considerar as especificações de CU para o grupo de recursos serverless. A simultaneidade padrão é 50. Você pode definir o limite de simultaneidade de agendamento de tarefas como 200 na página de detalhes do grupo de recursos.
Modelos de faturamento
Os grupos de recursos serverless estão disponíveis em dois modelos de faturamento: assinatura (mensal ou anual) e pagamento conforme o uso.
Grupo de recursos serverless (assinatura): Você estima antecipadamente a quantidade de CUs necessária e a duração do uso, e paga de acordo. Além da taxa de assinatura, o DataWorks não cobra outras taxas de uso de recursos para sincronização de dados, computação de dados ou depuração/chamada de APIs do Data Service.
Grupo de recursos serverless (pagamento conforme o uso): Você usa primeiro os recursos do product e depois paga com base no consumo total de CUs. A execução de certas tarefas (como tarefas de sincronização em lote, tarefas do Data Service e tarefas de desenvolvimento de dados) em um grupo de recursos serverless com pagamento conforme o uso incorre nas respectivas taxas de uso de recursos.
A tabela a seguir compara os dois modelos de faturamento:
Item | Grupo de recursos serverless (pagamento conforme o uso) | Grupo de recursos serverless (assinatura) |
Quantidade total de CUs disponíveis | Calculada com base no uso real. | A quantidade de CUs especificada na compra. |
Aumento de escala, redução de escala e renovação | Não aplicável | Suportado |
Gerenciamento de cotas | Usado para controlar os recursos de CU disponíveis para diferentes cenários.
| |
Limite de simultaneidade de agendamento de tarefas | Suportado. No máximo 200 instâncias de tarefa podem ser executadas simultaneamente. | |
Número de VPCs vinculadas |
| Depende da quantidade de CUs adquirida.
|
Padrões de faturamento
Faturamento de grupo de recursos de assinatura
O faturamento é baseado no uso de CUs. Taxa = preço unitário mensal × número de meses × CUs adquiridos por mês.
O modelo de faturamento de assinatura requer a compra mínima de 2 CUs por mês. Não há limite superior para as especificações, mas a disponibilidade pode estar sujeita ao estoque. Se o estoque for insuficiente, verifique o aviso na página de compra.
Se as especificações não atenderem aos seus requisitos após a compra, você poderá aumentar a escala a qualquer momento. Para mais informações, consulte Scale up a serverless resource group.
Para as especificações mínimas de recursos exigidas por diferentes tipos de tarefa ao usar um grupo de recursos serverless, consulte Minimum resource specifications for tasks.
Região | Preço unitário mensal (USD/mês/CU) |
China (Shanghai), China (Hangzhou), China (Beijing), China (Shenzhen) | 37.1517 |
China (Chengdu) | 30.45686 |
UK (London) | 51.01286 |
US (Virginia) | 53.92014 |
Malaysia (Kuala Lumpur) | 63.36534 |
China (Hong Kong), Singapore, Germany (Frankfurt), Indonesia (Jakarta) | 67.61327 |
US (Silicon Valley) | 72.74794 |
Japan (Tokyo) | 77.45584 |
South Korea (Seoul) | 52.47334281 |
UAE (Dubai) | 81.09255 |
Thailand (Bangkok) | 50.21967298 |
Faturamento de grupo de recursos com pagamento conforme o uso
O faturamento é baseado em horas-CU × preço unitário por CU. A fórmula é Taxa = horas-CU × preço unitário por CU. As faturas são geradas por hora.
No gerenciamento de cotas do grupo de recursos, se você alocar 1 CU para o DataService Studio, o consumo de CUs continuará independentemente de o DataService Studio estar sendo efetivamente utilizado. O consumo só para após você ajustar a cota de CUs alocada para o DataService Studio para 0.
Região | Preço unitário (USD/hora-CU) | Exemplo |
China (Shanghai), China (Hangzhou), China (Beijing), China (Shenzhen) | 0.077399 | |
China (Chengdu) | 0.063452 | |
UK (London) | 0.106277 | |
US (Virginia) | 0.112334 | |
Malaysia (Kuala Lumpur) | 0.132011 | |
Germany (Frankfurt), Indonesia (Jakarta), China (Hong Kong), Singapore | 0.140861 | |
US (Silicon Valley) | 0.151558 | |
Japan (Tokyo) | 0.161366 | |
South Korea (Seoul) | 0.10931946 | |
UAE (Dubai) | 0.168943 | |
Thailand (Bangkok) | 0.10462432 |
Visualize detalhes da fatura
Ao visualizar os detalhes da fatura no console de Billing Management, o item de faturamento e o código de faturamento para um grupo de recursos serverless são os seguintes:
Pagamento conforme o uso: O item de faturamento é
Serverless Resource Group CU-Hours (Pay-As-You-Go), e o código de faturamento éexresource_cu_hour_post.Assinatura: O item de faturamento é
General-purpose exclusive resource group subscription (hybrid billing), e o código de faturamento écu_number.
Para mais informações, consulte Purchase a serverless resource group.
Vencimento e renovação
Se um grupo de recursos serverless de assinatura estiver prestes a vencer, você poderá renová-lo. Se você não renovar o grupo de recursos, ele será suspenso ou liberado. Para mais informações sobre renovação, consulte Renew a serverless resource group.
Próxima etapa
Você pode adquirir um grupo de recursos e usá-lo para tarefas como integração de dados, desenvolvimento de dados e service de dados. Para informações sobre como adquirir um grupo de recursos, vinculá-lo a um espaço de trabalho e conectar o grupo de recursos à sua rede, consulte Purchase and use a serverless resource group.
Informações adicionais
Apêndice 1: Tipos de tarefa e consumo de CUs
As tarefas geradas pelo desenvolvimento de nós do DataWorks são divididas em tarefas de computação (o consumo de CUs é calculado) e tarefas de agendamento (o consumo de CUs não é calculado).
Determinar o tipo de tarefa
Acesse a página de edição do nó correspondente em Data Studio e verifique o tipo de tarefa navegando até na barra de navegação à direita.
-
Tarefas de computação: Na seção Scheduling Policy, especifique os CUs de computação necessários para a execução da tarefa.
-
Cenário 1: Os CUs de computação podem ser personalizados.
No painel à direita, clique em Scheduling Configuration, selecione a aba Scheduling Policy, defina o Resource Group e insira o Compute CU (por exemplo,
0.25). -
Cenário 2: Os CUs de computação só podem ser definidos com o valor padrão.
Na barra lateral direita, clique em Scheduling Configuration, selecione a aba Scheduling Policy. O valor padrão do Compute CU é 0.25, e a interface exibe a mensagem "The current node uses the default CU value. You do not need to modify the CU.".
-
Tarefas de agendamento: Na seção Scheduling Policy, você só precisa selecionar um grupo de recursos de agendamento. Nenhuma configuração de CU é necessária.
Lista de configuração de CUs para tarefas de computação
A execução de tarefas de computação de dados em um grupo de recursos serverless consome CUs. O CU padrão e o CU de execução são descritos a seguir:
CU padrão: A quantidade recomendada de CUs alocada pela plataforma com base no tipo de tarefa para cada execução. Executar tarefas com um valor inferior a este pode não garantir uma execução eficiente.
-
CU de execução: A quantidade real de CUs configurada para executar uma tarefa. A plataforma preenche isso automaticamente com o valor do CU padrão, que você pode ajustar conforme necessário. Os princípios de configuração são os seguintes:
A configuração mínima é 0,25 CU, com um incremento de 0,25 CU. Se a interface exibir a mensagem The CU Quota of the Current Resource Group Is Insufficient, você poderá ajustar a cota de CUs para tarefas de computação.
Para evitar uma configuração de recursos insuficiente ou excessiva, configure os recursos adequadamente com base no CU padrão e na cota de CUs das tarefas de computação. Para mais informações, consulte Configure the CU quota for a serverless resource group.
Apenas algumas tarefas suportam o ajuste do CU de execução. Exemplos:
O CU de execução de tarefas Hologres SQL não pode ser ajustado e só pode ser definido como 0,25 (o CU padrão).
O CU de execução padrão de tarefas PyODPS 2 é 0,5; modifique conforme necessário (por exemplo, 0,4 ou 0,6).
Tipo de nó | Nome do nó | CU padrão (unidade: CU) | CU de execução modificável |
Notebook | 0.5 | Suportado | |
MaxCompute | 0.5 | Suportado | |
0.5 | Suportado | ||
0.5 | Suportado | ||
0.25 | Suportado | ||
0.25 | Suportado | ||
Hologres | 0.25 | - | |
0.25 | Suportado | ||
0.25 | Suportado | ||
EMR | 0.25 | - | |
0.25 | - | ||
0.25 | Suportado | ||
0.25 | - | ||
0.25 | Suportado | ||
0.5 | Suportado | ||
0.5 | Suportado | ||
0.5 | Suportado | ||
0.25 | - | ||
0.25 | - | ||
Serverless Spark | 0.25 | - | |
0.25 | - | ||
0.25 | - | ||
LLM | 0.5 | - | |
ADB | 0.25 | - | |
0.25 | - | ||
CDH | 0.25 | - | |
0.5 | Suportado | ||
0.25 | - | ||
0.25 | - | ||
0.25 | - | ||
0.25 | - | ||
Lindorm | 0.25 | - | |
0.25 | - | ||
Data Quality | 0.25 | - | |
0.5 | Suportado | ||
Geral | 0.25 | Suportado | |
0.25 | Suportado | ||
0.25 | - | ||
0.5 | Suportado | ||
0.25 | Suportado | ||
0.25 | Suportado | ||
0.25 | - | ||
0.25 | - | ||
0.25 | - | ||
Nó StarRocks | 0.25 | - | |
Algoritmo | 0.25 | - |
Lista de configuração de tarefas de agendamento
As tarefas de agendamento não consomem CUs do grupo de recursos serverless.
Tipo de nó | Nome do nó |
Data Integration | |
MaxCompute | |
Hologres | |
ADB | |
Serverless StarRocks | |
Flink | |
Geral | |
Algoritmo | |
Nó PostgreSQL | |
Nó Doris | |
Nó SelectDB | |
Nó MySQL | |
Nó SQL Server | |
Nó Oracle | |
Nó DRDS | |
Nó PolarDB MySQL | |
Nó PolarDB PostgreSQL | |
Nó MariaDB | |
Nó Redshift | |
Nó Saphana | |
Nó Vertica | |
Nó DM (Dameng) | |
Nó KingbaseES | |
Nó OceanBase | |
Nó DB2 | |
Nó GBase 8a | |
ClickHouse |
Apêndice 2: Modos de faturamento para execução de tarefas
Ao executar uma tarefa de nó no DataWorks, a taxa de computação não é necessariamente cobrada pelo DataWorks. Você precisa identificar qual mecanismo de computação ou recurso realmente executa a tarefa. Existem os três cenários a seguir:
Uma taxa de agendamento de tarefas é cobrada para todas as tarefas publicadas no ambiente de produção para agendamento periódico.
|
Método de execução |
Nós de tarefa representativos |
Provedor de recursos de computação |
Detalhamento de custos |
|
Método 1: Tarefas de computação são enviadas e executadas em um grupo de recursos serverless |
PyODPS, Shell, Data Integration, Data Quality |
Grupo de recursos serverless |
Apenas taxa do grupo de recursos serverless |
|
Método 2: Tarefas de computação são enviadas por meio de um grupo de recursos serverless para um mecanismo de terceiros para execução |
EMR Hive, Hologres SQL |
Grupo de recursos serverless + mecanismo de terceiros |
Taxa do grupo de recursos serverless + taxa do mecanismo de terceiros |
|
Método 3: Tarefas de agendamento são enviadas por meio do centro de agendamento para um mecanismo de terceiros para execução |
MaxCompute SQL, Flink SQL |
Mecanismo de terceiros |
Taxa do mecanismo de terceiros |
Apêndice 3: Detalhamento de taxas para módulos específicos
Ao usar um grupo de recursos serverless com os módulos funcionais a seguir, as taxas do grupo de recursos serverless são cobradas conforme descrito abaixo:
Data Integration: Ao sincronizar dados, as tarefas do Data Integration são executadas nos módulos Data Integration, DataStudio e Operation Center, consumindo CUs do grupo de recursos serverless e incorrendo em taxas do Data Integration. As tarefas de sincronização agendadas periodicamente também incorrem em uma taxa de agendamento de tarefas.
Data Studio: Ao usar o Data Studio para o desenvolvimento de tarefas, as tarefas de computação e de agendamento são executadas nos módulos DataStudio, Data Quality e Operation Center, consumindo CUs do grupo de recursos serverless e incorrendo em taxas de computação de dados e uma taxa de agendamento de tarefas. Ao usar um ambiente de desenvolvimento pessoal, taxas de ambiente de desenvolvimento pessoal também são cobradas. Ao usar serviços de grandes modelos ou nós de grandes modelos, taxas de service de grandes modelos também são cobradas.
Data Analysis: Ao usar o Data Analysis para análise de consultas SQL ou downloads de resultados de consultas, as tarefas de computação são executadas no módulo Data Analysis, consumindo CUs do grupo de recursos serverless e incorrendo em taxas de computação de dados. Ao usar o Data Insights, uma taxa de agendamento de tarefas também é cobrada.
DataService Studio: Ao usar o DataService Studio para crie APIs, a cota de CUs alocada ao DataService Studio por meio do gerenciamento de cotas do grupo de recursos é consumida do grupo de recursos serverless, incorrendo em taxas do DataService Studio. Ao usar o envio de dados (data push), uma taxa de agendamento de tarefas também é cobrada.