O Realtime Compute for Apache Flink organiza recursos e operações com base em conceitos fundamentais. Esta página define cada conceito e explica suas relações para ajudar você a planejar a configuração do workspace, configurar namespaces, implantar jobs e gerenciar o acesso.
Hierarquia
O diagrama a seguir ilustra a organização dos conceitos principais: do workspace e namespace no nível superior, passando por deployment e job, até os conectores, funções e catálogos que dão suporte ao processamento de dados.
Consoles
O Realtime Compute for Apache Flink oferece dois consoles com funções distintas.
| Console | Finalidade | Quando usar |
|---|---|---|
| Management Console | Portal centralizado para gerenciar o ciclo de vida de workspaces e namespaces. Crie, libere e reconfigure workspaces; clone namespaces para migração ou extensão. | Use para configurar a infraestrutura: criar workspaces, ajustar recursos computacionais ou duplicar um namespace para um novo ambiente. |
| Development Console | IDE específica por workspace para desenvolvimento e operações (O&M) de jobs Flink. Alterne entre namespaces, escreva e depure código, monitore jobs em execução e gerencie o controle de acesso em um único local. | Use no desenvolvimento diário para escrever drafts em SQL ou YAML, iniciar deployments, monitorar a integridade dos jobs e gerenciar permissões de namespace. |
Workspace e namespace
Workspaces e namespaces formam a base organizacional do Realtime Compute for Apache Flink.
|
Conceito |
Definição |
Motivo da existência |
|
workspace |
Unidade básica de gerenciamento de namespaces do Realtime Compute for Apache Flink. Cada workspace é um ambiente independente com recursos computacionais dedicados. |
Isola ambientes de computação. Por exemplo, use workspaces separados para diferentes unidades de negócios ou produtos. Cada workspace possui seu próprio Development Console independente. |
|
namespace |
Unidade de gerenciamento de drafts e deployments dentro de um workspace. Cada namespace tem configurações, drafts, deployments e permissões próprios, gerenciados de forma independente. |
Isola recursos e permissões entre tenants ou equipes no mesmo workspace. Crie namespaces separados para impor limites de acesso sem provisionar um novo workspace. |
Um workspace contém um ou mais namespaces. Drafts e deployments pertencem sempre a um namespace específico.
Tarefas relacionadas: Criar um workspace | Gerenciar namespaces | Reconfigurar recursos
Draft e deployment
Drafts e deployments representam duas etapas do ciclo de vida de um job Flink.
|
Conceito |
Definição |
Principais restrições |
|
draft |
Script SQL ou YAML criado e editado no Development Console. |
Crie drafts apenas dentro do console, não via SDKs. |
|
deployment |
Unidade executável criada a partir de um draft ou de um pacote JAR ou Python enviado pelo usuário. Deployments isolam ambientes como desenvolvimento e produção. |
Editar um draft após a implantação não afeta a instância do job em execução. Crie e gerencie deployments pelo Development Console ou por SDKs. |
O draft é sua source editável; o deployment é a versão em execução. Alterar o draft após a implantação não afeta o job ativo. Reimplante o job para aplicar as mudanças.
Tarefas relacionadas: Mapa de desenvolvimento de jobs | Implantar um job
Job
Um job é uma instância em execução de uma carga de trabalho em um deployment. Jobs possuem propriedades determinísticas de streaming ou batch, definidas no momento da implantação e fixas durante toda a vida útil do job.
Recursos e filas
Recurso
O faturamento do Realtime Compute for Apache Flink baseia-se em unidades de computação (CUs). Uma CU fornece:
1 núcleo de CPU
4 GiB de memória
20 GB de armazenamento local (para logs e checkpoints)
O consumo de CUs de um deployment depende de três fatores: consultas por segundo (QPS) dos fluxos de dados de entrada, complexidade computacional do job e distribuição dos dados de entrada. Planeje a alocação de CUs com base na escala esperada da carga de trabalho.
Tarefas relacionadas: Visão geral do faturamento | Configurar recursos do job | Gerenciamento de tags
Fila
Uma fila é uma partição de recursos atribuída a deployments. Use filas para implementar isolamento e gerenciamento de recursos.
Tarefa relacionada: Gerenciar filas de recursos
Processamento de dados
Conector
Conectores integram o Realtime Compute for Apache Flink a armazenamentos de dados upstream e downstream para permitir leituras e gravações em pipelines de sincronização. O serviço oferece conectores integrados e também aceita conectores personalizados enviados como pacotes JAR.
Referência: Conectores suportados
Função
Funções estendem a lógica de processamento SQL em jobs Flink. O Realtime Compute for Apache Flink fornece funções integradas e aceita funções definidas pelo usuário (UDFs) para lógicas personalizadas.
Referências: Visão geral das funções de janela | Visão geral das funções integradas | UDFs
Catálogo
Um catálogo armazena metadados usados pelos jobs Flink para descobrir e consultar dados, incluindo bancos de dados, tabelas, campos, partições e dados em sistemas externos. Gerenciar catálogos é essencial para configurar pipelines de dados.
Referência: Gerenciamento de dados
Controle de acesso
Função
Uma função é um conjunto nomeado de permissões. Atribua funções aos usuários para conceder acesso consistente em todo um namespace. Um usuário pode ter várias funções e vários usuários podem compartilhar a mesma função. Alterações de permissão em uma função aplicam-se a todos os usuários associados a ela.
Referência: Conceder permissões a uma função RAM
Membro
Uma conta Alibaba Cloud ou usuário RAM torna-se membro ao ser adicionado a um namespace. Membros só podem gerenciar dados, drafts, deployments, recursos e funções dentro desse namespace após receberem as permissões adequadas.
Referência: Autorização do console de desenvolvimento
Próximos passos
Visão geral do console — Explore o Management Console e o Development Console em detalhes.
Criar um workspace — Configure seu primeiro workspace.
Mapa de desenvolvimento de jobs — Siga o fluxo completo do draft ao job em execução.
Clone de projeto — Clone um namespace para expandir ou migrar sua configuração.