Este tópico resume os conceitos principais do Realtime Compute for Apache Flink. Utilize-o como referência rápida para entender como o service organiza seus recursos e operações.
Hierarquia
O diagrama a seguir ilustra a hierarquia dos conceitos principais no Realtime Compute for Apache Flink. Compreender essa estrutura ajuda você a planejar o desenvolvimento de jobs, deployments, operações e gerenciamento de segurança.
Conceitos
Conceito | Descrição | Documentação |
Management Console | O Management Console é a plataforma central para gerenciar e configurar workspaces. Ele oferece controle global sobre o ciclo de vida de workspaces e namespaces, permitindo ajustar a alocação de recursos de forma flexível conforme as necessidades do negócio. Os principais recursos incluem:
| |
Development Console | Cada workspace possui um Development Console independente, onde é possível alternar entre namespaces de destino. O Development Console destina-se ao desenvolvimento e às operações de jobs, ajudando a gerenciar todo o ciclo de vida do job, desde o desenvolvimento até a produção. Seus principais recursos incluem:
| |
Workspace | O workspace é a unidade básica para gerenciar namespaces no Realtime Compute for Apache Flink. Cada workspace conta com recursos de computação isolados e um Development Console independente. | |
Namespace | O namespace representa a unidade básica para o gerenciamento de jobs. Todas as configurações, jobs e permissões são gerenciados dentro de um único namespace. É possível criar vários namespaces e atribuir recursos e permissões separados a cada um, garantindo isolamento total de recursos e permissões para diferentes tenants. | |
Recurso | A unidade básica de recursos de computação no Realtime Compute for Apache Flink é a Compute Unit (CU). 1 CU = 1 vCPU + 4 GiB de memória + 20 GB de armazenamento local (para logs, checkpoints do sistema e outras informações). O consumo de CU de um job depende das Consultas Por Segundo (QPS) do fluxo de dados de entrada, da complexidade da computação e da distribuição específica dos dados de entrada. Estime a quantidade de recursos a serem adquiridos com base na escala do seu negócio e nos requisitos de computação. | |
Draft | Um draft é um job SQL criado na página ETL ou um job YAML criado na página Data Ingestion do Development Console. Este conceito aplica-se apenas ao desenvolvimento de jobs dentro do Development Console e não se aplica ao desenvolvimento via SDK. | |
Deployment | Um deployment isola o ambiente de desenvolvimento do ambiente de produção, evitando que modificações em um draft afetem um job em execução online. Crie um deployment a partir de um rascunho de job, um JAR enviado ou um pacote Python. Cada deployment possui propriedades de stream ou batch definidas. Esse conceito aplica-se ao desenvolvimento de jobs tanto pelo Development Console quanto por SDKs. | |
Instância de job | Uma instância de job é uma instância em execução de um job no ambiente de produção. Ela é gerada a partir de um deployment e possui propriedades de stream ou batch definidas. | Nenhuma |
Connector | O Realtime Compute for Apache Flink oferece diversos connectors integrados para leitura e escrita em vários sistemas upstream e downstream. Também há suporte para envio e uso de connectors personalizados. | |
Função | O Realtime Compute for Apache Flink suporta dois tipos de funções: funções integradas e funções definidas pelo usuário (UDFs). | |
Catalog | Um catalog no Realtime Compute for Apache Flink fornece metadados de sistemas externos. Esses metadados incluem informações sobre bancos de dados, tabelas, campos e partições. | |
Função (Role) | Uma função (role) é um conceito de segurança no Realtime Compute for Apache Flink que representa um conjunto de usuários com as mesmas permissões. Vários usuários podem pertencer a uma única função, e um usuário pode pertencer a múltiplas funções. Ao conceder permissões a uma função, todos os usuários associados a ela herdam automaticamente as mesmas permissões. | |
Membro | Um membro é um conceito de segurança no Realtime Compute for Apache Flink. Adicione contas Alibaba Cloud e usuários RAM como membros. Um membro (exceto o proprietário do projeto) deve ser adicionado ao projeto e receber permissões para operar em seus dados, jobs, recursos e funções. | |
Fila de recursos | Implante jobs em filas específicas para garantir isolamento e gerenciamento de recursos. |