EventBridge:Visão geral do EventHouse

Componentes principais

O EventHouse é composto por três componentes principais que funcionam de maneira independente e colaborativa:

Valor principal

Zero-ETL (Integração perfeita de dados)

Mapeie diretamente fontes de dados externas, como RDS e OSS, e execute consultas federadas sem mover dados para o EventHouse. Essa abordagem reduz a latência dos dados e os custos de armazenamento.

Governança unificada

O Open Catalog traz gerenciamento padronizado de metadados e rastreamento de linhagem de dados para informações sem schema em filas de mensagens, frequentemente chamadas de "dark data", ajudando a eliminar silos de dados.

Análise com agentes

O EventHouse integra nativamente o Model Context Protocol (MCP), permitindo que AI Agents compreendam as estruturas de dados de eventos e realizem análises usando consultas em linguagem natural.

Gerenciamento unificado de metadados

• Mapeamento de múltiplas fontes: Descobre e registra automaticamente metadados de fontes como Kafka, RocketMQ e RDS.

• Evolução de schema: Infere e gerencia versões de schema para dados de eventos automaticamente. Quando campos upstream mudam, o controle de versão de compatibilidade garante que as tarefas de análise downstream continuem sem interrupção.

• Rastreamento de linhagem de dados: Acompanha todo o ciclo de vida dos eventos, desde a produção (Producer) e o armazenamento (EventStore) até a análise (Analysis), oferecendo suporte à solução de problemas e à avaliação de impacto.

Compatibilidade com ecossistema aberto

O Open Catalog suporta formatos de tabela abertos, como Iceberg, Hudi e Delta Lake. Seus dados não ficam presos a um fornecedor específico, permitindo que você escolha livremente os mecanismos de computação de sua preferência.

Permissões e segurança

O controle de acesso granular (ACL) está disponível em três níveis: banco de dados, tabela e coluna.

Cenário de aplicação: Visualização unificada de dados

Em um cenário de e-commerce, os dados de pedidos podem estar dispersos entre o RocketMQ, para fluxos em tempo real, e o MySQL, para persistência. Crie uma View unificada no Catalog para associar logicamente os fluxos de pedidos em tempo real no MQ às tabelas de informações de usuários no banco de dados. Em seguida, visualize essa View diretamente, sem precisar saber o local de armazenamento físico dos dados subjacentes.

Mecanismo de consulta inteligente

• Consulta multimodal: Oferece suporte a três modos de consulta: SQL para consultas estruturadas, NoSQL para consultas de documentos e External para consultas em fontes de dados externas.

• Integração stream-batch: A mesma sintaxe SQL consulta tanto dados históricos arquivados (Batch) quanto fluxos de eventos recebidos em tempo real (Streaming).

• Materialized View: As materialized views pré-computadas armazenam em cache resultados de consultas frequentes, garantindo tempos de resposta na casa dos milissegundos.

Consulta federada

• Análise federada entre fontes: Associe diretamente tabelas internas do EventHouse a fontes de dados externas, como arquivos de log no OSS e tabelas de dimensões no RDS, usando JOIN SQL, sem necessidade de migração de dados.

• Predicate pushdown: As condições de filtro são enviadas à source para execução, puxando apenas os dados necessários e melhorando a eficiência da consulta.

Detecção de anomalias em tempo real

• Funções de janela de tempo integradas (Tumble, Hop e Session) calculam métricas como taxas de sucesso de transações e distribuições de latência em tempo real.

• Combine esse recurso com um mecanismo de regras para acionar automaticamente um evento de alerta quando os resultados da análise ultrapassarem um limiar, por exemplo, "mais de 100 pedidos com falha em 1 minuto".

Vantagens técnicas

DataAgent

O Luma inclui um DataAgent integrado que executa autonomamente um ciclo de percepção-planejamento-ação:

1. Percepção: Detecta uma queda anormal no volume de transações.

2. Planejamento: Decide consultar logs associados do gateway de pagamento e o status do pool de conexões do banco de dados.

3. Ação: Gera automaticamente SQL para análise de associação e produz um relatório de causa raiz.

Cenário de aplicação: Controle de risco em e-commerce

1. Um membro da equipe de operações pergunta: "Houve algum comportamento anormal de brushing na última meia hora?"

2. O Luma Agent recupera informações do Catalog usando MCP e identifica a Transaction_Table e o User_Behavior_Log.

3. O Agent gera automaticamente SQL de associação (incluindo janela de tempo, agregação de IP e análise de fingerprint de dispositivo) e o executa no mecanismo de análise do EventHouse.

4. Ele retorna uma lista de UserIDs suspeitos de brushing e gera um relatório de risco utilizando a base de conhecimento.