Este tópico apresenta uma visão geral do Lindorm.
O que é o Lindorm
O Lindorm é um banco de dados hiperconvergente, multimodelo e cloud-native, projetado e otimizado para cenários como Internet das Coisas (IoT), aplicações de internet e Internet dos Veículos (IoV). Ele oferece acesso unificado e processamento integrado para diversos tipos de dados, incluindo tabelas largas, séries temporais, texto, objetos, streams e dados espaciais. O Lindorm é compatível com interfaces padrão como SQL, HBase/S3, TSDB, HDFS, Solr e Kafka, além de se integrar perfeitamente a ferramentas de ecossistemas de terceiros. É adequado para casos de uso como logging, monitoramento, faturamento, publicidade, redes sociais, mobilidade e controle de riscos. O Lindorm também é um dos bancos de dados que sustentam os negócios principais da Alibaba.
Por que escolha o Lindorm
Contexto de negócios
Arquiteturas tradicionais de armazenamento de dados frequentemente utilizam bancos de dados separados para diferentes tipos de informação, como dados relacionais, séries temporais e armazenamento de objetos. Essa prática gera fragmentação tecnológica significativa: pilhas complexas de componentes, escolhas tecnológicas difíceis e longos pipelines de sincronização de dados. Tal abordagem exige maior especialização da equipe técnica, prolonga os ciclos de implantação, aumenta as taxas de falha e os custos operacionais, além de dificultar a evolução da arquitetura. Por exemplo, alcançar alta disponibilidade entre zonas de disponibilidade ou replicação global muitas vezes requer modificações individuais em cada componente. A adoção das tecnologias 5G e IoT amplifica ainda mais o conflito central entre a diversidade de necessidades de dados e as arquiteturas de armazenamento cada vez mais complexas.
Para resolver esses problemas, a Alibaba Cloud desenvolveu o Lindorm, oferecendo armazenamento, consulta e análise unificados para dados multimodelo. Conforme ilustrado na figura a seguir, a arquitetura do Lindorm simplifica drasticamente a pilha de armazenamento de dados em comparação às soluções tradicionais, o que melhora a estabilidade do sistema e reduz os custos de implantação.
Capacidades principais
O Lindorm é elástico, econômico, fácil de usar, aberto e estável. É ideal para armazenar e analisar vários tipos de dados, como metadados, logs, faturas, tags, mensagens, relatórios, tabelas de dimensão, tabelas de resultados, feeds, perfis de usuários, dados de dispositivos, dados de monitoramento, dados de sensores, arquivos pequenos e imagens pequenas. As capacidades principais do Lindorm incluem:
Capacidade principal | Descrição |
Hiperconvergência multimodelo | Oferece suporte a vários modelos de dados, como tabelas largas, séries temporais, objetos, texto, filas e dados espaciais. Os dados são interoperáveis entre esses modelos. O Lindorm fornece capacidades e serviços integrados para ingestão, armazenamento, recuperação, computação e análise de dados. Isso permite criar aplicações com maior rapidez, flexibilidade e eficiência. |
Custo-benefício | Entrega dezenas de milhões de requisições simultâneas com latência no nível de milissegundos. Reduz significativamente os custos de armazenamento ao utilizar armazenamento em camadas, separação inteligente de dados quentes e frios e compressão adaptativa baseada nas características dos dados. |
Elasticidade cloud-native | Permite o dimensionamento elástico independente de recursos de computação e armazenamento. |
Compatibilidade aberta | Compatível com múltiplas interfaces padrão, como SQL, HBase/S3, TSDB, HDFS, Solr e Kafka. O Lindorm integra-se perfeitamente a sistemas como Hadoop, Spark, Flink e Kafka, facilitando a troca, o processamento e a assinatura de dados. |
Arquitetura do produto
O Lindorm utiliza uma arquitetura cloud-native inovadora, com separação entre computação e armazenamento e integração multimodelo compartilhada, para atender às demandas da era da nuvem por desacoplamento de recursos e dimensionamento elástico. O Lindorm é construído sobre o LindormDFS, um sistema de arquivos distribuído cloud-native que atua como base de armazenamento unificado. Essa base suporta vários mecanismos de dados especializados, incluindo o mecanismo de tabela larga, mecanismo de séries temporais, mecanismo de busca, mecanismo vetorial e mecanismo colunar. Sobre esses mecanismos, o Lindorm fornece uma interface SQL unificada para consultas federadas entre modelos e também suporta interfaces padrão open source, como HBase, OpenTSDB, Spark e HDFS, garantindo migração tranquila para cargas de trabalho existentes. Além disso, o Lindorm Tunnel Service (LTS) gerencia o fluxo de dados em tempo real e a captura de alterações de dados entre os mecanismos, viabilizando migração de dados, assinatura em tempo real, descarga para data lake, write-back para data warehouse, arquiteturas multi-ativas unitizadas, backup e recuperação.
Capacidades multimodais
O Lindorm suporta múltiplos tipos de modelos de dados, incluindo tabelas largas, séries temporais, objetos, arquivos, filas e dados espaciais. Ele aceita instruções SQL padrão e APIs de diversos sistemas open source. Os dados podem ser transferidos e sincronizados entre os modelos, tornando o desenvolvimento de aplicações mais ágil, flexível e eficiente. A tabela a seguir descreve as principais capacidades multimodais fornecidas pelos diferentes mecanismos do Lindorm.
|
Mecanismo |
Capacidade principal |
|
Mecanismo de tabela larga (LindormTable) |
Gerencia e serve dados de tabelas largas e objetos. Oferece recursos como índices secundários globais, recuperação multidimensional, colunas dinâmicas e Time-to-Live (TTL). Este mecanismo é adequado para cenários como metadados, pedidos, faturas, perfis de usuários, feeds sociais e logs. É compatível com interfaces padrão como SQL, HBase e S3. O LindormTable consegue lidar com dezenas de milhões de requisições simultâneas e armazenar centenas de petabytes de dados. Também fornece o recurso de separação de dados quentes e frios. Em comparação com o desempenho do Apache HBase open source, o throughput aumenta de 2 a 6 vezes, a latência do percentil 99 (P99) diminui em 90%, o tempo médio de reparo (MTTR) cai em 90%, a taxa de compressão de dados aumenta em 100% e o custo abrangente de armazenamento é reduzido em 50%. |
|
Mecanismo de séries temporais (LindormTSDB) |
Gerencia e serve dados de séries temporais. Foi projetado para dados de medição, monitoramento e operação de equipamentos em cenários industriais, de IoT e monitoramento. Fornece capacidades de gerenciamento, escrita e consulta baseadas em SQL. Seu algoritmo de compressão especializado para séries temporais atinge uma taxa de compressão de até 10:1. O mecanismo suporta consultas multidimensionais e computação agregada em grandes conjuntos de dados, oferece capacidades nativas de consulta PromQL e permite pré-downsampling e consultas contínuas para séries temporais. |
|
Mecanismo de busca (LindormSearch) |
Desenvolvido com base em tecnologias essenciais como armazenamento colunar e indexação invertida, o LindormSearch é utilizado para acelerar a recuperação e análise de dados multimodais. O LindormSearch possui diversas capacidades, como recuperação de texto completo, computação agregada e consultas multidimensionais complexas, sendo adequado para cenários como consultas de logs, faturas e personas de usuários. Também é compatível com as APIs padrão de softwares e serviços open source, como SQL e Apache Solr. |
|
Mecanismo de computação (LDPS). |
O Lindorm Distributed Processing System (LDPS) integra-se ao LindormDFS para fornecer serviços de computação distribuída baseados em uma arquitetura cloud-native, atendendo aos requisitos de computação em vários cenários, como produção de dados, análises interativas, machine learning e computação em grafos. O LDPS é compatível com a API padrão do Apache Spark. Você é o proprietário dos recursos do LDPS em suas instâncias do Lindorm. |
|
Mecanismo de stream |
O mecanismo de stream do Lindorm é voltado para o processamento de dados em stream, oferecendo funcionalidades de armazenamento e computação leve para esse tipo de dado. Ele facilita o armazenamento de dados em stream no Lindorm e a construção de processamentos e aplicações baseados nesses dados. |
|
Mecanismo vetorial |
O mecanismo vetorial do Lindorm serve para armazenar, indexar e recuperar grandes volumes de dados vetoriais. Suporta múltiplos algoritmos de indexação, funções de distância e uma variedade de métodos integrados de recuperação de dados. Esse mecanismo permite realizar recuperações de texto completo e vetoriais de forma integrada, requisito essencial em RAG para melhorar a precisão de grandes modelos. Portanto, o mecanismo vetorial do Lindorm é adequado para serviços relacionados à IA, como recomendação, NLP e Q&A inteligente. |
|
Mecanismo colunar (L-Column) |
O mecanismo colunar do Lindorm é um serviço de banco de dados colunar online de alto desempenho, baixo custo, estável e confiável. Destina-se a cenários de IoT, IoV e logging, fornecendo operações eficientes de leitura/escrita, armazenamento com alta compressão e análises online de alto desempenho. |
|
AI Engine (Lindorm AI) |
O mecanismo de IA do Lindorm oferece uma capacidade integrada de inferência de IA completa que executa em seus próprios recursos. Use o Lindorm SQL para importar e implantar modelos pré-treinados de maneira flexível, realizando análises e processamentos inteligentes de grandes volumes de dados multimodelo. |