Este tópico apresenta uma visão geral do Lindorm.
O que é o Lindorm
O Lindorm é um banco de dados hiperconvergente, multimodelo e nativo da cloud, projetado e otimizado para cenários como Internet das Coisas (IoT), aplicações de internet e Internet dos Veículos (IoV). Ele oferece acesso unificado e processamento integrado para diversos tipos de dados, incluindo tabelas largas, séries temporais, texto, objetos, streams e dados espaciais. O Lindorm é compatível com interfaces padrão como SQL, HBase/S3, TSDB, HDFS, Solr e Kafka, integrando-se perfeitamente a ferramentas de ecossistemas de terceiros. É adequado para casos de uso como logging, monitoramento, faturamento, publicidade, redes sociais, mobilidade e controle de riscos. Além disso, o Lindorm é um dos bancos de dados que sustentam os negócios principais da Alibaba.
Por que escolha o Lindorm
Contexto de negócios
Arquiteturas tradicionais de armazenamento de dados frequentemente utilizam bancos de dados separados para diferentes tipos de informação, como dados relacionais, séries temporais e armazenamento de objetos. Essa prática gera uma fragmentação tecnológica significativa: pilhas complexas de componentes, escolhas tecnológicas difíceis e longos pipelines de sincronização de dados. Tal abordagem exige maior especialização da equipe técnica, prolonga os ciclos de implantação de negócios, aumenta as taxas de falha e os custos operacionais, além de dificultar a evolução da arquitetura. Por exemplo, alcançar alta disponibilidade entre zonas de disponibilidade ou replicação global muitas vezes requer modificações individuais em cada componente. A adoção das tecnologias 5G e IoT amplifica ainda mais o conflito central entre a diversidade de necessidades de dados e as arquiteturas de armazenamento cada vez mais complexas.
Para resolver esses problemas, a Alibaba Cloud desenvolveu o Lindorm, oferecendo armazenamento, consulta e análise unificados para dados multimodelo. Conforme ilustrado na figura a seguir, a arquitetura do Lindorm simplifica drasticamente a pilha de armazenamento de dados em comparação às soluções tradicionais, o que melhora a estabilidade do sistema e reduz os custos de implantação.
Capacidades principais
O Lindorm é elástico, econômico, fácil de usar, aberto e estável. É ideal para armazenar e analisar vários tipos de dados, como metadados, logs, faturas, tags, mensagens, relatórios, tabelas de dimensão, tabelas de resultados, feeds de notícias, perfis de usuários, dados de dispositivos, dados de monitoramento, dados de sensores, arquivos pequenos e imagens pequenas. As capacidades principais do Lindorm incluem:
Capacidade principal | Descrição |
Hiperconvergência multimodelo | Oferece suporte a múltiplos modelos de dados, como tabelas largas, séries temporais, objetos, texto, filas e dados espaciais. Os dados são interoperáveis entre esses modelos. O Lindorm fornece capacidades e service integrados para ingestão, armazenamento, recuperação, computação e análise de dados. Isso permite criar aplicações com maior rapidez, flexibilidade e eficiência. |
Custo-benefício | Entrega dezenas de milhões de requisições simultâneas com latência no nível de milissegundos. Reduz significativamente os custos de armazenamento ao utilizar armazenamento em camadas, separação inteligente de dados quentes e frios, e compressão adaptativa baseada nas características dos dados. |
Elasticidade nativa da cloud | Permite o dimensionamento elástico independente de recursos de computação e armazenamento. |
Compatibilidade aberta | Compatível com várias interfaces padrão, como SQL, HBase/S3, TSDB, HDFS, Solr e Kafka. O Lindorm integra-se perfeitamente a sistemas como Hadoop, Spark, Flink e Kafka, facilitando a troca, o processamento e a assinatura de dados. |
Para mais informações, consulte Features e Advantages.
Arquitetura do product
O Lindorm utiliza uma arquitetura inovadora nativa da cloud, com separação entre computação e armazenamento e integração multimodelo compartilhada, para atender às demandas da era da cloud por desacoplamento de recursos e dimensionamento elástico. O Lindorm é construído sobre o LindormDFS, um sistema de arquivos distribuído nativo da cloud que atua como sua base de armazenamento unificado. Essa base suporta vários mecanismos de dados especializados, incluindo o mecanismo de tabela larga, mecanismo de séries temporais, mecanismo de busca, mecanismo vetorial e mecanismo colunar. Sobre esses mecanismos, o Lindorm fornece uma interface SQL unificada para consultas federadas entre modelos e também suporta interfaces padrão open source, como HBase, OpenTSDB, Spark e HDFS, garantindo uma migração tranquila para cargas de trabalho existentes. Adicionalmente, o Lindorm Tunnel Service (LTS) gerencia o fluxo de dados em tempo real e a captura de alterações de dados entre os mecanismos, habilitando a migração de dados, assinatura em tempo real, descarga para data lake, write-back para data warehouse, arquiteturas multi-ativas unitizadas, além de backup e recuperação.
Capacidades multimodais
O Lindorm suporta múltiplos tipos de modelos de dados, incluindo tabelas largas, séries temporais, objetos, arquivos, filas e dados espaciais. Ele aceita instruções SQL padrão e APIs de diversos sistemas open source. Os dados podem ser transferidos e sincronizados entre os modelos, tornando o desenvolvimento de aplicações mais ágil, flexível e eficiente. A tabela a seguir descreve as principais capacidades multimodais fornecidas pelos diferentes mecanismos do Lindorm.
|
Mecanismo |
Capacidade principal |
|
Mecanismo de tabela larga (LindormTable) |
Gerencia e serve dados de tabelas largas e objetos. Oferece recursos como índices secundários globais, recuperação multidimensional, colunas dinâmicas e Time-to-Live (TTL). Este mecanismo é adequado para cenários como metadados, pedidos, faturas, perfis de usuários, feeds sociais e logs. É compatível com interfaces padrão como SQL, HBase e S3. O LindormTable consegue lidar com dezenas de milhões de requisições simultâneas e armazenar centenas de petabytes de dados. Também fornece o recurso de separação de dados quentes e frios. Em comparação com o desempenho do Apache HBase open source, o throughput aumenta de 2 a 6 vezes, a latência do percentil 99 (P99) diminui em 90%, o tempo médio de reparo (MTTR) cai em 90%, a taxa de compressão de dados aumenta em 100% e o custo abrangente de armazenamento é reduzido em 50%. |
|
Mecanismo de séries temporais (LindormTSDB) |
Especializado em gerenciar e servir dados de séries temporais. Foi projetado para dados de medição, monitoramento e operação de equipamentos em cenários industriais, de IoT e monitoramento. Fornece capacidades de gerenciamento, escrita e consulta baseadas em SQL. Seu algoritmo de compressão especializado para séries temporais atinge uma taxa de compressão de até 10:1. O mecanismo suporta consultas multidimensionais e computação agregada em grandes conjuntos de dados, oferece capacidades nativas de consulta PromQL e permite pré-downsampling e consultas contínuas para dados de séries temporais. |
|
Mecanismo de busca (LindormSearch) |
Desenvolvido com base em tecnologias centrais como armazenamento colunar e indexação invertida, o LindormSearch é utilizado para acelerar a recuperação e análise de dados multimodais. Conta com diversas capacidades, como recuperação de texto completo, computação agregada e consultas multidimensionais complexas, sendo adequado para cenários como consultas de logs, faturas e personas de usuários. Também é compatível com as APIs padrão de softwares e service open source, como SQL e Apache Solr. |
|
Mecanismo de computação (LDPS). |
O Lindorm Distributed Processing System (LDPS) integra-se ao LindormDFS para fornecer service de computação distribuída baseados em uma arquitetura nativa da cloud, atendendo a requisitos de computação em vários cenários, como produção de dados, análises interativas, machine learning e computação em grafos. O LDPS é compatível com a API padrão do Apache Spark. Você é o proprietário dos recursos do LDPS em suas instâncias do Lindorm. |
|
Mecanismo vetorial |
O mecanismo vetorial do Lindorm serve para armazenar, indexar e recuperar grandes volumes de dados vetoriais. Suporta múltiplos algoritmos de indexação, funções de distância e uma variedade de métodos integrados de recuperação de dados. Esse mecanismo oferece a capacidade de realizar recuperações de texto completo e vetoriais de forma integrada, requisito essencial em RAG para melhorar a precisão de grandes modelos. Portanto, o mecanismo vetorial do Lindorm é adequado para service relacionados à IA, como recomendação, NLP e Q&A inteligente. |
|
Mecanismo colunar (L-Column) |
O mecanismo colunar do Lindorm é um service de banco de dados colunar online de alto desempenho, baixo custo, estável e confiável. Focado em cenários de IoT, IoV e logging, ele proporciona operações eficientes de leitura/escrita, armazenamento com alta compressão e análises online de alto desempenho. |
|
AI Engine (Lindorm AI) |
O mecanismo de IA do Lindorm fornece uma capacidade integrada de inferência de IA completa que executa em seus próprios recursos. Use o Lindorm SQL para importar e implantar modelos pré-treinados de forma flexível, realizando análises e processamentos inteligentes de grandes volumes de dados multimodelo. |