Lindorm - Lindorm - Centre de documentation Alibaba Cloud

Cette rubrique présente une vue d'ensemble de Lindorm.

Qu'est-ce que Lindorm

Lindorm est une base de données cloud native, multimodèle et hyperconvergée, conçue et optimisée pour des scénarios tels que l'Internet des objets (IoT), les applications Internet et l'Internet des véhicules (IoV). Elle offre un accès unifié et un traitement intégré pour divers types de données, notamment les tables larges, les séries temporelles, le texte, les objets, les flux et les données spatiales. Lindorm est compatible avec des interfaces standard telles que SQL, HBase/S3, TSDB, HDFS, Solr et Kafka, et s'intègre parfaitement aux outils tiers de l'écosystème. Elle convient à des cas d'usage comme la journalisation, la surveillance, la facturation, la publicité, les réseaux sociaux, la mobilité et le contrôle des risques. Lindorm fait également partie des bases de données qui soutiennent les activités principales d'Alibaba.

Pourquoi choisir Lindorm

Contexte commercial

Les architectures de stockage de données traditionnelles utilisent souvent des bases de données distinctes pour différents types de données, telles que les données relationnelles, les séries temporelles et le stockage d'objets. Cette approche entraîne une fragmentation technologique importante : une pile de composants complexe, des choix technologiques difficiles et de longs pipelines de synchronisation des données. Cette méthode exige une expertise plus spécialisée de la part du personnel technique, allonge les cycles de déploiement des activités commerciales, augmente les taux d'échec et les coûts opérationnels, et entrave l'évolution architecturale. Par exemple, la mise en œuvre d'une haute disponibilité entre zones de disponibilité ou d'une réplication mondiale nécessite souvent des modifications distinctes pour chaque composant. L'adoption des technologies 5G et IoT amplifie encore le conflit fondamental entre des besoins de données diversifiés et des architectures de stockage de plus en plus complexes.

Pour résoudre ces problèmes, Alibaba Cloud a développé Lindorm afin de fournir un stockage, une interrogation et une analyse unifiés pour les données multimodèles. Comme le montre la figure suivante, l'architecture de Lindorm simplifie considérablement la pile de stockage de données par rapport aux solutions traditionnelles, ce qui améliore la stabilité du système et réduit les coûts de déploiement.

Capacités principales

Lindorm est élastique, rentable, facile à utiliser, ouverte et stable. Elle est idéale pour le stockage et l'analyse de divers types de données, tels que les métadonnées, les journaux, les factures, les tags, les messages, les rapports, les tables de dimensions, les tables de résultats, les flux d'actualités, les profils utilisateurs, les données d'appareils, les données de surveillance, les données de capteurs, les petits fichiers et les petites images. Les capacités principales de Lindorm sont les suivantes :

Capacité principale	Description
Hyperconvergence multimodèle	Prend en charge plusieurs modèles de données, tels que les tables larges, les séries temporelles, les objets, le texte, les files d'attente et les données spatiales. Les données sont interopérables entre ces modèles. Lindorm fournit des capacités et services intégrés pour l'ingestion, le stockage, la récupération, le calcul et l'analyse des données. Cela vous permet de créer des applications plus rapidement, avec plus de flexibilité et d'efficacité.
Rentabilité	Offre des dizaines de millions de requêtes concurrentes et une latence de l'ordre de la milliseconde. Elle réduit considérablement les coûts de stockage grâce au stockage hiérarchisé, à la séparation intelligente des données chaudes et froides, et à la compression adaptative basée sur les caractéristiques des données.
Élasticité cloud native	Prend en charge la mise à l'échelle élastique indépendante des ressources de calcul et de stockage.
Compatibilité ouverte	Compatible avec plusieurs interfaces standard, telles que SQL, HBase/S3, TSDB, HDFS, Solr et Kafka. Lindorm s'intègre parfaitement avec des systèmes tels que Hadoop, Spark, Flink et Kafka, permettant un échange, un traitement et un abonnement aux données simples.

Pour plus d'informations, consultez les rubriques Fonctionnalités et Avantages.

Architecture du produit

Lindorm utilise une architecture cloud native innovante avec séparation du calcul et du stockage, ainsi qu'une intégration multimodèle partagée, pour répondre aux exigences de l'ère du cloud en matière de découplage des ressources et de mise à l'échelle élastique. Lindorm s'appuie sur LindormDFS, un système de fichiers distribué cloud native qui sert de fondation de stockage unifiée. Cette fondation prend en charge divers moteurs de données spécialisés, dont le moteur de table large, le moteur de séries temporelles, le moteur de recherche, le moteur vectoriel et le moteur columnaire. Au-dessus de ces moteurs, Lindorm fournit une interface SQL unifiée pour les requêtes fédérées intermodèles et prend également en charge des interfaces standard open source telles que HBase, OpenTSDB, Spark et HDFS pour assurer une migration transparente des charges de travail existantes. De plus, Lindorm Tunnel Service (LTS) gère le flux de données en temps réel et la capture des données modifiées entre les moteurs, permettant la migration des données, l'abonnement en temps réel, le déchargement vers le data lake, la réécriture vers l'entrepôt de données, les architectures multi-actives unitaires, ainsi que la sauvegarde et la restauration.

Capacités multimodèles

Lindorm prend en charge plusieurs types de modèles de données, y compris les tables larges, les séries temporelles, les objets, les fichiers, les files d'attente et les données spatiales. Elle prend en charge les instructions SQL standard et les API de plusieurs systèmes open source. Les données peuvent être transférées et synchronisées entre les modèles. Cela contribue à rendre le développement d'applications plus agile, flexible et efficace. Le tableau suivant décrit les principales capacités multimodèles fournies par les différents moteurs Lindorm.

Moteur	Capacité principale
Moteur de table large (LindormTable)	Gère et dessert les données de table large et d'objets. Il propose des fonctionnalités telles que les index secondaires globaux, la récupération multidimensionnelle, les colonnes dynamiques et le Time-to-Live (TTL). Ce moteur convient à des scénarios tels que les métadonnées, les commandes, les factures, les profils utilisateurs, les flux sociaux et les journaux. Il est compatible avec des interfaces standard telles que SQL, HBase et S3. LindormTable peut gérer des dizaines de millions de requêtes concurrentes et stocker des centaines de pétaoctets de données. Il propose également la fonctionnalité de séparation des données chaudes et froides. Par rapport aux performances d'Apache HBase open source, le débit est augmenté de 2 à 6 fois, la latence du 99e percentile (P99) est réduite de 90 %, le temps moyen de réparation (MTTR) est diminué de 90 %, le taux de compression des données est augmenté de 100 % et le coût de stockage global est réduit de 50 %.
Moteur de séries temporelles (LindormTSDB)	Gère et dessert les données de séries temporelles. Il est conçu pour les données de mesure, de surveillance et de fonctionnement des équipements dans les scénarios industriels, IoT et de surveillance. Il fournit des capacités de gestion, d'écriture et de requête basées sur SQL. Son algorithme de compression spécialisé pour les données de séries temporelles atteint un taux de compression pouvant aller jusqu'à 10:1. Le moteur prend en charge les requêtes multidimensionnelles et le calcul agrégé sur des ensembles de données massifs, offre des capacités de requête PromQL natives et prend en charge le pré-échantillonnage et les requêtes continues pour les données de séries temporelles.
Moteur de recherche (LindormSearch)	Développé sur la base de technologies clés telles que le stockage columnaire et l'indexation inversée, LindormSearch est utilisé pour accélérer la récupération et l'analyse des données multimodèles. LindormSearch dispose de diverses capacités telles que la recherche en texte intégral, le calcul agrégé et les requêtes complexes multidimensionnelles, et convient à des scénarios tels que les requêtes sur les journaux, les factures et les personas utilisateurs. Il est également compatible avec les API standard de logiciels et services open source tels que SQL et Apache Solr.
Moteur de calcul (LDPS).	Lindorm Distributed Processing System (LDPS) est intégré à LindormDFS pour fournir des services de calcul distribué basés sur une architecture cloud native, afin de répondre aux exigences de calcul dans divers scénarios, tels que la production de données, l'analytique interactive, l'apprentissage automatique et le calcul graphique. LDPS est compatible avec l'API standard Apache Spark. Vous êtes propriétaire des ressources LDPS dans vos instances Lindorm.
Moteur vectoriel	Le moteur vectoriel Lindorm est utilisé pour stocker, indexer et récupérer de grandes quantités de données vectorielles. Il prend en charge plusieurs algorithmes d'indexation, fonctions de distance et diverses méthodes intégrées de récupération de données. Le moteur vectoriel Lindorm offre la capacité d'effectuer des recherches en texte intégral et vectorielles de manière intégrée, ce qui est requis dans le RAG (Retrieval-Augmented Generation) pour améliorer la précision des grands modèles. Par conséquent, le moteur vectoriel Lindorm convient aux services liés à l'IA tels que la recommandation, le NLP (traitement du langage naturel) et les questions-réponses intelligentes.
Moteur columnaire (L-Column)	Le moteur columnaire Lindorm est un service de moteur de base de données columnaire en ligne performant, peu coûteux, stable et fiable. Il cible les scénarios IoT, IoV et de journalisation, et fournit des opérations de lecture/écriture efficaces, un stockage hautement compressé et une analytique en ligne haute performance.
Moteur IA (Lindorm AI)	Le moteur IA Lindorm fournit une capacité d'inférence IA intégrée tout-en-un qui s'exécute sur vos ressources. Vous pouvez utiliser Lindorm SQL pour importer et déployer de manière flexible des modèles pré-entraînés pour l'analyse et le traitement intelligents de masses de données multimodèles.