Lindorm寬表引擎 - Lindorm

Lindorm寬表引擎是面向海量半結構化、結構化資料設計的分布式儲存引擎，適用於中繼資料、訂單、賬單、畫像、社交、feed流、日誌等情境，相容HBase、Phoenix（SQL）等開源標準介面，支援單表百萬億行規模、千萬級並發、毫秒級響應、跨機房強一致容災等，高效滿足業務大規模資料的線上儲存與查詢需求。

核心能力

核心能力	說明
低成本	通過高密度低成本介質、智能冷熱分離、高壓縮比演算法、自適應編碼等技術，達到海量資料存放區處理成本比自建低80%。
雲原生彈性	通過存計分離架構和Serverless技術，支援計算和儲存資源的按需即時彈性。
超級大寬表	支援定義10,000列以上的大寬表，可即時高並發寫入。
企業級穩定性	基於高可用架構設計，曆經十餘年阿里巴巴集團生產環境嚴苛考驗，提供穩如磐石的企業級穩定性。
豐富生態	相容HBase等多種開源標準介面，與Spark、Flink等多種計算引擎互聯互連，無縫對接主流資料生態。

關於Lindorm寬表引擎的更多內容，請參見功能特性和Lindorm VS HBase VS Cassandra。

產品架構

Lindorm寬表引擎的架構圖如下：

關鍵架構設計：

資料存放區與高可用
- 寬表引擎的資料持久化儲存在LDFS中，通過自動Sharding分散到叢集的多台伺服器。
- 每個分區含1-N個副本（主/從角色），主從副本均可跨Zone部署，保障高可用和一致性。
- 針對不同的一致性模式，主從副本之間的資料同步和讀寫入模式如下：
  - 強一致模式：僅主副本讀寫，資料非同步回放到從副本；主故障時從副本晉陞（由Master協調，確保資料同步完成）。
  - 最終一致模式：主從副本均可讀寫，資料會相互同步，保證副本之間的資料最終一致。
多副本最佳化機制
- 限時觸發：為每一個請求設定GlitchTimeout，逾時後並發訪問其他N-1個副本，最終取最快的那個響應。
- 黑名單規避：基於逾時、跑錯、檢測等機制自動隔離異常副本，讓服務最大可能保持平滑。
冷熱分離

LSM結構：結合LStore實現冷熱資料自動分層，透明化查詢並降低儲存成本。
資料模型

鬆散表結構：支援動態列（無需DDL變更）、全域二級索引及倒排索引，自動根據查詢條件選擇最合適的索引，加速條件組合查詢。

典型情境

訪問方式

Lindorm寬表支援多端同時訪問，即對於同一張資料表，可以任意選擇下述的其中一種方式進行訪問。

通過Lindorm寬表SQL訪問（推薦），開發體驗與關係型資料庫相似。
通過HBase API訪問，適合已基於HBase開發的應用。