Quick BI產品是在阿里雲飛天作業系統上打造的雲BI軟體,支援SAAS模式和私人化部署,定位多情境、多端、多行業的消費式BI,本文為您介紹產品核心Quick引擎。
Quick BI基於阿里雲橫向可擴充的架構底座,不但擁有可視化分析、中國式報表、自助分析等傳統BI能力,同時擁有企業級安全底座、移動端和三方系統開放整合能力。
Quick BI自研的計算核心Quick引擎,託管在阿里雲上的SAAS服務實測資料十億級資料在0.5秒以內完成彙總分析,另外由於依託阿里雲,計算資源支援橫向擴充,通過增加伺服器還可以提供更強大的資料分析計算能力。
為什麼設計一個新的Quick引擎
隨著數字化進程的深入,資料應用的價值被越來越多的企業所重視。基於資料進行決策分析是應用價值體現的重要情境,不同行業和體量的公司廣泛依賴BI產品製作報表、儀表板和資料門戶,以此進行決策分析。
在利用BI產品進行資料分析過程中,資料處理“慢”會為業務帶來很多的困擾,可以想象一下:
給老闆看的報表載入展示非常慢,有的時候還會崩掉,本想做好向上彙報,但卻給老闆帶來了糟糕的體驗。
分析師或業務同學,做資料探索式分析,拖拽一個指標需要幾分鐘才能看到結果,嚴重影響工作效率,打斷分析思路。
“慢”雖然只是一種難以精確定義的體感,但想要解決以上問題,就需要BI產品擁有很強的巨量資料處理架構和能力,可以橫向擴充支援不斷增長的資料量和計算任務。
Quick引擎架構在資料來源和資料集之間,用來處理上層資料作品發送到資料集最終下放到資料來源上的查詢。
多模式BI計算引擎
Quick引擎作為Quick BI的計算底座,是一個多模式的BI計算引擎,支援資料庫直接連接、即時加速、查詢快取、維值加速等多種計算模式,為不同使用者提供最適合自身情境的高效計算方案。
從Quick BI產品使用鏈路上,分為資料來源、資料集和資料作品三部分。資料來源是底層的資料庫連接,資料集用於對資料來源裡的表進行建模(表關聯、欄位類型建模等),把一張或多張表變成一個上層資料作品(儀表板、試算表、即席分析)可用的資料對象。
針對不同的情境,Quick引擎提供如下幾種計算模式:
直連模式:計算負載直接跑在串連到BI產品的資料庫或數倉上,支援幾十種資料來源,所有版本使用者都可使用,非常適用於底層計算資源滿足查詢負載的情境。
配置Quick引擎:把使用者資料庫或數倉的資料幫浦到Quick引擎的高效能列式儲存引擎中,支援全量模式和增量模式,分析計算負載直接跑在Quick引擎中,充分利用Quick引擎效能的同時,減少使用者數倉的負擔,進階版和專業版使用者可用,非常適用於企業沒有獨立數倉或數倉負載過重的情況。
查詢快取:所有版本使用者可用,應用端報表、儀表板在訪問時臨時查詢結果被緩衝下來,在配置的緩衝有效時間內,接下來其他使用者相同的查詢直接取緩衝結果,加快返回速度同時避免重複計算的資源消耗,非常適合應用端是重複查詢較多的情境,例如可視化展示類。
維值加速:所有版本使用者可用,基於直連模式和維表配置實現,通過配置維值加速,使得高頻且耗時的維度欄位查詢計算直接在資料庫維表上進行,而不是在原始的明細表上進行,例如即席分析和查詢控制項的維值查詢,在這類情境下相比不進行維值加速可快速返回結果且節省計算資源。