全部產品
Search
文件中心

AnalyticDB:行業趨勢與挑戰

更新時間:Feb 15, 2025

近些年來,資料在國民經濟各個領域扮演著愈發重要的角色,其使用特點較之以往也發生了諸多變化。本文將介紹當前資料技術的發展趨勢以及企業在這一過程中面臨的業務挑戰。

技術發展趨勢

規模爆炸性增長

隨著8K、5G、IoT、巨量資料、AI等系列技術的發展,資料量迎來了爆髮式增長。IDC在《Data Age 2025》的報告中預測,從2018年到2025年,全球資料將從33ZB急速增長到175ZB,比2016年產生的資料量增加了十倍。這表明注重資料價值的時代已經來臨,並逐漸取代了從類比資料向數字化轉變的時期;產生、使用和管理對生活產生重要影響的資料資訊,對於消費者、政府和企業的正常生活和運轉必不可少。消費者和企業將持續在不同裝置和雲之間產生、分享和訪問資料,增長速度也將超出此前的預期。

生產處理即時化

從資料的3V特性(體積,速度和變化)來看,巨量資料強調資料量,PB級以上,是待用資料;而Fast Data在資料量的基礎上,意味著速度和變化,客戶可以更加即時、快速地進行資料處理。IDC在新發布的一份白皮書中表示,隨著全球串連的增多,更多資料將產生,其中即時資料所佔比例將增加;到2025年,全球近30%的資料將是即時的。在Forrester最近的一項研究中,超過75%的受訪公司已經使用Fast Data解決方案。在接受調查的人中,88%表示他們需要近乎即時地對資料執行分析。

生產處理智能化

企業視之為有價值的資料,不再僅僅限於結構化資料,大量半結構化資料(如日誌)、非結構化資料(音視頻)等等比例在持續增加。IDC在《Data Age 2025》的報告中預測到2025年非結構化資料占企業資料的80%以上,並且以每年55%的速度增長。如果沒有工具來分析這些海量資料,企業無法在商業智慧表上留下大量有價值的資料。因此,“資料多模”需求被逐步提出。傳統巨量資料技術可以滿足此類需求,但其發散的技術棧和不統一的使用習慣,都難以在廣大企業內落地使用。因此急需統一、標準化的技術解決方案。

資料加速上雲

Gartner預測到2023年,所有資料庫中75%將放在雲平台上。企業機構正在雲中部署新的應用程式,並以更快的速度遷移現有的資料資產。這一趨勢將會持續。資料庫管理系統的部署和創新越來越傾向於“雲優先”或“純雲”。挑選DBMS 解決方案的資料和分析負責人逐漸接受這樣一個事實,即雲DBMS是未來的發展方向。

面臨的業務挑戰

資料散亂不一致

傳統企業的資料具有多樣性,包括結構化、半結構化以及非結構化的資料。資料來源上包含資料庫資料、日誌資料、對象資料以及已有數倉上的存量資料等。這些不同來源、不同格式的資料,各自又有不同的訪問和分析方式,而大量傳統企業基於關聯式資料庫構建自己的業務系統,已經非常熟悉按SQL的方式去使用資料,這無疑增加了企業儲存區和使用資料的成本。

分析不即時

企業營運的形式越來越多樣化,例如,即時推薦、精準營銷、廣告投放效果、即時物流、風控等。資料時效性在企業營運中的重要性日益凸顯,資料的即時處理能力成為企業提升競爭力的重要因素。越來越多的企業巨量資料分析已不再局限於傳統的T+1情境,對資料的即時性分析和處理提出了更高要求。傳統的批處理模式往往有數小時甚至數天的延遲,不能滿足T+0的業務需要,使用者要求在秒級,甚至毫秒級完成對海量資料分析。

系統極複雜

巨量資料平台普遍存在使用複雜的問題。使用者希望專註於核心業務,而非底層技術。使用者希望使用的是“開箱即用”的方案,而不是陷入到高昂的學習成本、繁複的技術細節之中。使用者渴望擁有一個簡單易用的平台。此外,巨量資料平台的組合方案在細粒度的存取權限控制、高可靠性方面,特別是對於金融等行業客戶的資料容災、高可用的需求無法很好支援。

使用成本高

資料在企業中的使用,具有明顯的周期性和不確定性。一方面,業務發展變化很快,其資料規模體量也變化很大;另一方面,有些業務具備很強的時間周期特點,平時空閑,高峰明顯。這些特點對底層基礎能力提出了很高的資源彈性要求。這裡所說的彈性,既包括儲存能力的彈性,也包括計算能力的彈性。使用者可以根據自身的需求,靈活選擇資源方式,並根據發展需要,隨時變更資源配置,達到投入資源收益最大化。