全部產品
Search
文件中心

Lindorm:上海新能源汽車車輛基礎資料

更新時間:Dec 11, 2024

方案亮點:PB級新能源車輛基礎資料、高效能採集入庫、高效資料分析、低成本營運。

客戶感言

2019年開始上海市新能源汽車巨量資料平台從自建Hadoop叢集遷移至阿里雲Lindorm產品,有效解決了我們平台儲存和計算的橫向動態擴容瓶頸,同時藉助其產品中介軟體LTS實現了我們平台資料的冷熱分離,有效降低了資料存放區成本,依託於阿里雲強大豐富的技術生態解決了我們的諸多技術壁壘,使得我們的技術團隊專註於業務開發。

客戶簡介

上海市新能源汽車公用資料擷取與監測研究中心(以下簡稱“資料中心”)是2014年底由上海市社會團體管理局批准註冊成立,由上海市經濟和資訊化委員會負責業務指導,是上海市的新能源汽車市級監管平台,其主要職責是對上海市推廣的全部新能源汽車進行資料擷取和分析應用,以支撐政府政策制訂和安全監管。截至2021年1月31日,資料中心累計接入新能源汽車41.8萬輛,涉及車企95家,品牌107個,車型777款,資料存放區量突破1個PB,資料規模繼續處於全球城市前列。成立以來,資料中心在多來源資料融合應用方面做了許多探索,陸續建成了 “上海市新能源汽車巨量資料平台”、“上海市動力電池溯源管理平台”、“上海市加氫站與氫燃料電池汽車公用資料平台”、 “GEF6上海能源管理中心平台”,有效發揮了資料在車輛安全監管、動力電池全生命週期監管、燃料電池汽車補貼發放等方面工作的支撐作用。

業務挑戰

  • 國家政策支援,保有車輛數量快速增長。

  • 電動車作為一個新生事物,還處於不斷髮展中,資料擷取點有不斷變化的需求。

  • 為滿足分析及上層業務訴求,採集頻率也有不斷變化的需求,採集頻率的提高往往意味著輸送量、資料量翻倍甚至數量級提升。

  • 國家對於電動車資料的儲存年限做了規範性要求。

  • 海量採集資料有即時歸檔到離線數倉案並分析的需求。

  • 資料分析結果有服務化的需求,需要迴流到線上儲存。

解決方案

  • Lindorm曆經阿里眾多核心服務的大規模驗證,擁有相關技術領域的技術團隊,保障了使用過程的持續穩定、可靠,構建起堅實的離線上儲存底座,使得客戶可以聚焦於業務側的發展。

  • Lindorm寬表引擎批量提交最佳化,大幅度提升叢集輸送量、降低請求回應時間,效能提升3倍以上。

  • 開啟Lindorm寬表引擎壓縮最佳化特性,顯著減少儲存空間開銷。

  • 基於Lindorm HDFS巨量資料儲存方案,滿足海量資料ETL和分析需求。

  • 計算引擎可以滿足線上互動式查詢、流處理、批處理、機器學習等業務訴求。

客戶價值

  • Lindorm寬表引擎批量寫入、高效壓縮,線性擴充等特性使得資料擷取入庫效能更高、成本更低,很好的支撐了業務的快速發展,對於採集點&採集頻率變更帶來的流量突增也可以從容應對。

  • 通過APP->Lindorm寬表引擎->LTS即時歸檔->parquet列存(Lindorm HDFS)->計算引擎->bulkload->Lindorm這樣一條鏈路形成了資料存放區、即時歸檔、分析、資料迴流、分析後資料查詢的全鏈路資料閉環,滿足業務發展的訴求。