ソリューションのハイライト:ペタバイト規模の新エネルギー車のローデータ処理能力、高性能なデータ収集とストレージ、効率的なデータ分析、低い運用コスト
お客様の声
2019 年、上海新エネルギー車向けビッグデータプラットフォームを自社管理の Hadoop クラスタから Alibaba Cloud が提供する Lindorm データベースに移行しました。 これらの Alibaba Cloud サービスは、コンピューティングおよびストレージリソースの動的なスケールアウトにおける課題の解決に役立ちます。 さらに、Lindorm Tunnel Service(LTS)というミドルウェアは、コールドデータをホットデータから分離してストレージコストを削減するのに役立ちます。 Alibaba Cloud の強力なエコシステムは、多くの技術的障壁を打破するのに役立ち、ビジネス開発により集中することができます。
お客様のプロフィール
上海電気自動車公共データ収集・監視・研究センター(以下「データセンター」)は、上海コミュニティ管理局の承認を得て 2014 年末に設立されました。 データセンターは、上海市経済情報化委員会の指導を受けています。 データセンターは、上海市における新エネルギー車の市営監視プラットフォームです。 このプラットフォームは、上海で普及している新エネルギー車のデータを収集、分析、適用して、公共サービス部門の意思決定とセキュリティ監視の実施を支援するために使用されます。 2021 年 1 月 31 日現在、95 社の自動車メーカーが提供する 107 ブランドの 777 モデル、418,000 台の車両のデータがデータセンターに保存されています。 保存されているデータの量は 1 PB を超えており、保存されているデータ量では世界の他の都市の中でもトップランクに位置しています。 データセンターの設立以来、複数のソースからのデータの統合と処理、そして洞察の適用に多大な努力が払われてきました。 データセンターはまた、上海新エネルギー車向けビッグデータプラットフォーム、上海における電源バッテリーの供給元追跡および電源バッテリー管理プラットフォーム、水素燃料ステーションおよび水素燃料電池車向け公共データプラットフォーム、GEF6 上海エネルギー管理センターなどのプラットフォームも立ち上げています。 データセンターは、ユーザーが車両のセキュリティを監視し、バッテリーのライフサイクルを管理し、燃料電池車の補助金を管理するのに役立つ重要なデータをマイニングします。
課題
中国の国家政策の支援により、新エネルギー車の数は急速に増加しています。
電気自動車はまだ開発の初期段階にあるため、電気自動車のデータ収集ポイントは常に変化しています。
データ収集頻度は、分析と上位層のビジネス要件に合わせて変更する必要があります。 データ収集頻度の増加は、常にスループットとデータ量の 2 倍の増加、あるいは指数関数的な増加をもたらします。
中国は、電気自動車のデータの保存期間に関する規則を策定しています。 保存期間は年単位で測定されます。
大量のデータをデータ分析のためにリアルタイムでオフラインデータウェアハウスにアーカイブする必要があります。
データ分析結果はサービスとして提供する必要があります。 したがって、データ分析結果はオンラインストレージに保存する必要があります。
ソリューション
Lindorm は、データベース業界の人材で構成された専門チームによって立ち上げられました。 Lindorm は、Alibaba グループが提供する多数のサービスによってテストされています。 大規模テストの結果は、Lindorm がオンラインおよびオフラインストレージの基盤として機能し、サービスの安定性と信頼性を確保できることを示しています。 Lindorm により、お客様はビジネス開発により集中することができます。
Lindorm は、LindormTable というワイドテーブルエンジンを提供します。 LindormTable はバッチコミット機能を提供します。 この機能は、スループットを大幅に向上させ、リクエストの応答時間を短縮できます。 この機能を有効にすると、書き込みパフォーマンスが 3 倍以上向上します。
LindormTable は、データ圧縮を最適化できる機能を提供します。 この機能を有効にすると、ストレージコストが大幅に削減されます。
Lindorm ビッグデータストレージソリューションは、LindormDFS というファイルエンジンを提供します。 このファイルエンジンにより、Lindorm はファイルを保存できます。 これにより、Lindorm は大量のデータの抽出、変換、ロード(ETL)処理と分析の要件を満たします。
コンピューティングエンジンは、オンラインインタラクティブ検索、ストリーム処理、バッチ処理、機械学習などの多様なビジネス要件を満たします。
メリット
LindormTable は、バッチ書き込み、効率的なデータ圧縮、線形スケーラビリティなどの機能を提供します。 これらの機能は、データ収集とストレージのパフォーマンスを向上させ、コストを削減できます。 LindormTable は、お客様の迅速なビジネス開発を支援するための強力なサポートを提供します。 LindormTable はまた、データ収集ポイントとデータ収集頻度の変更によって引き起こされるトラフィックバーストの管理にも役立ちます。
Alibaba Cloud は、データストレージ、リアルタイムデータアーカイブ、データ分析、分析結果のオンラインストレージ、分析結果データのクエリというエンドツーエンドの手順を提供します。 この手順は、お客様がビジネス開発の要件を満たすのに役立ちます。 この手順では、データはアプリケーション > LindormTable > リアルタイムアーカイブ用 LTS > カラムナーストレージ用 Apache Parquet(LindormDFS が提供) > LDPS > BulkLoad > Lindorm の順序で流れます。