File Storage CPFS Best Practices

導入：Qingzhou Zhihang は Alibaba Cloud との連携により、ビジネスシナリオの研究開発にさらに集中できるようになりました。Alibaba Cloud CPFS および OSS データフローソリューションを活用し、Qingzhou Zhihang は統合された自動運転データ基盤を構築しました。CPFS の高性能と高スループットにより、ビジネスの急速な成長を支えています。

Qingzhou Zhihang の紹介

Qingzhou Zhihang は「自動運転を現実のものにする」をミッションとする自動運転総合ソリューション企業です。デュアルエンジン戦略により、一方ではコスト効率に優れたフロントローディング量産ソリューションを推進し、さまざまなレベルの顧客の自動運転量産ニーズに対応する L4 レベル体験の都市 + 高速 NOA ソリューションの構築に取り組んでいます。もう一方では、政府と連携して「都市のモバイル技術の名刺」を創出し、Robobus のリーダーおよび Robotaxi の普及の推進者となることを目指しています。

Qingzhou Zhihang は 100 件以上の特許およびソフトウェア著作権を保有し、無人運転技術の研究開発から商業化までの分野を全面的にカバーしています。CVPR 2021 Argoverse モーション予測チャレンジの優勝をはじめ、さまざまなトップイベントやコンペティションで数十の賞を受賞しています。

ビジネスシナリオの紹介

Light Boat Matrix は、シミュレーションをコアとする自動運転 R&D ツールチェーンです。データ処理、ラベリング、トレーニング、大規模シミュレーションから技術出力までの全プロセスを統合し、効率的なデータフローとクローズドループ検証を実現しました。データ活用と技術イテレーションの効率を向上させ、都市 NOA 能力構築にも全面的に活用でき、開発リズムを大幅に加速しています。データクローズドループの能力により、実車テスト、データ転送、問題診断、モデル分析、データマイニングを日次レベルでのクローズドループとイテレーションを実現しています。

データベース構築において、Qingzhou Zhihang は 112 万 km の都市道路テストを実施し、大量のマルチセンサーデータと長期間蓄積された運転手の運転動作データを保有しています。これらのデータ規模は拡大を続け、次元削減を適用して都市 NOA に活用でき、運転能力を迅速に向上させることができます。さらに、シミュレーションテストの走行距離は実車テストの 100 倍以上に達します。このプロセスで、Qingzhou Zhihang はシーンマイニングを継続的に実施し、シーンライブラリの構築を強化しています。現在、10 万以上のシーンをカバーし、累積シミュレーション走行距離は数億 km に達しています。より多くのロングテール問題を構築・カバーし、システムの安全性を向上させることができます。データ駆動により、Qingzhou Zhihang は効率的な認識、予測、計画制御の開発能力も実現しました。これは、自動運転研究開発システム全体でデータ駆動の活用を基本的に実現し、研究開発パラダイムの革新をリードしていることを意味します。

ビジネスの課題

1. データリソースの活用効率をどう向上させるか

図 1 従来の自動運転ツールチェーンでは NAS / HDFS / オブジェクトストレージなど複数のデータアイランドが発生

自動運転ビジネスで生成されるデータは、テスト段階の数十ペタバイトから量産フェーズのゼタバイト規模へと増大しました。大量データの効率的なストレージと管理は、かつてない課題となっています。従来の自動運転スキームでは、データ収集、選別、タグ付け、トレーニング、シミュレーション用に複数のストレージセットをデプロイする必要があり、データアイランドの発生、データ移行の増加、ビジネス効率の低下を招いています。

2. GPU 使用率を最大化し、コンピューティング効率をどう向上させるか

Qingzhou Zhihang は L4 無人運転の実現を目指しており、数十億 km 以上のデータテストが必要です。将来のテスト走行距離の 99% 以上はシミュレーションで完了されます。Light Boat Matrix は実道路テストと生成データに基づいてシミュレーションシナリオを構築でき、テストコストを純粋な実道路テストの 1% 未満に削減するだけでなく、数百万の極端なシナリオ（コーナーケース）を生成できます。毎日数百万フレームの有効データを抽出してトレーニング、テスト検証、反復最適化を完了させますが、数百万フレームのデータを GPU に高速転送して計算する方法が大きな課題です。従来のファイルストレージスキームでは、小ファイルのスループット帯域幅にパフォーマンスボトルネックがあり、GPU 不足とコンピューティングリソースの無駄を引き起こしています。

3. ビジネスにはピークとオフピークがある。オフピーク時にどうコストを削減するか

Qingzhou Zhihang はビジネスシステムの全面的なコンテナ化を実現し、コンテナ技術を通じてパブリッククラウドコンピューティングリソースの弾力的な利点を最大限に享受しています。ピーク時の迅速な容量拡張でタスク実行時間を短縮し、オフピーク時の容量縮小でコンピューティング能力のコストを削減できます。従来のストレージシステムでは、コンテナの大規模な拡張・縮小に伴うストレージシステムの高速マウントや数万の Pod からの並列アクセスに対応できません。

Alibaba Cloud のストレージソリューション

従来の自動運転スキームにおけるマルチサービスデータストレージの低効率を解決するため、Alibaba Cloud のファイルストレージ CPFS とオブジェクトストレージ OSS のデータレイクストレージおよびデータフリーフローソリューションは、大量データ収集からクリーニング、ラベリング、トレーニング、アーカイブまでのデータ自動化ニーズを満たします。自動運転研究開発クラウドに統合データプラットフォームを提供し、研究開発効率を大幅に向上させます。

● 大量の小ファイル対応力：CPFS 単一ファイルシステムで 40 億ファイルの保持能力と 100 万 OPS 能力を提供

● 超高パフォーマンス：CPFS 単一ファイルシステムでサブミリ秒レベルの読み書きレイテンシ、280 万 IOPS、および数百万のメタデータ操作 OPS を提供

● CPFS と OSS のデータフロー：OSS データはデータブロックレベルでオンデマンドに読み込まれ、事前読み込みや完全な OSS オブジェクトのインポート待ちが不要です。データは冷却後、自動的に OSS にシンクされ、ストレージコストを削減します

● コンテナの大規模な拡張・縮小：CPFS は K8S CSI インターフェイスをサポートし、数万の Pod の同時アクセスと大規模なエラスティックスケーリングに対応できます

● 統合データ基盤 OSS：1 セットのシステムでデータ処理、ラベリング、永続ストレージを実現し、データコピーを排除して時間を 30% 節約。EMR などのコンピューティングエンジンや Hadoop などのオープンソースエコシステムともシームレスに連携

使用効果

Alibaba Cloud との連携構築により、Qingzhou Zhihang はビジネスシナリオの研究開発にさらに集中できるようになりました。Alibaba Cloud CPFS および OSS データフローソリューションを活用し、Qingzhou Zhihang は統合された自動運転データ基盤を構築しました。CPFS の高性能と高スループットにより、ビジネスの急速な成長を支えています。