Alibaba Cloud's cloud definition storage is coming

Cloud Defined Storage (CDS) の正式リリース

2021年の中秋節と国慶節に合わせて、Alibaba Cloud ストレージチームは新しいクラウド定義ストレージ CDS をリリースしました。

今回の CDS 1.0 リリースは、Alibaba Cloud の Apsara オペレーティングシステムと Pangu 分散ストレージ基盤をベースに、業界で初めて Object Storage Service (OSS)、Elastic Block Storage (EBS)、Simple Log Service (SLS)、ディザスタリカバリサービス HBR への同時対応を実現しました。特に Pangu の新しい QoS フレームワークにより、OSS と EBS を同一の物理サーバーセット上で統合デプロイできる点が特筆されます。今回リリースされたストレージサービスは、コードバージョンの面でパブリッククラウドの大規模ストレージサービスとほぼ同等であり、従来のハイブリッドクラウド版とパブリッククラウド版の大きなギャップを解消し、お客様はパブリッククラウドとほぼ同等の機能をご利用いただけます。

なぜ Alibaba Cloud ストレージチームは CDS をリリースしたのでしょうか。CDS と従来のストレージアレイ、分散ストレージ、ソフトウェアデフィンドストレージの違いは何でしょうか。Alibaba Cloud ストレージチームはストレージの将来の発展トレンドをどう捉えているのでしょうか。本稿では、CDS 開発チームのコア技術リーダーが、一連の技術記事を通じて Alibaba Cloud CDS の全貌を明らかにしていきます。

なぜクラウド定義ストレージを開発したのか

ビジネス要件

Alibaba Cloud Storage が 2016 年末に Hybrid Cloud Storage (HCS) を立ち上げて以来、柔軟なスケール構成と競争力のある機能を備えた分散ストレージ製品への需要が社内外から多く寄せられていました。当時の Alibaba Cloud はハイブリッドクラウド市場での経験が浅く、国内市場は参入メーカーが多く競争が激しかったため、専用クラウドと統合された分散ストレージ、ストレージアレイ、ディザスタリカバリ一体型マシンを組み合わせ、従来のストレージ市場の異なるセグメントに参入して市場の反応を探り、知見と体制を蓄積する戦略を採りました。

2018 年以降、IT インフラのクラウド化が加速する中、クラウドベースのインフラやデータセンターが政府機関や企業のお客様にとって首选ソリューションとなり、ソフトウェアデフィンドストレージメーカーをはじめとする新しいストレージベンダーに大きな市場機会をもたらしました。同時に、ハイブリッドクラウド市場での Alibaba Cloud の発展に伴い、ハイブリッドクラウド環境でのストレージ出力への要件が増加しています。そのため、ストレージチームは 2019 年に関連製品の計画、設計、開発を正式に開始しました。

困難な決断

分散ストレージと SDS の方向性に注力し、分析と調査を経て、国内 SDS 製品の同質化が非常に深刻であることが判明しました。パブリッククラウドの技術スタックから離脱して同様の製品を構築しても、持続的なコア競争力を築くことは困難です。同時に、技術面・エンジニアリング面から見ると、パブリッククラウドとプライベートクラウドの製品アーキテクチャの並行開発はリソースの大きな無駄を生み、多くの類似機能を異なる製品上で再実装する必要があり、アーキテクチャの制約によりサポートが保証できない場合もありました。最終的に、ハイブリッドクラウド向け分散ストレージ SDS の独自開発に着手することを決定しました。技術的には、パブリッククラウドとハイブリッドクラウド CDS が同一の技術とコードを共有し、パブリッククラウドストレージサービスのサービスホスティングの弾力性、スケーラビリティ、差別化された競争力を維持しつつ、エンタープライズストレージの高度な機能を積極的に補完することを堅持しました。これにより、ハイブリッドクラウド CDS のアーキテクチャ、機能、ユーザー体験はパブリッククラウドと一貫性を持つことになり、これがクラウド定義ストレージの「クラウド定義」の所以です。

次に、ソフトウェアデフィンドストレージの特性と、クラウド定義ストレージとソフトウェアデフィンドストレージの違いについて説明します。

ソフトウェアデフィンドストレージ

ソフトウェアデフィンドストレージの起源

ソフトウェアデフィンドストレージ (SDS: Software Defined Storage) という表現は、2012 年に VMware と EMC がソフトウェアデフィンドデータセンター (SDDC) を推進する一連の販促キャンペーンで初めて登場しました。AWS/Azure といったクラウドコンピューティングベンダーとの競合により、エンタープライズデータセンターとストレージの方向性がクラウドコンピューティング向けに再定義されました。当時の SDS の最も注目された歴史的流程を以下の図に示します。

ソフトウェアデフィンドストレージの主要特性

ソフトウェアデフィンドストレージには多くの特性がありますが、業界で広く認知されている 3 つの主要特性があります。抽象化、プーリング、自動化です。これらの特性を推進する背景には、エンタープライズのクラウド化とエンタープライズ ICT インフラのクラウド化があります。

・抽象化、ソフトウェアとハードウェアのデカップリング、管理と制御のデカップリング：クラウドコンピューティングメーカーやクラウドベースのデータセンターは、EMC/NetApp/IBM などの専用ハードウェアストレージデバイスの代わりに、大量の標準化・コモディティ化されたサーバーを使用しており、大規模なストレージ/サーバーの調達と分離入札がストレージソフトウェアとハードウェアのデカップリングを促進しました。データプレーンとコントロールプレーンのデカップリングは、ユーザーが異なるメーカーのハードウェア (データプレーン) を統一されたコントロールプレーンで管理するのにも役立ちます。

・プーリングとスケールアウト：リソース使用率を向上させるため、ストレージ仮想化技術を使用して各種ストレージとデータスタックをプール化します。

・自動化：API の開発により、ソフトウェアでストレージリソースとサービスの追加、削除、変更、クエリを制御でき、人手による操作よりも効率的で、より強力なビジネス柔軟性を実現します。

ソフトウェアデフィンドストレージと従来のストレージアレイ/ソフトウェアの比較

SDS と従来のストレージアレイは、ハードウェアとの結合、ノード/コントローラーの拡張モードとスケール、インタラクションと管理インターフェイスにおいて異なります。

特筆すべき点として、海外での SDS の「ソフトウェア定義」は、SDS が豊富な API/SDK を備え、ソフトウェアプログラミングによる駆動が可能である点を強調しています。一方、従来のストレージは人間とのインタラクションインターフェイスが多く、管理者による手動操作が中心でした。

クラウド定義ストレージとは

クラウド定義ストレージ CDS は新しいタイプのソフトウェアデフィンドストレージで、専用設計の CDS ストレージサーバー上でソフトウェアとハードウェアの出力を最適化し、X86 からさまざまな情報イノベーションプラットフォームまで対応するソフトウェア出力モードもサポートしています。CDS の核心的なキーワードは「クラウド定義」で、以下のように要約できます。

・クラウドネイティブ

CDS は新たに開発された製品ではありません。Alibaba Cloud のパブリッククラウドの各種ストレージサービスを、製品計画と市場ニーズに基づいて段階的に統合 CDS ストレージプラットフォームに導入・リリースするものです。CDS 内部の OSS などのストレージサービスのコードと機能はパブリッククラウドと完全一致しています。外部に対しても、コンソール (GUI)、コマンドライン (CLI)、Open API/SDK に至るまで、CDS が統合する各種クラウドストレージサービスはパブリッククラウドと一貫性を持ち、既存の Alibaba Cloud のお客様やパートナー様の利用や連携の難易度を低減します。

同時に、CDS はパブリッククラウドの階層アーキテクチャであるクラウド、リージョン、AZ、クラスターも自然にサポートします。

・クラウドスケール

大半の分散ストレージや SDS メーカーと比較して、Alibaba Cloud CDS の最大の強みは、これらの CDS コードが Alibaba Cloud のパブリッククラウドの数百万のお客様と Alibaba Group のさまざまなビジネス (独身の日など) により磨かれ、検証されている点です。大規模かつ複雑なビジネスのプレッシャーに耐えうるものです。CDS の OSS ストレージサービスを例に取ると、単一バケットで本番環境において数兆のオブジェクトをサポートでき、EB レベルの容量に達します。

・クラウドサービス

CDS は同一ストレージプラットフォーム上で複数のクラウドストレージサービスを提供し (一般的にはブロックストレージとオブジェクトストレージが最も一般的です)、マルチテナントに対応しています。フロントエンドではパブリッククラウドと同様のお客様セルフサービスを提供し、バックエンドでは独立した運用保守とホスティング運用保守 (ローカルオンサイトまたはリモート) をサポートします。各種基本ストレージサービスは CDS クラウド管理スイートを通じて制御・保守でき、Pangu 統合データベース基盤を介して、ログサービス、ディザスタリカバリサービス、データ管理・分析サービスなどの高度なストレージサービスを利用できます。

同時に、エンタープライズクラウドの導入を加速するため、Alibaba Cloud Storage はパブリッククラウドと CDS でエンタープライズストレージ機能を同期リリースしています。たとえば、EBS ベースのエンタープライズブロックストレージ ESSD や、HBR ベースのディザスタリカバリバックアップなどです。

・クラウドへの連携

ストレージデータは CDS と CDS 外部のクラウド間を、ネットワークを通じて制御された安全な方式で流转します。

・クラウドデプロイ

CDS はクラウド環境に直接デプロイされ、クラウドストレージサービスとして外部にサービスを提供します。ここでのクラウド環境には、パブリッククラウド、ローカルクラウド、エッジクラウド、専用クラウド、その他のクラウドアーキテクチャが含まれます。

・ハイブリッドマルチクラウド

外部のお客様のニーズに加え、Alibaba Group 内の多くの事業部門も、製品やサービスを輸出する際にストレージニーズがあり、ベンダーによるロックインを回避する必要性から、ハイブリッドクラウドが標準構成となっています。ハイブリッドマルチクラウドには 2 つの異なる解釈があります。1 つは Alibaba Cloud のハイブリッドマルチクラウドで、Alibaba Cloud のパブリッククラウド、ハイブリッドクラウド、ローカルクラウド、エッジクラウドコンピューティングを含みます。もう 1 つは、Alibaba Cloud と他のクラウドコンピューティングサービスプロバイダーとの組み合わせです。

CDS は Pangu 2.0 統一分散ストレージベースのハイブリッドクラウドにより、ハイブリッドクラウドデプロイ、クラウド間接続、その他の多態クラウドを実現しています。

再定義されたプロダクトリリースモデル

Alibaba Cloud CDS は、ハイブリッドクラウド SDS の新ベースラインを再定義するだけでなく、Alibaba Cloud ストレージ製品と機能開発のエンジニアリングモデルも再定義しています。CDS 1.0 以降、CDS プラットフォーム上で既にリリースされているクラウドストレージサービス製品は、パブリッククラウドとハイブリッドクラウド環境で同時にリリースすることが求められます。同時に、ハイブリッドクラウド出力、特にパブリックネットワーク接続がない環境では、お客様やオンサイトサービス担当者の技術力に依存します。Alibaba Cloud CDS 製品は、インテリジェント運用保守、RAS、自動診断機能の磨き込みに注力しており、これらの機能はパブリッククラウドストレージサービスにもフィードバックされ、システム運用保守効率の向上とシステム安定性の強化に貢献します。

CDS の再定義されたエンジニアリングモデルにより、ハイブリッドクラウドストレージ版のリリース効率が大幅に加速しました。次の CDS バージョンでは、Cloud Storage Gateway (CSG)、次世代エンタープライズ高速ストレージ ESSD、File Storage NAS といった重要な製品と機能が迅速に導入される予定です。

展望

Alibaba Cloud CDS はクラウド定義型ストレージプラットフォームです。現行バージョン 1.0 の CDS は、複数の Alibaba Cloud ストレージ製品とデータサービス (ブロックストレージ EBS、オブジェクトストレージ OSS、Simple Log Service (SLS)、ディザスタリカバリサービス HBR を含む) をサポートしています。今後の技術シリーズでは、プラットフォーム・制御サービス、Pangu、EBS、OSS、SLS など、CDS の各製品と主要モジュールの機能を順次紹介していく予定です。

Alibaba Cloud CDS 1.0 のリリースは、Alibaba Cloud Storage が本格的なクラウドストレージとしてハイブリッドクラウドストレージ市場に参入し、増大するクラウドコンピューティング需要に応えることを意味しています。国内パブリッククラウドのリーダーとして、またハイブリッドクラウド市場の挑戦者として、大学の専門家や関係者の皆様と共に、中国のストレージ技術の発展を推進する強い信念と決意を持っています。