Alibaba Cloud storage ESSD snapshot service

はじめに：クラウドネイティブを背景に、本記事では Alibaba Cloud ストレージスナップショットサービスが高性能な ESSD クラウドディスクをベースにスナップショットサービスのパフォーマンスを向上させ、軽量かつリアルタイムなユーザー体験を実現し、その背後にある技術原理を開示する方法を紹介する。業界の発展とクラウドデータ保護のシナリオに基づき、エンタープライズユーザーおよびバックアップベンダーに先進的なスナップショット機能をベースとしたデータ保護の技術ソリューションを提供し、クラウドユーザーのデータ保護に対する喫緊のニーズに応え、クラウドエンタープライズの業務継続性を確保する。

2021 年 7 月、国際的に著名なコンサルティング企業 Gartner は、パブリッククラウドの IaaS（Infrastructure as a Service）および PaaS（Platform as a Service）プラットフォームのマジッククアドラントを公開した。Alibaba Cloud はそのリードする技術力により、初めて「Visionary」クアドラントに選出されたパブリッククラウドサービスプロバイダーとなった。その中で、Alibaba Cloud ブロックストレージは単一スコアで 1 位を獲得し、Alibaba Cloud のコンピューティング、ストレージ、ネットワーク、セキュリティも総合スコアで世界首位を達成した。ストレージ業界をリードする背景には、高性能な ESSD クラウドディスク製品があり、ユーザーに高い可用性と信頼性を備えた高性能なブロックレベルランダムアクセスサービスと、ネイティブなスナップショットデータ保護機能を提供している。

基幹業務の新たな要件

クラウドネイティブ技術の発展に伴い、ますます多くの企業がクラウドコンピューティングの仮想化、弾力的なスケーラビリティ、そして急速に発展するクラウドネイティブ技術の分散フレームワーク、コンテナ技術、オーケストレーションシステム、継続的デリバリー、および高速反復をベースとした大規模で回復力の高いクラウド分散ビジネスシナリオを構築している。エンタープライズアプリケーションのデプロイ規模、ストレージ、コンピューティングなどのリソース需要は指数関数的に増加し、従来のデータ保護方式ではクラウドにおける新たな技術変化に対応できなくなっている。ユーザーが直面する市場競争環境はより激しくなっており、クラウドデータ保護方式をビジネスの規模と発展に適応させ、自らの競争力とビジネス発展のニーズを満たすことが喫緊の課題となっている。データ保護のビジネス背景とシナリオはクラウドコンピューティングとクラウドネイティブにより変化したが、ユーザーのデータ保護に対するニーズは変わっておらず、評価基準は依然として回復時間目標 RTO と回復時点目標 RPO である。

ユーザーが追求する最優先目標は依然として業務継続性、すなわち業務中断の脅威に直面した際に迅速にビジネス回復を実現することである。ビジネスは成長のプレッシャーの下で急速に拡大している。ユーザーはビジネスシナリオに基づき、クラウドデータ保護とスナップショットサービスに対して以下の緊急要件を提示している。

• 短い作成時間：スナップショットを迅速に完了し、基幹業務を即座にバックアップできること。

• 高速な可用性：スナップショットが即座に利用可能となり、緊急事態に対応しクラウドディスクのロールバック回復を完了できること。

• ビジネス拡張：ビジネス量の急増に対応したビジネス拡張が必要であること。

• マシン全体の保護：単一 ECS インスタンスおよび複数 ECS インスタンスに関連付けられた複数ディスクを一貫性のあるデータで保護すること。

• テスト検証：本番環境外でデータのテスト検証と回復を実行できること。

• 高速回復：ファイルシステムとアプリケーションデータがアプリケーション整合性のあるバックアップ状態にあり、アプリケーションのダウンタイム回復プロセスを回避できること。

• コンテナバックアップ：コンテナビジネス環境の急速な反復とリリースにおいて、メタデータとアプリケーション業務データの保護が緊急に必要であること。

ストレージネットワーク業界協会 SNIA のスナップショットの定義によれば、スナップショットとは指定されたデータセットの完全に利用可能なコピーであり、ある時点（コピー開始時点）における該当データのイメージを含む。Alibaba Cloud ストレージスナップショットは、ESSD クラウドディスクのある時点における一貫性のあるデータイメージを提供する。業界の発展傾向に適応するため、スナップショットサービスはユーザーの新たなニーズとシナリオを継続的に発見し、新機能の開発と反復進化にたゆまぬ努力を重ねてきた。ESSD クラウドディスクスナップショットの先進的なエンタープライズ新機能を最大限にアップグレードおよび最適化してきた。すなわち、スナップショットの超高速可用性、アプリケーション整合性スナップショット、分散アプリケーションアーキテクチャに適した一貫性グループスナップショット、およびスナップショットのクロスリージョンレプリケーションによるリモートディザスタリカバリ機能である。継続的な独自開発と統合の発展プロセスにおいて、ビッグデータ、ゲーム、人工知能、金融業界などの分野でクラウド上のエンタープライズユーザーのニーズを満たし、RDS、ハイブリッドクラウドバックアップチーム、Elastic Container Instance ECI、Container Service for Kubernetes ACK などの他の Alibaba Cloud チームやビジネスチームおよびユーザーからのフィードバックも得ている。

• クラウドデータベースチームの RDS 業界ユーザーの評価は、RDS の秒レベルバックアップ製品が従来の物理ファイルバックアップにおけるインスタンスリソースの使用を効果的に削減し、データ保護のリスクを効果的に低減できるというものである。

• ECI コンテナアクセラレーション機能を利用する顧客 Tucson 社は、超高速キャッシュアクセラレーション機能がコンテナアプリケーションのリリースを加速し、シミュレーションプラットフォームの計算時間を短縮し、計算タスクを平均 5 分未満に短縮し、製品リリースサイクルを大幅に短縮したとコメントした。

• ハイブリッドクラウドバックアップの顧客によると、アプリケーション整合性マシンバックアップ機能は VMware 仮想化プラットフォームのスナップショット機能と完全に一致している。

• スナップショットサービスが提供する一貫性グループスナップショットとアプリケーション整合性機能は、2021 年の Gartner による Alibaba Cloud ストレージサービスの評価能力を完全に満たしている。Container Service for Kubernetes ACK チームは 2021 年の Forrester コンテナバックアップ能力を評価する。

典型的なシナリオ

軽量かつリアルタイムなスナップショットの超高速可用性、一貫性グループスナップショット、およびアプリケーション整合性スナップショットは先進的な機能である。エンタープライズユーザーおよびサードパーティバックアップベンダーは、高速バックアップリカバリ、ディザスタリカバリテスト、レプリカ活用、ディザスタリカバリ切り替えを含むコピーデータ管理アプリケーションシナリオを迅速に構築できる。2021 年 7 月に Gartner が発表したストレージとデータ保護の技術トレンド分析（Hype Cycle）では、コンテナバックアップ、クラウドデータバックアップ、およびコピーデータ管理（CDM）が今後数年間のデータ保護業界の発展トレンドとして挙げられている。Gartner のコピーデータ管理の基本的な定義は、アプリケーション整合性に基づくプライマリストレージスナップショットからセカンダリストレージ上に「ゴールデンイメージ」を生成し、バックアップ、ディザスタリカバリ、およびテストに活用するものであり、ヘテロジニアスストレージがその能力の基本条件である。Alibaba Cloud ESSD の高度なスナップショットサービス機能は CDM 構築の要件を完全に満たし、ユーザーがクラウドネイティブなデータ保護の典型的なシナリオを実現できるように支援する。

バックアップと復元：高速バックアップと標準バックアップの組み合わせにより、近接した高密度かつ遠隔の疎なバックアップリカバリポイントを提供する。クラウド上の ECS インスタンスの全体保護と K8S 環境のコンテナアプリケーションに基づき、定期的に高速利用可能スナップショットを作成する。一貫性グループスナップショット機能と超高速可用性機能を有効にすると、ローカルで秒単位のインスタントスナップショットを生成できる。スナップショットのインスタントコピーはローカルに保持され、秒レベルの I/O パフォーマンス無損失リカバリの高速バックアップとなる。上位のエンタープライズアプリケーションに基づき、定期的にマシン全体のアプリケーション整合性スナップショットを生成する。ローカルスナップショットコピーはネットワーク経由で Object Storage Service にアップロードされ標準バックアップとなる。標準バックアップがバックアップデータのアップロードを完了すると、ローカルドメインの全可用ゾーンから参照可能となり、保持期間が長い履歴データに適する。

ディザスタリカバリテスト：高速バックアップに基づくディザスタリカバリテスト。コピーデータ管理では、ディザスタリカバリ環境を定期的にテストする必要がある。定期的なテストによりディザスタリカバリ環境の信頼性が向上し、設定の問題や環境変化により実際の災害発生時にディザスタリカバリ切り替えを正しく完了できなくなることを防止し、ビジネスがディザスタリカバリシステムを迅速に回復できるようにする。ローカルスナップショットレプリカに基づく高速クローン技術により、ディザスタリカバリインスタンスとコンテナアプリケーションの定期的な起動とバックアップデータのテスト検証を行う。従来のレプリケーション技術に基づく方式では、ディザスタリカバリ側でスナップショットが複製され利用可能になるまでテストと訓練を待つ必要があった。高速バックアップ方式を採用後、ディザスタリカバリ側の秒レベルクローン、秒レベルマウント、秒レベル起動テストを実現した。

レプリカ活用：高速バックアップに基づくデータ分析。本番環境に影響を与えず、ディザスタリカバリ環境において、高速クローン技術に基づいてコンテナアプリケーションを定期的に起動し、レプリカに対してビッグデータによる計算分析を行い、データの価値を掘り起こす。実際には、レプリカ活用は MySQL データベースアプリケーションでも実現されており、高速バックアップに基づいて読み取り専用のバックアップデータベースを即座に起動し、オフラインデータ分析を行う。

ディザスタリカバリ切り替え：ビジネスを本番環境からディザスタリカバリ環境へ切り替える。本番側で大規模な障害が発生し、ビジネスが短時間で回復できず生産を継続できない場合、本番センターからディザスタリカバリセンターへビジネスを切り替える。本番センターのビジネスが復旧した後、ビジネスをディザスタリカバリから切り戻す。

従来のコピーデータ管理 CDM 方式と比較して、クラウドコンピューティング環境とクラウドネイティブ環境は大規模で弾力的な同種コンピューティング環境を備え、エンタープライズユーザーは機器リソースやソフトウェアに投資する必要がない。高速バックアップとクローン技術により、レプリカ開発、テスト、ディザスタリカバリ切り替えの目標復旧時間を大幅に短縮する。クラウドスナップショットサービスの統一されたバックアップデータ形式により、各管理プロセスで必要なレプリカ数を削減し、バックアップソフトウェア間のデータ形式互換性の問題を解消する。

技術原理

分散スナップショットアルゴリズムとその実装に多くの最適化を施し、ユーザーがパフォーマンスへの影響を気にせず、いつでも軽量かつリアルタイムなデータ保護を実行できるようにした。「軽量」：スナップショット作成中に I/O 読み書きパフォーマンスに影響を与えない。「高速」：ESSD クラウドディスクのスナップショットを秒単位で作成、秒単位でロールバック、秒単位でクローンできる超高速可用性機能により、ユーザーのリアルタイムデータ保護と DevOps の迅速なオーケストレーションのニーズを満たす。

超高速可用性

高速可用性機能を備えたスナップショットサービスは、データバックアップ、コンプライアンスシナリオ、長期アーカイブ業務に対応するだけでなく、クラウドディスクデータをワンクリックで Alibaba Cloud の Object Storage Service にバックアップでき、ローカルスナップショットレプリカを秒間で保持する近接・遠隔のスナップショット保護戦略を形成し、軽量なスナップショット作成、リアルタイムで利用可能な高速クローン、秒単位の無損失ロールバックを実現する。

高速クローン：本番環境から隔離されたクロス可用ゾーンのディザスタリカバリ環境において、スナップショットクローンにより新規ディスクの書き込み可能なスナップショットを作成し、アプリケーションのテスト検証とビジネスリカバリ準備を実現する。クラウドビジネスへの負荷を解消し、水平方向のビジネス拡張を実現する。たとえば、MySQL データベースアプリケーションの水平拡張、スタンバイデータベースの構築、インスタンス作成と読み書き分離はいずれも秒単位での起動が必要である。高速クローンは遅延ローディング技術を利用してローカルスナップショットレプリカのローカルドメインおよびクロスドメインデータを秒単位で利用可能にする。新規ディスクを迅速にクローンし、実シナリオでの秒単位起動を実現する。

秒単位ロールバック：ローカルスナップショットレプリカデータとクラウドディスクのローカルストレージにより、秒単位の I/O 無損失ロールバックリカバリを実現する。スナップショット生成プロセスは改良された ROW 技術とホログラフィックインデックス技術に基づく。ESSD に書き込まれるクラウドディスクデータブロックの変化に伴い、クラウドディスクの読み取りパフォーマンスは ESSD クラウドディスク I/O パフォーマンスの最適モードに従って最適化される。リモートオブジェクトストレージからデータを取得する必要がなく、ロールバック I/O パフォーマンスは秒単位で無損失である。

クラウドディスクが複数の超高速利用可能スナップショットを作成しロールバックを開始した後のテスト条件では、クラウドディスクの読み取りパフォーマンスは基本的に変わらない。競合他社のクラウドディスクでは複数のローカルスナップショットを保持した後、I/O 読み取りパフォーマンスに不同程度的な遅延ジッターが発生する。

一貫性グループスナップショット

コンテナ環境と ECS インスタンスは、関連付けられた複数ディスクのステートフルアプリケーションを保護する必要がある。単一ディスクスナップショットの最大の問題は、ステートフルアプリケーションがマルチディスク LVM、Windows ダイナミックディスク、ファイルシステムを永続ストレージとして使用している場合、単一クラウドディスクのスナップショットデータバックアップが不正確になることである。データベースアプリケーションはパフォーマンスとデータセキュリティの両方を考慮する必要がある。ログファイル WAL とデータファイルが異なるストレージデバイスに配置されており、システム全体の定期バックアップとディザスタリカバリが困難である。

K8S の POD へのステートフルアプリケーションのデプロイや単一 ECS インスタンスのデプロイメントに加え、分散アプリケーションのデプロイメントアーキテクチャ、Windows フェールマークラスターなどのアプリケーション高可用性クラスター、アクティブ/スタンバイのアプリケーションサーバー高可用性アーキテクチャ、共有ストレージに基づく RAC アプリケーションアーキテクチャも存在する。これらの分散アーキテクチャもクラウドディスクとノードを跨ぐデータ整合性保護を必要とする。

クラウドコンピューティングのストレージバックエンドは分散ストレージアーキテクチャを採用することが多い。分散環境にはグローバル論理クロックが存在しないため、単一 ECS インスタンスおよび ECS インスタンス間、K8S 環境の単一 POD およびノード間のマルチクラウドディスク一貫性グループスナップショットを実現することは困難である。スナップショットが I/O パフォーマンスに与える影響を最小限に抑えることは技術的に困難である。業界のマルチディスククラッシュ整合性スナップショット実現技術は主に二つのカテゴリに分かれる。

• スナップショット作成中に書き込み I/O をブロックする方法を採用し、複数ディスク間のデータクラッシュの時点ベース整合性を実現する。

• 論理クロック順序付けアルゴリズムを採用するが、分散ストレージの実装に依存するため実現が困難である。

一貫性グループスナップショットは二つ目の方式を採用し、I/O パフォーマンスに影響を与えないスナップショットの実現を目標としている。

実装原理：I/O 順序付けアルゴリズムを採用し、スナップショット作成時に書き込み I/O をブロックする必要がない。多くのユーザーはスナップショット作成が I/O パフォーマンスに影響することを懸念し、スナップショットデータ保護をビジネスの閑散期にのみ実行している。最適化されたマルチディスク一貫性グループスナップショットアルゴリズムは、スナップショットの I/O 影響に関する常識を覆す。書き込み順序保証メカニズムに基づき、書き込み I/O がベースストレージに到達する順序に従って、能動的に I/O のマーキングと順序付けプロセスを実行する。スナップショットに含めるべき I/O データセットは、スナップショット完了時点と I/O 順序付けに基づいて決定される。従来の方法と比較して、スナップショットの順序付けプロセスは I/O の書き込みプロセスをブロックしない。従来の Copy on Write 方式と比較して、スナップショット生成プロセスは Redirect on Write の書き込み方式を採用する。バックグラウンドのデータセット参照生成プロセスは I/O パスに影響を与えず、スナップショットが I/O パフォーマンスに与える影響を最小限に抑える。データベースビジネスの読み書きシナリオで I/O パフォーマンスの無損失を実現する。

データベースアプリケーションは 2 つのディスク、2 つのクライアント、4 TB の容量、ランダム書き込み、I/O デプス = 16、ジョブ数 = 1、ブロックサイズ 16 KB のテストデータベースを使用する。高 IOPS シナリオにおいて、スナップショット作成プロセス中の I/O への影響をテストする。競合他社 1 および競合他社 2 のスナップショット作成プロセス中の I/O パフォーマンスへの影響は、ほぼ 1 〜 3 倍に増加する。

アプリケーション整合性スナップショット

ESSD クラウドディスクのスナップショットデータ整合性タイプには、主にクラッシュ整合性とアプリケーション整合性がある。クラッシュ整合性はファイルシステムとアプリケーションがダウンタイムから回復する能力を持つことを前提としており、目標復旧時点の RPO が低く、ビジネスへの影響も小さいという特徴がある。ただし、以下のシナリオでは高いデータバックアップ信頼性と秒レベルの目標復旧時間 RTO の要件を満たせない。

• 原子性の欠陥リスク：ファイルシステムとデータベースアプリケーションではトランザクションの原子性の実現が難しく、欠陥が存在する可能性がある。トップシステムカンファレンス USENIX で発表された論文「All File Systems Are Not Created Equal」では、アプリケーションとカーネルに原子性保証の実装欠陥が存在しうることが説明されている。

• データ損失リスク：主流のファイルシステムはデフォルトでパフォーマンス優先の動作をし、クラッシュ整合性バックアップにはデータ損失リスクがある。Linux の ext4 ファイルシステムのデフォルトデータ書き込みモードは ordered mode であり、ファイルシステムの検証・修復プロセスでデータ損失リスクがある。データベースアプリケーションはパフォーマンス優先に設定されており、ビジネスデータに損失リスクがある。

• 長い生成時間と大きな影響：従来のファイルレベル物理バックアップとバックアップエージェント方式は論理ボリュームスナップショットの生成に依存し、時間がかかり、システムへの影響も大きい。バックアップエージェントはカーネルドライバーのインストールが必要で、互換性が悪くメンテナンスコストが高い。ファイルバックアッププロセスはデータの読み取りが必要で、システムの CPU と I/O リソースを消費する。アプリケーション整合性スナップショットは整合性生成時点でアプリケーションと通信するだけであり、増分データの生成やバックアップ読み書き操作は不要である。

実装原理：従来のバックアップ方式と比較して、アプリケーション整合性スナップショットのユーザーに対する価値は、クラウドネイティブなエージェントレスのアプリケーション整合性スナップショットを提供することにある。これにより、従来のバックアップ方式を使用する際に顧客が負担するリソース消費、デプロイの複雑さ、ソフトウェア互換性、カーネル開発、ソフトウェアメンテナンスのコストを簡素化する。クロスプラットフォームプラグインと独自の整合性コンポーネントを組み合わせる方式を採用し、ファイルシステムカーネルと Windows の VSS メカニズムに基づいて、スナップショット中の I/O とアプリケーショントランザクションのデータ無音化を実現し、エンタープライズアプリケーションのストレージスナップショットにおけるデータ整合性要件を満たす。採用した生成プロトコルは影響持続時間に基づいて I/O 影響を自動回復する。スナップショット整合性タイプは作成プロトコルの提出結果とアプリケーションステータスに依存する。上位アプリケーションから下位ストレージまでのパス長と整合性コンポーネントのパフォーマンスを最適化し、I/O 影響持続時間を秒レベルまで短縮する。作成頻度間隔はビジネス要件に応じて、ファイルシステム整合性を秒レベル、アプリケーション整合性スナップショット間隔を分レベルで実現できる。

クラッシュ整合性からアプリケーション整合性へ、単一ディスク整合性スナップショットからマルチクラウドディスクグループ整合性スナップショットへと、ESSD スナップショットの整合性分類は標準的な業界ブロックストレージパブリッククラウドのすべてのタイプのスナップショットを完全に分類している。セキュリティリスクとアプリケーションサポートのスケーラビリティの面において、ネイティブなエージェントレススナップショットの実現は競合他社の実現方式と比較して明確な優位性を持つ。常駐サービス不要、パブリックネットワーク IP アドレスとポート開放のリスクなし、ロールベースのセキュリティ権限付与、追加カーネルドライバー不要。論理ボリュームとエンタープライズアプリケーションの動的検出をサポートする。ESSD クラウドディスクベースでは、プロキシバックアップ不要、カーネルドライバーのメンテナンス不要、仮想マシン内部でのデータ読み取りと転送不要である。

国内外の主要クラウドプロバイダーにおけるスナップショット作成時間と I/O 影響時間の実テストによると、ESSD システムディスクとデータディスクをベースにした SQL Server データベースアプリケーションは、秒レベルの書き込み I/O ブロックと分レベルのスナップショット間隔を実現できる。アプリケーション整合性スナップショットの作成時間は競合他社と比べて 2 〜 3 倍短い。アプリケーション整合性全体リカバリを適用することで、クラッシュ整合性スナップショット回復時のログリプレイプロセスを回避し、データベースアプリケーションの起動速度を向上させる。

業界機能比較

業界のパブリッククラウドの他の競合他社のスナップショット機能と比較して、ESSD クラウドディスクはスナップショットの超高速可用性と一貫性グループスナップショットを完全にサポートする唯一のクラウドプロバイダーであり、エンタープライズコアアプリケーションのクラウドデータ保護シナリオにおけるスナップショット RTO と RPO の要件を満たしている。

将来の展望

データ保護は問題が発生してから対処するものではなく、事前に準備するものである。クラウドネイティブ技術、特にコンテナ技術の進化の勢いに伴い、エンタープライズユーザーがクラウド上で保護を求める目標復旧時点と目標復旧時間の要件はますます高まっている。今後、ESSD クラウドディスクをベースに高密度スナップショット、継続的データ保護、複数 ECS インスタンスに基づくアプリケーション整合性保護機能などの新機能を導入する。ユーザーにスナップショットの「軽量」「高速」「俊敏」な特性を継続的に提供し、エンタープライズデータ保護の RTO と RPO を削減し、より高度なネイティブスナップショットサービス機能を提供し、エンタープライズデータ保護を支援する。