このトピックでは、データベース業界の動向とPolarDB-Xの進化について説明します。
業界トレンド
データベースシステムが重要な役割
データベース、オペレーティングシステム (OS) 、およびミドルウェアは、システムソフトウェアの3つの原動力である。 3つのコンポーネントは、企業のITシステムに不可欠であり、インターネット上の企業のアプリケーションレベルの情報管理システムを構築するために使用されます。 企業は3つのコンポーネントを使用して、データを保存および管理するコアプラットフォームを構築できます。 データベースシステムは、すべてのアプリケーションソフトウェアのデータを処理および交換するハブであり、基本ソフトウェアのデータの保存、クエリ、分析、および処理において中核的な役割を果たします。 データベースシステムの効率と安定性、およびデータベースシステムによってサポートされるプログラミング言語は、データベースシステムを使用する上位層アプリケーションの性能と開発者の効率を決定する。 Gartnerは、世界的に信頼できるIT調査およびコンサルティング会社です。 Gartnerの2017の統計によると、基本的なエンタープライズソフトウェアの世界的な収益は合計195.852億米ドル、データベースの世界的な収益は合計38.8億米ドルです。 つまり、データベースは基本的なソフトウェアの主要な収益源であり、総収益の20% を占めています。
分散データベースはトレンド
近年、インターネットとビッグデータ技術の急速な発展は、中国のEコマースの爆発的な発展に勢いを注いでいます。 ダブル11ショッピングフェスティバルでの取引量は指数関数的に増加し、中国のEコマースは急増し、国際的な認知を獲得しました。 Eコマースの急速な発展は、バックエンドのビジネスサポートシステムに高い圧力をもたらします。 たとえば、Double 11ショッピングフェスティバル中のトランザクションの急増は、顧客がアクセスする電子商取引Webサイトに大きな圧力をかけるだけでなく、物流会社の物流システム、銀行の支払いシステム、小売業者の倉庫システムなどのビジネスサポートシステムにも課題をもたらします。
包括的な資金調達とデジタル資金調達の促進により、金融機関が新しい時代のビジネスパフォーマンスを向上させるためには、データ管理と処理の機能が重要になります。 同時に、モバイルインターネットとデジタル決済の繁栄には、コアアカウント間の金融取引、オンライン決済またはモバイル決済を使用するビジネス、リアルタイムの取引監視など、特定のシナリオで新しいデータモデルの機能を強化するための金融システムが必要です。メトリック分析。
銀行の従来の支払いシステムは、IBMが提供するメインフレームまたはミニコンピューター、Oracleが開発したデータベース、およびEMCが提供するストレージシステムを使用する技術アーキテクチャを採用しています。 このアーキテクチャは、IOEアーキテクチャとして知られている。 IOEアーキテクチャに基づく従来の支払いシステムは、コストがかかり、IBM、Oracle、およびEMCによって提供される製品およびサービスに対するユーザの過度の依存をもたらす可能性がある。 モバイルインターネットとデジタル決済の台頭は、銀行のコア決済システムにおけるビジネスの指数関数的成長を伴います。 IOEアーキテクチャに基づく従来の支払いシステムは、集中化された方法で構築される。 ムーアの法則の崩壊により、単一のサーバーのパフォーマンスがボトルネックになります。 パフォーマンスのボトルネックを解決するために、技術者は従来の集中システムを分散システムに変換する方法を模索し始めます。 低コストでパフォーマンスを向上させるために、技術者は、単一の高性能データベースをスケールアップするのではなく、ミッドエンドおよびローエンドサーバーを使用してデータベースインスタンスをスケールアウトします。 このシナリオでは、大規模な分散トランザクションデータベースは、分散システムでデータを格納および管理する傾向になります。
PolarDB-Xの進化
概要
PolarDB-Xは、Alibaba Cloudによって開発された分散データベースサービスです。 SQLエンジンをサポートする分散型データベースサービス (DRDS) と、自己開発の分散型データベースサービスX-DBのストレージテクノロジーを統合します。 統合されたクラウドネイティブアーキテクチャに基づいて、PolarDB-Xは最大数千万の同時接続と数百ペタバイトの大容量データストレージをサポートします。 PolarDB-Xは、大容量ストレージ、超高同時スループット、大規模なテーブルでのパフォーマンスのボトルネック、および複雑なコンピューティングの効率性のソリューションを提供することを目的としています。 PolarDB-Xは、Double 11ショッピングフェスティバルやさまざまな業界のAlibaba Cloud顧客のビジネスに適用およびテストされており、企業のデジタル変革を促進するために適用可能であることが証明されています。
PolarDB-Xは、リレーショナルデータベースの標準テクノロジーを使用して、包括的な管理、O&M、および製品ベースの機能とともにコア機能を提供します。 このようにして、PolarDB-Xは、従来のスタンドアロンMySQLデータベースと同様の方法で運用できる、安定性、信頼性、拡張性、保守性の高いデータベースサービスを提供できます。
PolarDB-Xは、Alibaba CloudとApsara Stackで長年使用されており、各Double 11ショッピングフェスティバル期間中のコアトランザクションビジネスと、さまざまな業界のAlibaba Cloud顧客のビジネスによってテストされています。 PolarDB-Xは、インターネット、金融と支払い、教育、通信、公益事業など、さまざまな業界の多数のユーザーのコアオンラインビジネスに適用されます。 PolarDB-Xは、Alibaba GroupのすべてのコアオンラインビジネスおよびAlibaba Cloud顧客のビジネスの標準的な分散データベースサービスになりました。
歴史
淘宝網は2003年に登録され、クラシックLinux、Apache、MySQL、PHP (LAMP) スタックを採用しました。 ユーザーの急速な成長に伴い、スタンドアロンMySQLデータベースはビジネスのストレージ要件を満たすことができなくなりました。 ビジネスのストレージ要件を満たすために、Taobaoは技術アーキテクチャをアップグレードし、MySQLデータベースをOracleデータベースに置き換えました。 ユーザー数が急速に増加し続けているため、増加しているOracleデータベースは、データベースのスケーラビリティに関するビジネスの要件を満たすことができませんでした。 この問題を解決するために、Alibaba Groupは2009でdeIOEキャンペーンを開始しました。 これにより、PolarDB-Xの進化が始まりました。
TDDL
de-IOEキャンペーンの重要なステップは、Oracleデータベースに代わるものを見つけることです。 この期間中、淘宝網での膨大な量のビジネスは、既存の商用データベースに課題を生み出しました。 将来のビジネス成長に伴うパフォーマンスのボトルネックを防ぐため、Alibaba Groupは独立したテクノロジーを開発し、データベースを独立して管理することを決定しました。 x86アーキテクチャが成熟するにつれて、パーソナルコンピュータとミニコンピュータの安定性の違いは減少しました。 一方、MySQLデータベースは軽量スレッドモデルの採用を開始し、高い同時実行性をサポートしました。 MySQLエコシステムは徐々に改善されました。 このように、新しいソリューションは、TDDLとAliSQLを組み合わせたシャーディング技術と分散アーキテクチャを採用しました。 TDDLとAliSQLは、オープンソースのMySQLエンジンに基づいて開発されました。 TDDLは、スケーラビリティの問題を解決することを目的としており、システムアーキテクチャとして使用されました。 ただし、TDDLをサービスとして配信することはできません。
DRDS
2014年、TDDLアーキテクチャが成熟した後、Alibaba Cloudはクラウドデータベースへの移行を開始しました。 Alibaba Cloudは、データベースとテーブルのシャーディングテクノロジーを開発し、DRDSとApsaraDB RDS for MySQLに基づく分散クラウドデータベースサービスを開始しました。 DRDSは、無共有アーキテクチャを特徴としており、ストレージ拡張のソリューションの提供に重点を置き、製品ベースのデータベースサービスをユーザーに提供しました。
PolarDB-X 1.0
Alibaba Cloudは、データベースシャーディングとテーブルシャーディングの問題点を解決するために、データベースサービスを継続的に繰り返し実行しました。 その結果、DRDSは、分散トランザクション、グローバルセカンダリインデックス、非同期DDLクエリなどのカーネル機能をサポートしました。 Alibaba Cloudは、SQL構文との互換性も継続的に改善しました。 その結果、DRDSは、サブクエリのネスト解除やJOINクエリのプッシュダウンなどの複雑な最適化をサポートしました。 DRDSは、スムーズなスケールアウト、一貫したバックアップと復元、SQLクエリのフラッシュバック、SQL監査などのO&M機能も提供しました。 このフェーズでは、アリババクラウドはシャーディングテクノロジーの境界を拡大し、最大の機能を探求し続けた。 このプロセスにより、DRDSは、複数のシナリオに適用できる、ますます安定した標準化されたデータベースサービスを提供するようになりました。 DRDSはミドルウェアから分散データベースサービスに変換されました。 2019年に、新しい製品ラインPolarDB-Xのリリースはマイルストーンになりました。
PolarDB-X 2.0
2018では、コンピューティング層のインスタンスでパフォーマンスのボトルネックが発生しました。 たとえば、データベースインスタンスはトランザクションのREPEATABLE READ分離レベルを提供できませんでした。 計算プッシュダウンの機能は、SQL構文との互換性によって制限されていました。 データクエリとデータ送信は非効率的でした。 データレプリカ間の線形整合性を確保できませんでした。 これらの問題は未解決のように見えましたが、コンピューティング層をストレージ層に深く統合する必要があるというヒントを提供しました。
AliSQLはMySQLの独立したブランチであり、リリース以来更新を受け続けています。 X-DBデータベースは、Alibaba Groupのビジネスによって長年テストされています。 X-PaxosプロトコルライブラリとX-Engineストレージエンジンを使用するX-DBデータベースは、AliSQLの上に構築されています。 X-DBデータベースは3重のストレージメカニズムを採用し、低コストで優れたパフォーマンスを提供します。
PolarDB-Xは、PolarDBのクラウドネイティブアーキテクチャに基づいて開発されています。 PolarDB-Xは、リモートダイレクトメモリアクセス (RDMA) テクノロジーを使用して、ストレージをコンピューティングから切り離すアーキテクチャを最適化します。 PolarDB-Xクラスターは、1つのプライマリノードと1つ以上の読み取り専用ノードで構成されます。 PolarDB-Xは、コストを削減するためのリソースプールを提供します。 PolarDB-Xは、SQLクエリを最適化し、データのバックアップと復元機能を提供することもできます。 データを復元し、数秒以内に自動スケーリングを有効にできます。 これにより、PolarDB-Xは、最も急速に成長しているAlibaba Cloudデータベースサービスの1つになります。
長年にわたる技術的な調査と経験により、Alibaba Cloudは分散クラウドデータベースの開発方法について考えることができます。
ユーザーはクラウドデータベースを使用することを期待しています。 これにより、サーバーが故障してもデータの損失を防ぐことができます。 このシナリオでは、高い可用性を提供するために、強力な一貫性とディザスタリカバリをサポートできるデータベースが必要です。 モバイルインターネットとIoTの使用が増加すると、爆発的な量のデータが生成されます。 COVID-19のパンデミックの発生後、より多くの企業がITシステムのコストを懸念しています。 したがって、エンタープライズユーザーは、コンピューティングパワーとストレージパワーのスケーリングをサポートする高性能で低コストのデータベースを使用することを期待しています。 データベース市場では、ユーザーはクエリに基づいて課金されることも期待しています。
したがって、次世代分散データベースは、財務レベルでの高可用性と災害復旧を特徴とする必要があります。 これらのデータベースは、水平スケーリング、低コストストレージ、オンデマンドスケーリング、トランスペアレントな配布、HTAP、および新しいハードウェアとの統合もサポートする必要があります。
2021年、Alibaba Cloudは、DRDSのSQLエンジン、X-DBのストレージ技術、およびPolarDBのクラウドネイティブ機能に基づいた、次世代クラウドネイティブ分散データベースサービスPolarDB-X 2.0をリリースしました。 PolarDB-X 2.0は、スタンドアロンデータベースでは解決できない問題の解決に重点を置いています。 PolarDB-X 2.0は、分散システムでデータの一貫性を確保し、スタンドアロンデータベースから分散データベースにデータをスムーズに移行できます。 PolarDB-X 2.0は、クラウドネイティブテクノロジーに基づく低コストのストレージと自動スケーリングを提供します。 PolarDB − X 2.0は、様々な配信モードを提供する。 Alibaba CloudまたはApsara Stackにデータベースインスタンスをデプロイできます。 PolarDB-X 2.0の軽量ソフトウェア版を使用することもできます。