Tablestore のデータレイクシッピングを使用すると、完全バックアップを実行したり、Object Storage Service (OSS) のデータレイクへデータをリアルタイムに配信したりできます。この機能は、低コストの履歴データストレージと、大規模なオフラインおよびニアリアルタイムのデータ分析をサポートします。
シナリオ
データレイクシッピングは、以下のシナリオに適しています。
-
データ階層化
データレイクシッピングを Tablestore の Time to Live (TTL) 機能と組み合わせて使用することで、完全データを迅速かつ低コストで OSS に保存できます。Tablestore は、ホットデータに対する低レイテンシーのクエリと分析をサポートします。
-
完全データバックアップ
データレイクシッピングは、Tablestore テーブルから OSS バケットへ完全データを自動的に配信し、データのバックアップとアーカイブを実現します。
-
大規模なリアルタイムデータ分析
データレイクシッピングは、増分 Tablestore データをニアリアルタイムで OSS に配信し、2 分ごとにデータを書き込みます。配信されたデータは、システム時刻によってパーティション化され、Parquet 列ストア形式で保存されます。OSS の高い読み取り帯域幅とスキャンに最適化された列ストア形式を使用することで、効率的なリアルタイムデータ分析を実行できます。
機能
データレイクシッピングの主な機能は以下のとおりです。
-
データレイクシッピングは、Tablestore から完全データと増分データを自動的に取得します。データは、特定のサイズに達するか、2 分が経過すると、永続的に保存するため、OSS に書き込まれます。
-
データ配信モードは、増分、完全、または完全と増分のいずれかを設定できます。配信されたすべてのデータは、Parquet 列ストア形式で保存されます。
-
リアルタイム配信の同期チェックポイントを監視できます。データレイクシッピングは、DescribeDeliveryTask API を提供します。この API は、タスクが正常に配信したリアルタイムデータのチェックポイントを返します。
主な利点
-
使いやすさ
コンソールでの簡単な設定だけで、Tablestore から OSS へのフルマネージドの自動データ配信を設定できます。監視や運用保守 (O&M) は不要です。配信タスクは、サービスレベルアグリーメント (SLA) 内で安定して実行され、スループットに応じてスケールします。
-
完全データと増分データの統合
データレイクシッピングは、完全データと増分データの両方を配信する統合機能を備えています。増分配信タスクは、新しいデータを継続的に取得し、2 分間キャッシュしてから OSS に書き込むことで、ニアリアルタイムに近い体験を提供します。
-
コンピューティングエコシステムとのシームレスな統合
配信されたデータは、オープンソース標準と互換性があります。データは Parquet 列ストア形式で保存されており、Hive の命名規則に従っています。E-MapReduce を使用して、外部テーブルを使用して OSS 内のデータを直接分析できます。
-
データ階層化ストレージとアクセス体験
データが OSS に配信された後、Tablestore は、データテーブル、インデックス テーブル、および OSS 内のデータにまたがる階層化されたデータアクセスを提供します。この構造は、さまざまなシナリオの分析ニーズをサポートします。
注意事項
データレイクシッピングは、中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (深セン) の各リージョンで利用できます。
ワークフロー
-
配信タスクを作成して、Tablestore データを OSS に配信できます。詳細については、「コンソールを使用した OSS へのデータ配信」および「SDK を使用した OSS へのデータ配信」をご参照ください。
-
EMR を使用して、OSS 内の Tablestore データを分析できます。詳細については、「EMR を使用したデータ分析」をご参照ください。