Lindorm は、ホット/コールドデータ分離をサポートし、アクセス頻度によってデータを分類して、異なるメディアに保存します。アクセス頻度の低いコールドデータはコスト効率の高い容量型ストレージに、ホットデータはより高性能なストレージに保存することで、全体的なストレージコストを削減します。
背景情報
ビッグデータのシナリオでは、テーブルに注文や監視データなどの大量の履歴データが保存される場合があります。このデータが古くなるにつれて、アクセスされる頻度が減少し、そのストレージコストが課題となります。Lindorm は、ホット/コールドデータを異なるストレージメディアに分離することで、この課題に対処します。コールドデータは容量型ストレージに保存され、ホットデータは Standard、性能型、ローカル SSD、またはローカル HDD ストレージに保存されます。容量型ストレージの単価は Standard ストレージよりも 80% 低いため、コールドデータのストレージコストを大幅に削減できます。
仕組み
Lindorm は、ホットデータとコールドデータを同じテーブルに保存しますが、異なるストレージメディアに配置します。データは、タイムスタンプまたはカスタム時間列と、テーブルに指定されたホット/コールドデータの境界に基づいて、ホットストレージまたはコールドストレージにルーティングされます。新しいデータは最初にホットストレージに書き込まれ、その経過時間が境界を超えた後、コールドストレージに転送されます。
ホット/コールドデータ分離が有効なテーブルには、通常のテーブルと同じ方法でアクセスできます。このようなテーブルをクエリする場合、ヒントまたは時間範囲を指定して、ホットデータのみをクエリできます。
Lindorm は、カスタム時間列またはタイムスタンプに基づいて、ホットデータとコールドデータを個別に保存します。
-
カスタム時間列に基づくホット/コールドデータ分離：カスタム時間列を設定し、テーブルにホット/コールドデータの境界を指定できます。Lindorm は、カスタム時間列の値と境界に基づいて、データをコールドストレージまたはホットストレージにルーティングします。カスタム時間列に値がない行は、ホットストレージに保存されます。詳細については、「カスタム時間列に基づくホット/コールドデータ分離」をご参照ください。
-
タイムスタンプに基づくホット/コールドデータ分離：テーブルにデータを書き込む際にタイムスタンプを指定できます。Lindorm は、タイムスタンプとホット/コールドデータの境界に基づいて、データをコールドストレージまたはホットストレージにルーティングします。タイムスタンプが指定されていない場合、書き込み時刻を使用してデータをコールドストレージにアーカイブするかどうかを判断します。詳細については、「タイムスタンプに基づくホットデータとコールドデータの個別保存」をご参照ください。
制限
-
カスタム時間列に基づくホット/コールドデータ分離：SQL 文で作成されたテーブルのみをサポートします。HBase シェルまたは API で作成されたテーブルはサポートしません。この方法は、SQL で作成されたテーブルに推奨します。
-
タイムスタンプに基づくホット/コールドデータ分離：SQL 文、HBase シェル、および HBase API で作成されたテーブルをサポートします。この方法は、HBase シェルまたは API で作成されたテーブルなど、カスタム時間列を設定できない場合に推奨します。
注意事項
-
容量型ストレージは IOPS に制限があり、クエリ頻度の低いデータに最適です。
-
容量型ストレージの書き込みスループットは、Standard ストレージに近い性能です。
-
容量型ストレージは、高同時実行の読み取り負荷には適していません。高負荷の同時読み取りではエラーが発生する可能性があります。
-
大規模な容量型ストレージを割り当てている場合、ビジネス要件に合わせて読み取り IOPS を調整できます。詳細については、テクニカルサポートまでお問い合わせください。
-
ノードあたり 30 TB 以下のコールドデータを保存することを推奨します。この制限を増やすには、テクニカルサポートまでお問い合わせください。
-
容量型ストレージの使用率が 95% を超えると、それ以上データを書き込むことができなくなります。インスタンスの容量型ストレージ使用率を監視してください。詳細については、「コールドストレージのサイズの表示」をご参照ください。
容量型ストレージの読み取りパフォーマンスに関する詳細は、「容量型クラウドストレージの概要」をご参照ください。