Lindorm:タイムスタンプに基づくホット/コールドデータの分離保存

Apache HBase Shell の使用

手順1：境界を設定してテーブルを作成

HBase(main):002:0> create 'chsTable', {NAME=>'f', COLD_BOUNDARY=>'86400'}

手順2 (任意)：境界の変更

HBase(main):005:0> alter 'chsTable', {NAME=>'f', COLD_BOUNDARY=>'42300'}

手順3 (任意)：ホット/コールドデータ分離の無効化

HBase(main):004:0> alter 'chsTable', {NAME=>'f', COLD_BOUNDARY=>""}

ApsaraDB for HBase API for Java の使用

手順1：境界を設定してテーブルを作成

Admin admin = connection.getAdmin();
TableName tableName = TableName.valueOf("chsTable");
HTableDescriptor descriptor = new HTableDescriptor(tableName);
HColumnDescriptor cf = new HColumnDescriptor("f");
cf.setValue(AliHBaseConstants.COLD_BOUNDARY, "86400");
descriptor.addFamily(cf);
admin.createTable(descriptor);

手順2 (任意)：境界の変更

HTableDescriptor descriptor = admin
    .getTableDescriptor(tableName);
HColumnDescriptor cf = descriptor.getFamily("f".getBytes());
cf.setValue(AliHBaseConstants.COLD_BOUNDARY, "86400");
admin.modifyTable(tableName, descriptor);

手順3 (任意)：ホット/コールドデータ分離の無効化

HTableDescriptor descriptor = admin
    .getTableDescriptor(tableName);
HColumnDescriptor cf = descriptor.getFamily("f".getBytes());
cf.setValue(AliHBaseConstants.COLD_BOUNDARY, "");
admin.modifyTable(tableName, descriptor);

lindorm-cli (Lindorm SQL) の使用

手順1：境界を設定してテーブルを作成

CREATE TABLE ステートメントを使用します：

CREATE TABLE dt (
  p1 integer, p2 integer, c1 varchar, c2 bigint,
  constraint pk primary key(p1 desc))
WITH (COMPRESSION = 'ZSTD', CHS = '86400', CHS_L2 = 'storagetype=COLD');

または、ALTER TABLE を使用して既存のテーブルでホット/コールドデータ分離を有効にします：

-- 既存のテーブルでホット/コールドデータ分離を有効化します。
-- テーブルは CHS なしで作成されました:
-- CREATE TABLE dt (p1 integer, p2 integer, c1 varchar, c2 bigint,
--   constraint pk primary key(p1 desc)) WITH (COMPRESSION = 'ZSTD');

ALTER TABLE dt SET 'CHS' ='86400', 'CHS_L2' = 'storagetype=COLD';

手順2 (任意)：境界の変更

ALTER TABLE dt SET 'CHS'='1000';

手順3 (任意)：ホット/コールドデータ分離の無効化

ALTER TABLE dt SET 'CHS'='', 'CHS_L2' = '';

GET クエリ

Apache HBase Shell

-- すべてのデータをクエリ (コールドストレージを含む場合があります)
HBase(main):013:0> get 'chsTable', 'row1'

-- ホットストレージのみをクエリ
HBase(main):015:0> get 'chsTable', 'row1', {HOT_ONLY=>true}

-- 時間範囲でクエリ (UNIX タイムスタンプ、ミリ秒単位)
HBase(main):016:0> get 'chsTable', 'row1', {TIMERANGE => [0, 1568203111265]}

TimeRange パラメーターは、1970 年 1 月 1 日 00:00:00 UTC からの UNIX タイムスタンプをミリ秒単位で受け入れます。Lindorm は TimeRange を COLD_BOUNDARY と比較して、どのストレージ階層を読み取るかを決定します。

ApsaraDB for HBase API for Java

// すべてのデータをクエリ (コールドストレージを含む場合があります)
Get get = new Get("row1".getBytes());
System.out.println("result: " + table.get(get));

// ホットストレージのみをクエリ
get = new Get("row1".getBytes());
get.setAttribute(AliHBaseConstants.HOT_ONLY, Bytes.toBytes(true));

// 時間範囲でクエリ
get = new Get("row1".getBytes());
get.setTimeRange(0, 1568203111265);

Lindorm SQL

SELECT /*+ _l_hot_only_ */ * FROM dt WHERE pk IN (1, 2, 3);

SCAN クエリ

Apache HBase Shell

-- すべてのデータをスキャン (コールドストレージを含む場合があります)
Lindorm(main):017:0> scan 'chsTable', {STARTROW =>'row1', STOPROW=>'row9'}

-- ホットストレージのみをスキャン
Lindorm(main):018:0> scan 'chsTable', {STARTROW =>'row1', STOPROW=>'row9', HOT_ONLY=>true}

-- 時間範囲でスキャン
Lindorm(main):019:0> scan 'chsTable', {STARTROW =>'row1', STOPROW=>'row9', TIMERANGE => [0, 1568203111265]}

ApsaraDB for HBase API for Java

TableName tableName = TableName.valueOf("chsTable");
Table table = connection.getTable(tableName);

// すべてのデータをスキャン (コールドストレージを含む場合があります)
Scan scan = new Scan();
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
    System.out.println("scan result:" + result);
}

// ホットストレージのみをスキャン
scan = new Scan();
scan.setAttribute(AliHBaseConstants.HOT_ONLY, Bytes.toBytes(true));

// 時間範囲でスキャン
scan = new Scan();
scan.setTimeRange(0, 1568203111265);

使用上の注意

• 行キーの順序は保証されません。COLD_HOT_MERGE が有効な場合、ホットデータ行がコールドデータ行の前に返されます。結果セットには、ホットデータ行とコールドデータ行がそれぞれ行キーで個別にソートされて含まれますが、全体の結果は行キーでグローバルにソートされていません。

  // 通常のスキャン (辞書順)
  HBase(main):001:0> scan 'chsTable'
  ROW                 COLUMN+CELL
   coldRow            column=f:value, timestamp=1560578400000, value=cold_value
   hotRow             column=f:value, timestamp=1565848800000, value=hot_value
  2 row(s)
  
  // COLD_HOT_MERGE=true の場合 (ホットデータ行が先)
  HBase(main):002:0> scan 'chsTable', {COLD_HOT_MERGE=>true}
  ROW                 COLUMN+CELL
   hotRow             column=f:value, timestamp=1565848800000, value=hot_value
   coldRow            column=f:value, timestamp=1560578400000, value=cold_value
  2 row(s)

  アプリケーションで意味のある順序を維持するには、顧客 ID と注文作成時間などの複合キーのように、順序情報をエンコードする行キーを設計してください。

• 更新されたフィールドを持つ行が 2 回表示されます。コールドストレージ内の行が部分的に更新された場合、その行はホットストレージとコールドストレージの両方にまたがります。COLD_HOT_MERGE が有効な場合、結果には同じ行キーに対して 2 つのエントリ (1 つはホットストレージから、もう 1 つはコールドストレージから) が含まれます。

カスタムタイムスタンプの動作

行に設定したタイムスタンプは、書き込み時刻ではなく、その行がどのストレージ階層に配置されるかを決定します。例：

• 3 日後のタイムスタンプで書き込まれた行は、現在のタイムスタンプで書き込まれた行よりも 3 日遅れてコールドストレージにアーカイブされます。

• 境界が 3 日に設定されている場合、3 日前のタイムスタンプで書き込まれた行は、さらに 3 日後ではなく、書き込み直後に非同期でコールドストレージにアーカイブされます。

カスタムタイムスタンプは慎重に使用してください。過去のタイムスタンプで書き込まれた行は、次回のコンパクション直後にコールドストレージに移動する可能性があり、最近書き込まれたデータが常にホットストレージにあると想定するアクセスパターンでは予期しない動作となることがあります。

頻繁にアクセスされるコールドデータ

クエリが一貫してコールドストレージにヒットする場合、COLD_BOUNDARY (または CHS) の値が実際のアクセスパターンと一致しているか確認してください。コールドストレージのスループットはコールドストレージの仕様によって制限されるため、頻繁にアクセスされるコールドデータはクエリのパフォーマンスを低下させます。