ApsaraDB for SelectDB:データキャッシュ

キャッシュポリシー

ApsaraDB for SelectDB のキャッシュは、Least Recently Used (LRU) と Time-to-Live (TTL) のポリシーをサポートしています。テーブルのキャッシュポリシーは、そのパラメーターを調整することで制御できます。

キャッシュプリフェッチポリシー

ApsaraDB for SelectDB インスタンスは、1 つ以上のクラスターで構成されます。これらのクラスターは、保存されているデータを共有しますが、キャッシュデータは共有しません。新しく作成されたクラスターのキャッシュは空であるため、初期クエリが遅くなる可能性があります。この問題に対処するため、キャッシュプリフェッチを使用して、リモートストレージからローカルキャッシュにデータを事前にロードできます。

キャッシュプリフェッチは、以下の 3 種類のモードをサポートしています：

• クラスター A のキャッシュからクラスター B へデータをプリフェッチする： ApsaraDB for SelectDB は、各クラスターが一定の時間枠内でアクセスするテーブルまたはパーティションのホットスポット情報を定期的に収集し、、 内部テーブルに保存します。 クラスター間のプリフェッチ中に、送信先クラスターはソースクラスターからのホットスポット情報を使用して、特定のテーブルまたはパーティションのデータをプリフェッチします。

• 指定されたテーブルから新規クラスターへデータをプリフェッチ。

• 指定されたテーブルの特定パーティションから新規クラスターへデータをプリフェッチ。

キャッシュ領域の管理

ステップ 1：ホットデータの特定

1. インスタンス内の、キャッシュホットスポット情報を保持するクラスターをクエリします。

   SHOW CACHE HOTSPOT '/';

   クエリ結果より、cluster_name0 がキャッシュホットスポット情報を保持するクラスターであることがわかります。

   SHOW CACHE HOTSPOT '/';
   +------------------------+-----------------------+----------------------------------------+
   | cluster_name           | total_file_cache_size | top_table_name                         |
   +------------------------+-----------------------+----------------------------------------+
   | cluster_name0          |          751620511367 | regression_test.selectdb_cache_hotspot |
   +------------------------+-----------------------+----------------------------------------+

2. 指定されたクラスター cluster_name0 のキャッシュホットスポット情報を表示します。

   SHOW CACHE HOTSPOT '/cluster_name0';

   クエリ結果の top_partition_name 列より、customer テーブルに属するホットパーティション p20230529 が確認できます。

   +-----------------------------------------------------------+---------------------+--------------------+
   | table_name                                                | last_access_time    | top_partition_name |
   +-----------------------------------------------------------+---------------------+--------------------+
   | regression_test.selectdb_cache_hotspot                    | 2023-05-29 12:38:02 | p20230529          |
   | regression_test_cloud_load_copy_into_tpch_sf1_p1.customer | 2023-06-06 10:56:12 | p20230529          |
   | regression_test_cloud_load_copy_into_tpch_sf1_p1.nation   | 2023-06-06 10:56:12 | nation             |
   +-----------------------------------------------------------+---------------------+--------------------+

3. customer テーブルのホットパーティション情報を表示します。

   説明

   テーブルが 1 つのパーティションのみを持つ場合、パーティション名はテーブル名と同じになります。

   SHOW CACHE HOTSPOT '/cluster_name0/regression_test_cloud_load_copy_into_tpch_sf1_p1.customer';

   以下の結果が返されます。

   +----------------+---------------------+
   | partition_id   | partition_name      |
   +----------------+---------------------+
   | 422831494463   | p20230529           |
   +----------------+---------------------+

ステップ 2：キャッシュプリフェッチジョブの作成

以下に、3 種類のキャッシュプリフェッチモードの例を示します。

• cluster_name0 のキャッシュから cluster_name1 へプリフェッチ。

  WARM UP CLUSTER cluster_name1 WITH CLUSTER cluster_name0

• cluster_name0 の customer テーブルから cluster_name1 へプリフェッチ。

  WARM UP CLUSTER cluster_name1 WITH TABLE customer

• cluster_name0 の customer テーブルの p20230529 パーティションから cluster_name1 へプリフェッチ。

  WARM UP CLUSTER cluster_name1 WITH TABLE customer PARTITION p20230529

ステップ 3：キャッシュプリフェッチジョブの管理

• キャッシュプリフェッチジョブの JobId をクエリします。

  WARM UP CLUSTER cluster_name1 WITH TABLE customer;
  +-------+
  | JobId |
  +-------+
  | 13418 |
  +-------+
  1 row in set (0.01 sec)

• キャッシュプリフェッチジョブの進行状況をクエリします。

  FinishBatch および AllBatch の値に基づいてジョブの進捗を確認します。各バッチは約 10 GB です。

  SHOW WARM UP JOB WHERE ID = 13418; 

  以下の結果が返されます。

  +-------+-------------------+---------+-------+-------------------------+-------------+----------+------------+
  | JobId | ClusterName       | Status  | Type  | CreateTime              | FinishBatch | AllBatch | FinishTime |
  +-------+-------------------+---------+-------+-------------------------+-------------+----------+------------+
  | 13418 | cluster_name1     | RUNNING | TABLE | 2023-05-30 20:19:34.059 | 0           | 1        | NULL       |
  +-------+-------------------+---------+-------+-------------------------+-------------+----------+------------+
  1 row in set (0.02 sec)

• キャッシュプリフェッチジョブをキャンセルします。

  JobId を指定してキャッシュプリフェッチジョブをキャンセルできます。

  1. ジョブをキャンセルします。

     CANCEL WARM UP JOB where id = 13418;

     結果：

     Query OK, 0 rows affected (0.02 sec)

  2. ジョブがキャンセルされたことを確認します。

     SHOW WARM UP JOB WHERE ID = 13418;

     結果の Status が CANCELLED である場合、ジョブのキャンセルが正常に完了したことを示します。

     +-------+-------------------+-----------+-------+-------------------------+-------------+----------+-------------------------+
     | JobId | ClusterName       | Status    | Type  | CreateTime              | FinishBatch | AllBatch | FinishTime              |
     +-------+-------------------+-----------+-------+-------------------------+-------------+----------+-------------------------+
     | 13418 | cluster_name1     | CANCELLED | TABLE | 2023-05-30 20:19:34.059 | 0           | 1        | 2023-05-30 20:27:14.186 |
     +-------+-------------------+-----------+-------+-------------------------+-------------+----------+-------------------------+
     1 row in set (0.00 sec)

TTL ポリシーの設定

テーブルを作成する際に、PROPERTIES 内で file_cache_ttl_seconds パラメーターを設定することで、TTL ポリシーを適用できます。

customer テーブルに新規にインポートされたすべてのデータは、キャッシュ内に 300 秒間保持されます。

CREATE TABLE IF NOT EXISTS customer (
  C_CUSTKEY     INTEGER NOT NULL,
  C_NAME        VARCHAR(25) NOT NULL,
  C_ADDRESS     VARCHAR(40) NOT NULL,
  C_NATIONKEY   INTEGER NOT NULL,
  C_PHONE       CHAR(15) NOT NULL,
  C_ACCTBAL     DECIMAL(15,2)   NOT NULL,
  C_MKTSEGMENT  CHAR(10) NOT NULL,
  C_COMMENT     VARCHAR(117) NOT NULL
)
DUPLICATE KEY(C_CUSTKEY, C_NAME)
DISTRIBUTED BY HASH(C_CUSTKEY) BUCKETS 32
PROPERTIES(
    "file_cache_ttl_seconds"="300" --TTL を設定
)

TTL ポリシーの変更

ApsaraDB for SelectDB では、テーブルの Time to Live (TTL) を変更できます。TTL を延長または短縮する場合や、テーブル作成時に TTL を設定しなかった場合は、`ALTER` 文を使用して `file_cache_ttl_seconds` パラメーターを設定し、TTL を調整できます。

ALTER TABLE customer set ("file_cache_ttl_seconds"="3000");