Data Lake Formation:table_summary と partition_summary システムテーブル

スキーマ

CREATE TABLE `table_summary` (
  `database_id`              STRING  COMMENT 'データベース ID',
  `database_name`            STRING  COMMENT 'データベース名',
  `table_id`                 STRING  COMMENT 'テーブル ID',
  `table_name`               STRING  COMMENT 'テーブル名',
  `table_type`               STRING  COMMENT 'テーブルタイプ',
  `owner`                    STRING  COMMENT 'テーブルオーナー',
  `created_by`               STRING  COMMENT '作成者',
  `created_at`               BIGINT  COMMENT '作成時刻 (エポックミリ秒)',
  `updated_by`               STRING  COMMENT '更新者',
  `updated_at`               BIGINT  COMMENT '最終更新時刻 (エポックミリ秒)',
  `obj_cnt`                  BIGINT  COMMENT 'データオブジェクト数、総数 = obj_cnt + meta_obj_cnt',
  `obj_size`                 BIGINT  COMMENT 'データオブジェクトサイズ (バイト)、合計サイズ = obj_size + meta_obj_size',
  `meta_obj_cnt`             BIGINT  COMMENT 'メタデータオブジェクト数',
  `meta_obj_size`            BIGINT  COMMENT 'メタデータオブジェクトサイズ (バイト)',
  `ts_file_count`            BIGINT  COMMENT '最新スナップショットのデータオブジェクト数',
  `ts_file_size_in_bytes`    BIGINT  COMMENT '最新スナップショットのデータオブジェクトサイズ (バイト)',
  `obj_type_standard_size`   BIGINT  COMMENT '標準ストレージ内のデータオブジェクトサイズ (バイト)',
  `obj_type_ia_size`         BIGINT  COMMENT 'IA ストレージ内のデータオブジェクトサイズ (バイト)',
  `obj_type_archive_size`    BIGINT  COMMENT 'アーカイブストレージ内のデータオブジェクトサイズ (バイト)',
  `obj_type_coldarchive_size` BIGINT  COMMENT 'コールドアーカイブストレージ内のデータオブジェクトサイズ (バイト)',
  `obj_size_tiny_cnt`        BIGINT  COMMENT 'データオブジェクト数 (サイズ <= 1 MB)',
  `obj_size_small_cnt`       BIGINT  COMMENT 'データオブジェクト数 (サイズ 1 MB - 128 MB)',
  `obj_size_middle_cnt`      BIGINT  COMMENT 'データオブジェクト数 (サイズ 128 MB - 1 GB)',
  `obj_size_large_cnt`       BIGINT  COMMENT 'データオブジェクト数 (サイズ > 1 GB)',
  `data_last_access_time`    BIGINT  COMMENT '最終データオブジェクトアクセス時刻 (エポックミリ秒)',
  `obj_access_num`           BIGINT  COMMENT '本日のデータオブジェクトアクセス数',
  `obj_access_num_7d`        BIGINT  COMMENT '過去 7 日間のデータオブジェクトアクセス数',
  `obj_access_num_30d`       BIGINT  COMMENT '過去 30 日間のデータオブジェクトアクセス数',
  `meta_last_access_time`    BIGINT  COMMENT '最終メタデータオブジェクトアクセス時刻 (エポックミリ秒)',
  `meta_obj_access_num`      BIGINT  COMMENT '本日のメタデータオブジェクトアクセス数',
  `meta_obj_access_num_7d`   BIGINT  COMMENT '過去 7 日間のメタデータオブジェクトアクセス数',
  `meta_obj_access_num_30d`  BIGINT  COMMENT '過去 30 日間のメタデータオブジェクトアクセス数',
  `last_requester`           STRING  COMMENT '最終リクエスタ',
  `top_requester`            STRING  COMMENT 'その日の最も頻繁なリクエスタ',
  `dt`                       STRING  COMMENT '日付 (yyyyMMdd)'
) COMMENT '日次テーブルレベルのサマリー'
PARTITIONED BY (dt) WITH (
   'file.format' = 'avro',
   'partition.expiration-time' = '30 d',
   'partition.timestamp-formatter' = 'yyyyMMdd'
);

フィールドの説明

スキーマ

CREATE TABLE `partition_summary` (
  `database_id`              STRING  COMMENT 'データベース ID',
  `database_name`            STRING  COMMENT 'データベース名',
  `table_id`                 STRING  COMMENT 'テーブル ID',
  `table_name`               STRING  COMMENT 'テーブル名',
  `partition_name`           STRING  COMMENT 'パーティション名',
  `created_by`               STRING  COMMENT '作成者',
  `created_at`               BIGINT  COMMENT '作成時刻 (エポックミリ秒)',
  `updated_by`               STRING  COMMENT '更新者',
  `updated_at`               BIGINT  COMMENT '最終更新時刻 (エポックミリ秒)',
  `obj_cnt`                  BIGINT  COMMENT 'データオブジェクト数',
  `obj_size`                 BIGINT  COMMENT 'データオブジェクトサイズ (バイト)',
  `obj_type_standard_size`   BIGINT  COMMENT '標準ストレージ内のデータオブジェクトサイズ (バイト)',
  `obj_type_ia_size`         BIGINT  COMMENT 'IA ストレージ内のデータオブジェクトサイズ (バイト)',
  `obj_type_archive_size`    BIGINT  COMMENT 'アーカイブストレージ内のデータオブジェクトサイズ (バイト)',
  `obj_type_coldarchive_size` BIGINT  COMMENT 'コールドアーカイブストレージ内のデータオブジェクトサイズ (バイト)',
  `obj_size_tiny_cnt`        BIGINT  COMMENT 'データオブジェクト数 (サイズ <= 1 MB)',
  `obj_size_small_cnt`       BIGINT  COMMENT 'データオブジェクト数 (サイズ 1 MB - 128 MB)',
  `obj_size_middle_cnt`      BIGINT  COMMENT 'データオブジェクト数 (サイズ 128 MB - 1 GB)',
  `obj_size_large_cnt`       BIGINT  COMMENT 'データオブジェクト数 (サイズ > 1 GB)',
  `data_last_access_time`    BIGINT  COMMENT '最終データオブジェクトアクセス時刻 (エポックミリ秒)',
  `obj_access_num`           BIGINT  COMMENT '本日のデータオブジェクトアクセス数',
  `obj_access_num_7d`        BIGINT  COMMENT '過去 7 日間のデータオブジェクトアクセス数',
  `obj_access_num_30d`       BIGINT  COMMENT '過去 30 日間のデータオブジェクトアクセス数',
  `last_requester`           STRING  COMMENT '最終リクエスタ',
  `top_requester`            STRING  COMMENT 'その日の最も頻繁なリクエスタ',
  `dt`                       STRING  COMMENT '日付 (yyyyMMdd)'
) COMMENT '日次パーティションレベルのサマリー'
PARTITIONED BY (dt) WITH (
   'file.format' = 'avro',
   'partition.expiration-time' = '30 d',
   'partition.timestamp-formatter' = 'yyyyMMdd'
);

フィールドの説明

DLF または Flink SQL を使用して DLF システムテーブルにクエリを実行できます。

ストレージ概要

SELECT
    dt,
    COUNT(DISTINCT table_id) AS table_cnt,
    SUM(obj_size) + SUM(meta_obj_size) AS total_size,
    SUM(obj_size) AS total_data_obj_size,
    SUM(meta_obj_size) AS total_meta_obj_size,
    SUM(ts_file_size_in_bytes) AS total_latest_snapshot_data_obj_size
FROM `<yourCatalogName>`.`system`.`table_summary`
WHERE dt BETWEEN '<startDate>' AND '<endDate>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
GROUP BY dt
ORDER BY dt;

SELECT
    database_id,
    database_name,
    table_id,
    table_name,
    table_type,
    owner,
    obj_size + meta_obj_size AS total_size,
    obj_size AS data_obj_size,
    ts_file_size_in_bytes AS latest_snapshot_data_obj_size,
    ts_file_size_in_bytes * 1.0 / NULLIF(obj_size, 0) AS latest_snapshot_ratio
FROM `<yourCatalogName>`.`system`.`table_summary`
WHERE dt = '<date>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
ORDER BY total_size DESC;

SELECT
    database_id,
    database_name,
    table_id,
    table_name,
    partition_name,
    obj_cnt AS data_obj_cnt,
    obj_size AS data_obj_size
FROM `<yourCatalogName>`.`system`.`partition_summary`
WHERE dt = '<date>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
    AND table_id = '<tableID>'
ORDER BY data_obj_size DESC;

SELECT
    dt,
    obj_cnt AS data_obj_cnt,
    obj_size + meta_obj_size AS total_size,
    obj_size AS data_obj_size,
    ts_file_size_in_bytes AS latest_snapshot_data_obj_size,
    ts_file_size_in_bytes * 1.0 / NULLIF(obj_size, 0) AS latest_snapshot_ratio
FROM `<yourCatalogName>`.`system`.`table_summary`
WHERE table_id = '<tableID>'
    AND dt BETWEEN '<startDate>' AND '<endDate>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
ORDER BY dt;

小さいファイル管理

SELECT
    database_id,
    database_name,
    table_id,
    table_name,
    table_type,
    obj_cnt AS data_obj_cnt,
    obj_size AS data_obj_size,
    obj_size_tiny_cnt,
    obj_size_small_cnt,
    obj_size_tiny_cnt * 1.0 / NULLIF(obj_cnt, 0) AS tiny_obj_ratio,
    (obj_size_tiny_cnt + obj_size_small_cnt) * 1.0 / NULLIF(obj_cnt, 0) AS small_obj_ratio,
    obj_size / NULLIF(obj_cnt, 0) AS avg_data_obj_size
FROM `<yourCatalogName>`.`system`.`table_summary`
WHERE dt = '<date>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
    AND obj_cnt > 0
ORDER BY obj_size_tiny_cnt DESC;

SELECT
    database_id,
    database_name,
    table_id,
    table_name,
    partition_name,
    obj_cnt AS data_obj_cnt,
    obj_size AS data_obj_size,
    obj_size_tiny_cnt,
    obj_size_small_cnt,
    obj_size_tiny_cnt * 1.0 / NULLIF(obj_cnt, 0) AS tiny_obj_ratio,
    (obj_size_tiny_cnt + obj_size_small_cnt) * 1.0 / NULLIF(obj_cnt, 0) AS small_obj_ratio,
    obj_size / NULLIF(obj_cnt, 0) AS avg_data_obj_size
FROM `<yourCatalogName>`.`system`.`partition_summary`
WHERE dt = '<date>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
    AND obj_cnt > 0
ORDER BY obj_size_tiny_cnt DESC;

SELECT
    dt,
    obj_cnt AS data_obj_cnt,
    obj_size_tiny_cnt,
    obj_size_small_cnt,
    obj_size_middle_cnt,
    obj_size_large_cnt,
    obj_size_tiny_cnt * 1.0 / NULLIF(obj_cnt, 0) AS tiny_obj_ratio,
    (obj_size_tiny_cnt + obj_size_small_cnt) * 1.0 / NULLIF(obj_cnt, 0) AS small_obj_ratio
FROM `<yourCatalogName>`.`system`.`table_summary`
WHERE table_id = '<tableID>'
    AND dt BETWEEN '<startDate>' AND '<endDate>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
ORDER BY dt;

ライフサイクル管理

SELECT
    database_id,
    database_name,
    table_id,
    table_name,
    obj_size AS data_obj_size,
    obj_type_standard_size,
    obj_type_ia_size,
    obj_type_archive_size,
    obj_type_coldarchive_size
FROM `<yourCatalogName>`.`system`.`table_summary`
WHERE dt = '<date>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
    AND (obj_type_ia_size > 0 OR obj_type_archive_size > 0 OR obj_type_coldarchive_size > 0)
ORDER BY data_obj_size DESC;

SELECT
    database_id,
    database_name,
    table_id,
    table_name,
    owner,
    obj_size + meta_obj_size AS total_size,
    data_last_access_time,
    meta_last_access_time
FROM `<yourCatalogName>`.`system`.`table_summary`
WHERE dt = '<date>'  -- 実際の日付 (yyyyMMdd 形式) に置き換えます
    AND obj_access_num_30d = 0
    AND meta_obj_access_num_30d = 0
ORDER BY total_size DESC;