Data Lake Formation:Hologres から DLF にアクセスする

カタログに外部スキーマを作成する

外部スキーマを作成すると、DLF カタログにデータベースが作成されます。次のコードは例です:

-- 外部スキーマを作成します。
CREATE EXTERNAL SCHEMA [IF NOT EXISTS] <ext_database_name>.<ext_schema_name>;

外部スキーマのメタデータをリフレッシュする

REFRESH CACHE FOR EXTERNAL SCHEMA <ext_database_name>.<ext_schema_name> WITH( cache_level = 'metadata'); 

外部スキーマを削除する

外部スキーマを削除すると、対応するデータベースとそれに含まれるすべてのテーブルがカタログから削除されます。この操作は注意して実行してください。

-- 外部スキーマを削除します。
DROP EXTERNAL SCHEMA [IF NOT EXISTS] <ext_database_name>.<ext_schema_name>;

指定されたスキーマ内のテーブルを表示する

SELECT * FROM hologres.hg_external_tables ('<ext_database_name>', '<ext_schema_name>');

カタログに外部テーブルを作成する

-- 非パーティションテーブルを作成します。

CREATE EXTERNAL TABLE <ext_database_name>.<ext_schema_name>.<ext_table_name>(
    id TEXT,                                        
    created_at BIGINT,                             
    type TEXT,                                      
    actor_id TEXT,                                  
    actor_login TEXT,                               
    repo_id TEXT,                                   
    repo_name TEXT,                                 
    org TEXT,                                       
    org_login TEXT,                                 
    PRIMARY KEY(id)
) WITH (
  "changelog-producer"='input',
  "bucket"=6,
  "bucket-key"='id'
);

-- パーティションテーブルを作成します。

CREATE EXTERNAL TABLE <ext_database_name>.<ext_schema_name>.<ext_table_name>(
    id TEXT,                                        
    created_at BIGINT,                              
    type TEXT,                                      
    actor_id TEXT,                                  
    actor_login TEXT,                               
    repo_id TEXT,                                  
    repo_name TEXT,                                 
    org TEXT,                                       
    org_login TEXT                                
)
LOGICAL PARTITION BY LIST(created_at)
 WITH (
  "file_format" = 'orc',
  "bucket"=6,
  "bucket-key"='id'
);

外部テーブルのメタデータをリフレッシュする

REFRESH CACHE FOR EXTERNAL TABLE <ext_db_name>.<ext_schema_name>.<ext_table_name> WITH( cache_level = 'metadata');

外部テーブルを削除する

外部テーブルを削除すると、そのテーブルは DLF カタログから削除されます。この操作は注意して実行してください。

-- 外部テーブルを削除します。
DROP EXTERNAL TABLE IF EXISTS <ext_database_name>.<ext_schema_name>.<ext_table_name>;

外部テーブルの統計情報を収集する

ANALYZE および AUTO ANALYZE コマンドは、データベース内のテーブルの内容に関する統計情報を収集します。オプティマイザーはこの情報を使用して、最適なクエリプランを生成し、クエリ効率を向上させます。詳細については、「ANALYZE と AUTO ANALYZE」をご参照ください。

-- テーブルの統計情報を更新します。デフォルトでは、テーブル内のすべての列の統計情報が収集されます。
analyze <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- 特定の列の統計情報を更新します。テーブル全体を更新する場合よりも多くのデータがサンプリングされるため、より正確な統計が得られます。これは主に、条件付きフィルターを持つ列を更新するために使用されます。
analyze <ext_database_name>.<ext_schema_name>.<ext_table_name>(<colname>, <colname>);

-- 自動分析を有効にします。
ALTER EXTERNAL DATABASE <ext_database_name> WITH enable_auto_analyze 'true';

Paimon Snapshots システムテーブルのクエリ

SELECT * FROM hologres.hg_list_snapshots('<ext_database_name>.<ext_schema_name>.<ext_table_name>;');

次の表は、Snapshots システムテーブルのフィールドと Paimon システムテーブルのフィールド間のマッピングを示しています。

また、hologres.hg_list_versions 関数を使用して Paimon Snapshots システムテーブルをクエリすることもできます。Paimon テーブルのクエリでは、バージョンはスナップショット ID に対応します。

SELECT * FROM hologres.hg_list_versions('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

Paimon Tag システムテーブルのクエリ

SELECT * FROM hologres.hg_list_tags('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

次の表は、Tag システムテーブルのフィールドと Paimon システムテーブルのフィールド間のマッピングを示しています。

タイムスタンプに基づいて Paimon テーブルの履歴スナップショットをクエリする

SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR TIMESTAMP AS OF '<timestamp>';

バージョンに基づいて Paimon テーブルの履歴スナップショットをクエリする

Paimon テーブルの場合、バージョンはスナップショット ID に対応します。

SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR VERSION AS OF '<version>';

タグに基づいて Paimon テーブルの履歴スナップショットをクエリする

SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR TAG AS OF '<tag>';

Branch システムテーブルのクエリ

SELECT * FROM hologres.hg_list_branches('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

次の表は、Branch システムテーブルのフィールドと Paimon システムテーブルのフィールド間のマッピングを示しています。

指定されたブランチのデータをクエリする

SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<tag>';

指定されたブランチの履歴スナップショットデータをクエリする

-- タイムスタンプに基づいてクエリします。
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>' TIMESTAMP AS OF '<timestamp>';

-- タグに基づいてクエリします。
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>' TAG AS OF '<tag_name>';

完全リフレッシュ

CREATE DYNAMIC TABLE paimon_dt_table
WITH (
      auto_refresh_mode='full',
      freshness='3 minutes'
)AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

増分リフレッシュ

CREATE DYNAMIC TABLE paimon_dt_table_increamental
WITH (
      auto_refresh_mode='incremental',
      freshness='3 minutes'
)AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

自動リフレッシュ

CREATE DYNAMIC TABLE paimon_dt_table_auto
WITH (
      auto_refresh_mode='auto',
      freshness='3 minutes'
)AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;