仮想ウェアハウスを使用したデータ共有とトラフィック切り替えの方法 - Hologres

Hologres V2.0 では、伸縮性と高可用性 (HA) を備えた新しいインスタンスタイプが導入されました。このモデルでは、コンピューティングリソースを仮想ウェアハウスと呼ばれる独立したユニットに分離し、HA デプロイメントをより適切にサポートします。このトピックでは、仮想ウェアハウスの使用方法について説明します。

背景情報

仮想ウェアハウスは、読み書き分離、リソースアイソレーション、ワークロードアイソレーションなど、複数のシナリオをサポートします。その中核となる機能は、リソースアイソレーションと伸縮性です。仮想ウェアハウスアーキテクチャの詳細については、「仮想ウェアハウスアーキテクチャ」をご参照ください。

前提条件

Hologres V2.0.4 以降のバージョンのインスタンスのみが仮想ウェアハウスをサポートします。インスタンスのバージョンが V2.0.4 より前の場合は、アップグレード準備中の一般的なエラーをご参照いただくか、Hologres DingTalk グループに参加してサポートを依頼してください。詳細については、「オンラインサポートの追加入手方法」をご参照ください。

新しい仮想ウェアハウスの作成

このセクションでは、読み書き分離を実装するために、新しい仮想ウェアハウス read_warehouse_1 を作成する方法を説明します。 init_warehouse 仮想ウェアハウスはデータの書き込み用、 read_warehouse_1 はサービスクエリ用です。

image..png

データベースの作成

スーパーユーザーとして HoloWeb にログインし、erp_database という名前のデータベースを作成します。詳細については、「データベースの作成」をご参照ください。

データベースにログインした後、次の SQL 文を実行してサンプルデータをインポートします。

DROP FOREIGN TABLE IF EXISTS odps_customer_10g;
DROP FOREIGN TABLE IF EXISTS odps_lineitem_10g;
DROP FOREIGN TABLE IF EXISTS odps_nation_10g;
DROP FOREIGN TABLE IF EXISTS odps_orders_10g;
DROP FOREIGN TABLE IF EXISTS odps_part_10g;
DROP FOREIGN TABLE IF EXISTS odps_partsupp_10g;
DROP FOREIGN TABLE IF EXISTS odps_region_10g;
DROP FOREIGN TABLE IF EXISTS odps_supplier_10g;


IMPORT FOREIGN SCHEMA "MAXCOMPUTE_PUBLIC_DATA#default" LIMIT to
(
    odps_customer_10g,
    odps_lineitem_10g,
    odps_nation_10g,
    odps_orders_10g,
    odps_part_10g,
    odps_partsupp_10g,
    odps_region_10g,
    odps_supplier_10g
) 
FROM SERVER odps_server INTO public OPTIONS(if_table_exist'error',if_unsupported_type'error');

DROP TABLE IF EXISTS LINEITEM;

BEGIN;
CREATE TABLE LINEITEM
(
    L_ORDERKEY      BIGINT      NOT NULL,
    L_PARTKEY       INT         NOT NULL,
    L_SUPPKEY       INT         NOT NULL,
    L_LINENUMBER    INT         NOT NULL,
    L_QUANTITY      DECIMAL(15,2) NOT NULL,
    L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
    L_DISCOUNT      DECIMAL(15,2) NOT NULL,
    L_TAX           DECIMAL(15,2) NOT NULL,
    L_RETURNFLAG    TEXT        NOT NULL,
    L_LINESTATUS    TEXT        NOT NULL,
    L_SHIPDATE      TIMESTAMPTZ NOT NULL,
    L_COMMITDATE    TIMESTAMPTZ NOT NULL,
    L_RECEIPTDATE   TIMESTAMPTZ NOT NULL,
    L_SHIPINSTRUCT  TEXT        NOT NULL,
    L_SHIPMODE      TEXT        NOT NULL,
    L_COMMENT       TEXT        NOT NULL,
    PRIMARY KEY (L_ORDERKEY,L_LINENUMBER)
);
CALL set_table_property('LINEITEM', 'clustering_key', 'L_SHIPDATE,L_ORDERKEY');
CALL set_table_property('LINEITEM', 'segment_key', 'L_SHIPDATE');
CALL set_table_property('LINEITEM', 'distribution_key', 'L_ORDERKEY');
CALL set_table_property('LINEITEM', 'bitmap_columns', 'L_ORDERKEY,L_PARTKEY,L_SUPPKEY,L_LINENUMBER,L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
CALL set_table_property('LINEITEM', 'dictionary_encoding_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
CALL set_table_property('LINEITEM', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS ORDERS;

BEGIN;
CREATE TABLE ORDERS
(
    O_ORDERKEY      BIGINT      NOT NULL PRIMARY KEY,
    O_CUSTKEY       INT         NOT NULL,
    O_ORDERSTATUS   TEXT        NOT NULL,
    O_TOTALPRICE    DECIMAL(15,2) NOT NULL,
    O_ORDERDATE     timestamptz NOT NULL,
    O_ORDERPRIORITY TEXT        NOT NULL,
    O_CLERK         TEXT        NOT NULL,
    O_SHIPPRIORITY  INT         NOT NULL,
    O_COMMENT       TEXT        NOT NULL
);
CALL set_table_property('ORDERS', 'segment_key', 'O_ORDERDATE');
CALL set_table_property('ORDERS', 'distribution_key', 'O_ORDERKEY');
CALL set_table_property('ORDERS', 'bitmap_columns', 'O_ORDERKEY,O_CUSTKEY,O_ORDERSTATUS,O_ORDERPRIORITY,O_CLERK,O_SHIPPRIORITY,O_COMMENT');
CALL set_table_property('ORDERS', 'dictionary_encoding_columns', 'O_ORDERSTATUS,O_ORDERPRIORITY,O_CLERK,O_COMMENT');
CALL set_table_property('ORDERS', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS PARTSUPP;

BEGIN;
CREATE TABLE PARTSUPP
(
    PS_PARTKEY    INT    NOT NULL,
    PS_SUPPKEY    INT    NOT NULL,
    PS_AVAILQTY   INT    NOT NULL,
    PS_SUPPLYCOST DECIMAL(15,2) NOT NULL,
    PS_COMMENT    TEXT   NOT NULL,
    PRIMARY KEY(PS_PARTKEY,PS_SUPPKEY)
);
CALL set_table_property('PARTSUPP', 'distribution_key', 'PS_PARTKEY');
CALL set_table_property('PARTSUPP', 'colocate_with', 'LINEITEM');
CALL set_table_property('PARTSUPP', 'bitmap_columns', 'PS_PARTKEY,PS_SUPPKEY,PS_AVAILQTY,PS_COMMENT');
CALL set_table_property('PARTSUPP', 'dictionary_encoding_columns', 'PS_COMMENT');
CALL set_table_property('PARTSUPP', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS PART;

BEGIN;
CREATE TABLE PART
(
    P_PARTKEY     INT    NOT NULL PRIMARY KEY,
    P_NAME        TEXT   NOT NULL,
    P_MFGR        TEXT   NOT NULL,
    P_BRAND       TEXT   NOT NULL,
    P_TYPE        TEXT   NOT NULL,
    P_SIZE        INT    NOT NULL,
    P_CONTAINER   TEXT   NOT NULL,
    P_RETAILPRICE DECIMAL(15,2) NOT NULL,
    P_COMMENT     TEXT   NOT NULL
);
CALL set_table_property('PART', 'distribution_key', 'P_PARTKEY');
CALL set_table_property('PART', 'bitmap_columns', 'P_PARTKEY,P_SIZE,P_NAME,P_MFGR,P_BRAND,P_TYPE,P_CONTAINER,P_COMMENT');
CALL set_table_property('PART', 'dictionary_encoding_columns', 'P_NAME,P_MFGR,P_BRAND,P_TYPE,P_CONTAINER,P_COMMENT');
CALL set_table_property('PART', 'time_to_live_in_seconds', '31536000');
COMMIT;



DROP TABLE IF EXISTS CUSTOMER;
BEGIN;
CREATE TABLE CUSTOMER
(
    C_CUSTKEY    INT    NOT NULL PRIMARY KEY,
    C_NAME       TEXT   NOT NULL,
    C_ADDRESS    TEXT   NOT NULL,
    C_NATIONKEY  INT    NOT NULL,
    C_PHONE      TEXT   NOT NULL,
    C_ACCTBAL    DECIMAL(15,2) NOT NULL,
    C_MKTSEGMENT TEXT   NOT NULL,
    C_COMMENT    TEXT   NOT NULL
);
CALL set_table_property('CUSTOMER', 'distribution_key', 'C_CUSTKEY');
CALL set_table_property('CUSTOMER', 'bitmap_columns', 'C_CUSTKEY,C_NATIONKEY,C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
CALL set_table_property('CUSTOMER', 'dictionary_encoding_columns', 'C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
CALL set_table_property('CUSTOMER', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS SUPPLIER;

BEGIN;
CREATE TABLE SUPPLIER
(
    S_SUPPKEY   INT    NOT NULL PRIMARY KEY,
    S_NAME      TEXT   NOT NULL,
    S_ADDRESS   TEXT   NOT NULL,
    S_NATIONKEY INT    NOT NULL,
    S_PHONE     TEXT   NOT NULL,
    S_ACCTBAL   DECIMAL(15,2) NOT NULL,
    S_COMMENT   TEXT   NOT NULL
);
CALL set_table_property('SUPPLIER', 'distribution_key', 'S_SUPPKEY');
CALL set_table_property('SUPPLIER', 'bitmap_columns', 'S_SUPPKEY,S_NAME,S_ADDRESS,S_NATIONKEY,S_PHONE,S_COMMENT');
CALL set_table_property('SUPPLIER', 'dictionary_encoding_columns', 'S_NAME,S_ADDRESS,S_PHONE,S_COMMENT');
CALL set_table_property('SUPPLIER', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS NATION;

BEGIN;
CREATE TABLE NATION(
  N_NATIONKEY INT NOT NULL PRIMARY KEY,
  N_NAME text NOT NULL,
  N_REGIONKEY INT NOT NULL,
  N_COMMENT text NOT NULL
);
CALL set_table_property('NATION', 'distribution_key', 'N_NATIONKEY');
CALL set_table_property('NATION', 'bitmap_columns', 'N_NATIONKEY,N_NAME,N_REGIONKEY,N_COMMENT');
CALL set_table_property('NATION', 'dictionary_encoding_columns', 'N_NAME,N_COMMENT');
CALL set_table_property('NATION', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS REGION;

BEGIN;
CREATE TABLE REGION
(
    R_REGIONKEY INT  NOT NULL PRIMARY KEY,
    R_NAME      TEXT NOT NULL,
    R_COMMENT   TEXT
);
CALL set_table_property('REGION', 'distribution_key', 'R_REGIONKEY');
CALL set_table_property('REGION', 'bitmap_columns', 'R_REGIONKEY,R_NAME,R_COMMENT');
CALL set_table_property('REGION', 'dictionary_encoding_columns', 'R_NAME,R_COMMENT');
CALL set_table_property('REGION', 'time_to_live_in_seconds', '31536000');
COMMIT;

INSERT INTO public.customer SELECT * FROM public.odps_customer_10g ;
INSERT INTO public.lineitem SELECT * FROM public.odps_lineitem_10g ;
INSERT INTO public.nation SELECT * FROM public.odps_nation_10g ;
INSERT INTO public.orders SELECT * FROM public.odps_orders_10g ;
INSERT INTO public.part SELECT * FROM public.odps_part_10g ;
INSERT INTO public.partsupp SELECT * FROM public.odps_partsupp_10g ;
INSERT INTO public.region SELECT * FROM public.odps_region_10g ;
INSERT INTO public.supplier SELECT * FROM public.odps_supplier_10g ;

vacuum nation;
vacuum region;
vacuum supplier;
vacuum customer;
vacuum part;
vacuum partsupp;
vacuum orders;
vacuum lineitem;

analyze nation;
analyze region;
analyze lineitem;
analyze orders;
analyze customer;
analyze part;
analyze partsupp;
analyze supplier;
analyze lineitem (l_orderkey,l_partkey,l_suppkey);
analyze orders (o_custkey);
analyze partsupp(ps_partkey,ps_suppkey);

仮想ウェアハウスの作成

Hologres コンソールにログインし、対象インスタンスの詳細ページに移動します。
左側のナビゲーションペインで 計算グループ管理 をクリックして、仮想ウェアハウスリソース管理 タブに移動します。このタブでは、既存の仮想ウェアハウスの一覧を確認できます。
仮想ウェアハウスの新規追加 をクリックします。ダイアログボックスで、Virtual Warehouse Name を入力し、Virtual Warehouse Resource を選択します。
このシナリオでは、read_warehouse_1 という名前の仮想ウェアハウスを作成します。
OK をクリックします。
計算グループ管理 ページで、Status 列のステータスが 現在実行中 になれば、仮想ウェアハウスは正常に作成されています。

仮想ウェアハウスへのデータロード

テーブルグループは Hologres のデータコンテナです。仮想ウェアハウスでクエリを実行するには、まず、そのウェアハウスでテーブルグループを利用できるようにロードする必要があります。

現在のデータベース内のテーブルグループの表示
次の SQL 文を実行して、現在のデータベース内のテーブルグループを表示します。
```
SELECT tablegroup_name
FROM hologres.hg_table_group_properties
GROUP BY tablegroup_name;
```
次の図に結果の例を示します。
これは、現在のデータベースにテーブルグループが 1 つしかないことを示しています。
仮想ウェアハウス用のテーブルグループのロード
read_warehouse_1 を使用して erp_database_tg_default テーブルグループのデータをクエリするには、次の SQL 文を実行して erp_database_tg_default を read_warehouse_1 仮想ウェアハウスで利用できるようにロードします。
```
CALL hg_table_group_load_to_warehouse('erp_database.erp_database_tg_default', 'read_warehouse_1', 1);
```
ロードされたテーブルグループの確認
```
SELECT * FROM hologres.hg_warehouse_table_groups;
```
次の図に結果の例を示します。
この結果は、read_warehouse_1 が erp_database_tg_default テーブルグループをロードしたことを示しています。

ユーザー権限の設定

デフォルトでは、ユーザーは、権限が付与されるまで新しい仮想ウェアハウスにアクセスできません。次の例では、RAM ユーザー ram_test に、read_warehouse_1 仮想ウェアハウスへのアクセス権を付与する方法を説明します。

ユーザーの仮想ウェアウス権限の表示
```
SELECT * FROM hologres.hg_warehouse_users;
```
ユーザーのデフォルト仮想ウェアハウスの表示
```
SELECT * FROM hologres.hg_user_default_warehouse;
```
インスタンスへのユーザーの追加
HoloWeb の Users ページで、RAM ユーザーを Hologres インスタンスに追加します。詳細については、「ユーザー管理」をご参照ください。
ram_test ユーザーに erp_database データベースのクエリ権限を付与します。
HoloWeb の [データベース権限] ページで、ram_test ユーザーにデータベースのクエリ権限を付与します。詳細については、「RAM ユーザーに権限を付与する」をご参照ください。
ram_test ユーザーに、read_warehouse_1 仮想ウェアハウスへのアクセス権を付与します。
```
CALL hg_grant_warehouse_access_privilege ('read_warehouse_1', '"p4_2xxxxxxxxxxxxxxx"');
```
パラメーターの説明については、「仮想ウェアハウスを使用するためのユーザー認可」をご参照ください。
ram_test ユーザーのデフォルトの仮想ウェアハウスとして read_warehouse_1 を設定します。
読み取り/書き込み分離を実装するには、ram_test ユーザーは init_warehouse の代わりに read_warehouse_1 のリソースを使用して Hologres に接続する必要があります。次のコマンドを実行して、ram_test ユーザーのデフォルトの仮想ウェアハウスとして read_warehouse_1 を設定します。
```
CALL hg_set_user_default_warehouse('"p4_2xxxxxxxxxxxxxxx"', 'read_warehouse_1');
```
現在のアカウントが使用している仮想ウェアハウスの確認
ram_test ユーザーとしてインスタンスに接続した後、read_warehouse_1 仮想ウェアハウスを使用していることを確認するには、次のコマンドを実行します。
```
SELECT current_warehouse();
```

仮想ウェアハウス間のトラフィック切り替え

新しい read_warehouse_1 仮想ウェアハウスの作成後に障害が判明した場合は、ram_test アカウントから init_warehouse 仮想ウェアハウスにトラフィックを切り替える必要があります。

image..png

重要

トラフィックの切り替えは、インスタンスに再接続した後にのみ有効になります。Hologres に接続するアプリケーションに再接続メカニズムがあることを確認してください。
Hologres に接続する際は、自動ルーティングロジックを使用してください。接続文字列に仮想ウェアハウス名を指定しないでください。

ram_test ユーザーに、init_warehouse 仮想ウェアハウスへのアクセス権を付与します。
以前に ram_test に init_warehouse の権限を付与していない場合は、次のコマンドを実行して、ユーザー ram_test に init_warehouse 仮想ウェアハウスの権限を付与し、ram_test ユーザーが init_warehouse のリソースを使用できるようにします。
```
CALL hg_grant_warehouse_access_privilege('init_warehouse', '"p4_2xxxxxxxxxxxxxxx"');
```
ram_test ユーザーのデフォルトの仮想ウェアハウスとして init_warehouse を設定します。
次のコマンドを実行して、ram_test ユーザーのデフォルトの仮想ウェアハウスを init_warehouse に設定します。そうすると、このユーザーからの新しい接続では init_warehouse 仮想ウェアハウスが使用されるようになります。
```
CALL hg_set_user_default_warehouse('"p4_2xxxxxxxxxxxxxxx"', 'init_warehouse');
```
デフォルトの仮想ウェアハウスを使用していない接続の終了
```
SELECT hg_kill_non_default_warehouse_connections(); 
```
再接続後、新しい接続はデフォルトの仮想ウェアハウスを使用します。