Hologres は、hg_insert_overwrite ストアドプロシージャ (V2.0 以降) とネイティブの INSERT OVERWRITE 構文 (V3.1 以降) を使用して INSERT OVERWRITE をサポートします。
機能の比較
INSERT OVERWRITE の動作は、テーブルの種類と方法によって異なります。
非パーティションテーブル:両方の方法がサポートされています。
物理パーティションテーブル:
hg_insert_overwriteストアドプロシージャを使用します。論理パーティションテーブル:
hg_insert_overwriteストアドプロシージャを使用します (内部でネイティブの INSERT OVERWRITE を呼び出します)。物理パーティションテーブルから論理パーティションテーブルへの移行:データインポートノードの適応。
テーブルタイプ | 比較項目 | hg_insert_overwrite | ネイティブ |
非パーティションテーブル | サポート済み | サポート済み | |
物理パーティションテーブル | 親テーブルへのインポート |
| サポートされていません |
子テーブルへのインポート | サポート済み (非パーティションテーブルとして扱われます) | サポート済み (非パーティションテーブルとして扱われます) | |
論理パーティションテーブル | 親テーブルへのインポート (子テーブルを指定しない) | サポートされていません | サポートされていません |
親テーブルへのインポート (子テーブルを指定) | サポート済み | サポート済み | |
hg_insert_overwrite またはネイティブの INSERT OVERWRITE を使用するには、インスタンスがバージョン要件を満たしていることを確認してください。詳細については、「インスタンスのアップグレード」をご参照ください。アップグレードできない場合は、「一時テーブルを使用して INSERT OVERWRITE 操作を実行」をご参照ください。
ネイティブ INSERT OVERWRITE の使用
概要
ネイティブの
INSERT OVERWRITEは Hologres V3.1 から利用可能です。ネイティブの
INSERT OVERWRITEは、以下のテーブルの種類をサポートします。非パーティションテーブル。
物理パーティションテーブルの子テーブル (非パーティションテーブルとして扱われます)。
論理パーティションテーブル (パーティションを指定)。
制約事項
ネイティブの
INSERT OVERWRITEは、デフォルトで混合 DML トランザクションを有効にします:SET hg_experimental_enable_transaction = on;。Hologres のトランザクション機能に関する詳細については、「SQL トランザクション」をご参照ください。INSERT OVERWRITE と DDL ステートメントは、同じトランザクション内で混在させることはできません。
トランザクション内のすべての DML ステートメントは、COMMIT が実行されたときにのみコミットされます。
Hologres V4.0 より前では、ネイティブの INSERT OVERWRITE は、バイナリロギングが有効になっているテーブルに対してバイナリログを生成しません。Hologres V4.0 からは、この構文はバイナリログを生成します。バイナリログの生成は大量のストレージオーバーヘッドを発生させる可能性があるため、必要でない限り無効にすることを推奨します。セッションレベルでバイナリログの生成を無効にするには、次のコマンドを実行します:
SET hg_experimental_generate_binlog = off;。読み取りの原子性はデフォルトで保証されますが、メタデータのオーバーヘッドが高くなり、DQL のレイテンシーが増加する可能性があります (特にセカンダリ仮想ウェアハウスで影響が大きくなります)。長時間実行される
INSERT OVERWRITE操作は、Data version is inconsistentやInsert overwrite version not matchなどの読み取り失敗を引き起こす可能性があります。読み取りの原子性が必要ない場合は、DQL タスクに対して GUC を無効にします:
set hg_experimental_enable_check_data_version=off。これにより、DQL タスクはINSERT OVERWRITE操作の前後のデータファイルを混在してスキャンする可能性があります。読み取りの原子性が必要で、かつ DQL のレイテンシーを削減する必要がある場合は、プライマリ仮想ウェアハウスで DQL タスクを実行してください。
構文
INSERT OVERWRITE <target_table_name>
[ PARTITION (<partition_key> = '<partition_value>') [, ...]]
VALUES ( <expression> [, ...] ) [, ...] | <query>;パラメーター
パラメーター | 必須 | 説明 |
| はい | ターゲットテーブルの名前。 |
| いいえ | パーティションキーとパーティション値。論理パーティションテーブルの場合に必要です。 |
| いいえ | ターゲットテーブルの対応する列の式または値。 |
| いいえ | 結果が 説明
|
例
非パーティションテーブルへのインポート
-- ターゲットテーブルとしてテーブル A を作成します。
CREATE TABLE public.tablea (
cid INTEGER NOT NULL,
cname TEXT,
code INTEGER
,PRIMARY KEY (cid)
);
-- ソースとしてテーブル B を作成します。
CREATE TABLE public.tableb (
cid INTEGER NOT NULL,
cname TEXT,
code INTEGER
,PRIMARY KEY (cid)
);
INSERT INTO public.tableb VALUES(1,'aaa',10001),(2,'bbb',10002);
-- ネイティブの INSERT OVERWRITE 構文を使用して、テーブル B からテーブル A にデータを挿入します。
INSERT OVERWRITE public.tablea SELECT * FROM public.tableb;論理パーティションテーブルへのインポート
-- ターゲットテーブルとしてテーブル A を作成します。
CREATE TABLE public.tablea(
a TEXT ,
b INT,
c TIMESTAMP,
d TEXT,
ds TEXT,
PRIMARY KEY(ds,b)
)
LOGICAL PARTITION BY LIST(ds);
-- 入力用に物理パーティションテーブル B を作成します。
BEGIN;
CREATE TABLE public.tableb(
a TEXT,
b INT,
c TIMESTAMP,
d TEXT,
ds TEXT,
PRIMARY KEY(ds,b)
)
PARTITION BY LIST(ds);
CREATE TABLE public.holo_child_3a PARTITION OF public.tableb FOR VALUES IN('20201215');
CREATE TABLE public.holo_child_3b PARTITION OF public.tableb FOR VALUES IN('20201216');
CREATE TABLE public.holo_child_3c PARTITION OF public.tableb FOR VALUES IN('20201217');
COMMIT;
INSERT INTO public.holo_child_3a VALUES('a',1,'2034-10-19','a','20201215');
INSERT INTO public.holo_child_3b VALUES('b',2,'2034-10-20','b','20201216');
INSERT INTO public.holo_child_3c VALUES('c',3,'2034-10-21','c','20201217');
-- ネイティブの INSERT OVERWRITE 構文を使用して、テーブル B からテーブル A にデータを挿入します。
INSERT OVERWRITE public.tablea PARTITION (ds = '20201215') SELECT * FROM public.tableb WHERE ds='20201215';hg_insert_overwrite による INSERT OVERWRITE の実装
バージョン履歴
V3.1 以降、
hg_insert_overwriteは論理パーティションテーブルをサポートします (パーティションの指定が必要です)。V3.0 以降、
hg_insert_overwriteは親テーブルへの直接インポートをサポートします。依存ビューを持つテーブル: V2.0.15 以降では、
set hg_experimental_hg_insert_overwrite_enable_view=on;を設定して有効にします。マテリアライズドビューに依存するテーブルはサポートされていません。V3.0 以降では設定は不要ですが、マテリアライズドビューへの依存は引き続きサポートされていません。
hg_insert_overwriteが失敗した場合、一時テーブルを手動でクリーンアップしてください。V3.0 以降では、以下の SQL を使用してください。-- before_time で指定された時刻より前にシステムが作成した一時テーブルを削除します。 CALL hg_clean_insert_overwrite_tmp_tables(before_time::timestamptz);
使用上の制約
サブセットフィールドのインポートは、ソーステーブルの列の順序と一致する必要があります。
hg_insert_overwriteにはテーブル所有者権限が必要です (スーパーユーザーまたはテーブル所有者のみ)。パーティションキーは INT、TEXT、または VARCHAR 型をサポートします。
V3.0 以降では、
hg_insert_overwriteはトランザクション内で使用できません。説明以前のバージョンでは、トランザクション内で
hg_insert_overwriteを使用すると、デッドロックやハングのリスクがありました。V3.0 以降では、
hg_insert_overwriteのsql内の列数とデータ型は、target_tableと完全に一致する必要があります。不一致の場合は"error: table "hg_alias" has x columns available but x columns specified" or "error: column xx is of type xxx but expression is of type xxx"のようなエラーが発生します。
動作の変更点
target_table (親テーブル) と sql のみが指定された場合:
V3.0 より前では、この操作は失敗しました。V3.0 以降での考えられる結果:
sqlの結果に含まれるすべての子テーブルが存在する場合、操作は成功します。いずれかの子テーブルが存在しない場合、エラーが発生します。
構文
-- V3.0 より前
CALL hg_insert_overwrite('<target_table>' regclass, ['<partition_value>' TEXT], '<sql>' TEXT);
-- Hologres V3.0 以降
CALL hg_insert_overwrite('<target_table>' regclass, ['<partition_value>' ARRAY], '<sql>' TEXT, ['<auto_create_partition>' BOOLEAN]);パラメーター
V3.0 以降では、hg_insert_overwrite の partition_value は ARRAY 型に対応し、複数の子テーブルへの書き込みが可能になりました。partition_value の TEXT 型も引き続きサポートされますが、書き込み先は単一の子テーブルに限定されます。
パラメーター | 説明 |
| 既存の Hologres 内部テーブル。 |
| ターゲットパーティション。
|
|
MaxCompute または Hologres のテーブルをクエリできます。シングルクォートは
|
| 存在しないパーティションの自動作成を制御します。V3.0 以降のみ、物理パーティションテーブルのみ。
|
動作は auto_create_partition と partition_value に依存します。パーティションが SQL の結果に含まれる場合、そのパーティションは「関連する」パーティションと見なされます。
hg_insert_overwriteの物理パーティションテーブルに対する動作パラメーター値
auto_create_partition
TRUE
FALSE
partition_value指定なし
関連パーティション: 既存のパーティションは上書きされます。存在しないパーティションは自動的に作成されます。
無関係なパーティション: 無視されます。
すべての関連パーティションが既に存在する場合:
関連パーティションは上書きされます。
無関係なパーティションは無視されます。
いずれかの関連パーティションが存在しない場合、エラーが発生し、他のパーティションに対する上書き操作は行われません。
指定あり
指定されたパーティションの場合:
存在しない関連パーティションは自動的に作成されます。
既存の関連パーティションは上書きされます。
無関係で既存のパーティションデータはクリアされます。
指定されていないパーティションの場合:
影響なし。
指定されたパーティションの場合:
いずれかの関連パーティションが存在しない場合、エラーが発生し、他のパーティションに対する上書き操作は行われません。
既存の関連パーティションは上書きされます。
既存で無関係なパーティションはクリアされます。
指定されていないパーティションの場合:
影響なし。
hg_insert_overwriteの論理パーティションテーブルに対する動作論理パーティションテーブルは自動パーティション分割をサポートしていないため、
auto_create_partitionは無視されます。パラメーター値
説明
partition_value指定なし
サポートされていません。
指定あり
指定されたパーティションの場合:
関連パーティションのデータは上書きされます。
無関係なパーティションはクリアされます。
指定されていないパーティションの場合:
影響を受けません。
例
例1: 非パーティションテーブルへのデータインポート
-- ターゲットテーブルとしてテーブル A を作成します。
BEGIN;
CREATE TABLE public.tablea (
cid INTEGER NOT NULL,
cname TEXT,
code INTEGER
,PRIMARY KEY (cid)
);
CALL set_table_property('public.tablea', 'orientation', 'column');
CALL set_table_property('public.tablea', 'storage_format', 'orc');
CALL set_table_property('public.tablea', 'bitmap_columns', 'cname');
CALL set_table_property('public.tablea', 'dictionary_encoding_columns', 'cname:auto');
CALL set_table_property('public.tablea', 'distribution_key', 'cid');
CALL set_table_property('public.tablea', 'time_to_live_in_seconds', '3153600000');
COMMIT;
-- データ入力用にテーブル B を作成します。
CREATE TABLE public.tableb (
cid INTEGER NOT NULL,
cname TEXT,
code INTEGER
,PRIMARY KEY (cid)
);
INSERT INTO public.tableb VALUES(1,'aaa',10001),(2,'bbb',10002);
-- テーブル B からテーブル A にデータを挿入します。
CALL hg_insert_overwrite('public.tablea' , 'SELECT * FROM public.tableb');例2: パーティションテーブル (物理および論理) へのデータインポート
-- ターゲットテーブルを作成します。
BEGIN;
CREATE TABLE public.tableA(
a TEXT,
b INT,
c TIMESTAMP,
d TEXT,
ds TEXT,
PRIMARY KEY(ds,b)
)
PARTITION BY LIST(ds);
CALL set_table_property('public.tableA', 'orientation', 'column');
CREATE TABLE public.holo_child_1 PARTITION OF public.tableA FOR VALUES IN('20201215');
CREATE TABLE public.holo_child_2 PARTITION OF public.tableA FOR VALUES IN('20201216');
CREATE TABLE public.holo_child_3 PARTITION OF public.tableA FOR VALUES IN('20201217');
COMMIT;
-- または、論理パーティションテーブル。
CREATE TABLE public.tableA_lp(
a TEXT,
b INT,
c TIMESTAMP,
d TEXT,
ds TEXT,
PRIMARY KEY(ds,b)
)
LOGICAL PARTITION BY LIST(ds);
-- 入力用にテーブル B を作成します。
BEGIN;
CREATE TABLE public.tableB(
a TEXT,
b INT,
c TIMESTAMP,
d TEXT,
ds TEXT,
PRIMARY KEY(ds,b)
)
PARTITION BY LIST(ds);
CALL set_table_property('public.tableB', 'orientation', 'column');
CREATE TABLE public.holo_child_3a PARTITION OF public.tableB FOR VALUES IN('20201215');
CREATE TABLE public.holo_child_3b PARTITION OF public.tableB FOR VALUES IN('20201216');
CREATE TABLE public.holo_child_3c PARTITION OF public.tableB FOR VALUES IN('20201217');
COMMIT;
INSERT INTO public.holo_child_3a VALUES('a',1,'2034-10-19','a','20201215');
INSERT INTO public.holo_child_3b VALUES('b',2,'2034-10-20','b','20201216');
INSERT INTO public.holo_child_3c VALUES('c',3,'2034-10-21','c','20201217');
-- 物理パーティションテーブル
CALL hg_insert_overwrite('public.tableA' , '{20201215,20201216,20201217}'::text[],$$SELECT * FROM public.tableB$$);
-- 論理パーティションテーブル
CALL hg_insert_overwrite('public.tableA_lp' , '{20201215,20201216,20201217}'::text[],$$SELECT * FROM public.tableB$$);例3: MaxCompute の非パーティションテーブルから Hologres の非パーティションテーブルへのデータインポート
-- MaxCompute で非パーティションテーブルを作成します。この例では、MaxCompute のパブリックデータセットである public_data プロジェクトの customer テーブルのデータを使用します。テーブルの DDL ステートメントは次のとおりです。
CREATE TABLE IF NOT EXISTS public_data.customer(
c_customer_sk BIGINT,
c_customer_id STRING,
c_current_cdemo_sk BIGINT,
c_current_hdemo_sk BIGINT,
c_current_addr_sk BIGINT,
c_first_shipto_date_sk BIGINT,
c_first_sales_date_sk BIGINT,
c_salutation STRING,
c_first_name STRING,
c_last_name STRING,
c_preferred_cust_flag STRING,
c_birth_day BIGINT,
c_birth_month BIGINT,
c_birth_year BIGINT,
c_birth_country STRING,
c_login STRING,
c_email_address STRING,
c_last_review_date STRING,
useless STRING);
-- Hologres で外部テーブルを作成し、MaxCompute のソースデータテーブルにマッピングします。
CREATE FOREIGN TABLE customer (
"c_customer_sk" INT8,
"c_customer_id" TEXT,
"c_current_cdemo_sk" INT8,
"c_current_hdemo_sk" INT8,
"c_current_addr_sk" INT8,
"c_first_shipto_date_sk" INT8,
"c_first_sales_date_sk" INT8,
"c_salutation" TEXT,
"c_first_name" TEXT,
"c_last_name" TEXT,
"c_preferred_cust_flag" TEXT,
"c_birth_day" INT8,
"c_birth_month" INT8,
"c_birth_year" INT8,
"c_birth_country" TEXT,
"c_login" TEXT,
"c_email_address" TEXT,
"c_last_review_date" TEXT,
"useless" TEXT
)
SERVER odps_server
OPTIONS (project_name 'public_data', table_name 'customer');
-- Hologres に内部テーブル (列指向テーブルなど) を作成し、MaxCompute のソーステーブルからデータを受け取ります。
BEGIN;
CREATE TABLE public.holo_customer (
"c_customer_sk" INT8,
"c_customer_id" TEXT,
"c_current_cdemo_sk" INT8,
"c_current_hdemo_sk" INT8,
"c_current_addr_sk" INT8,
"c_first_shipto_date_sk" INT8,
"c_first_sales_date_sk" INT8,
"c_salutation" TEXT,
"c_first_name" TEXT,
"c_last_name" TEXT,
"c_preferred_cust_flag" TEXT,
"c_birth_day" INT8,
"c_birth_month" INT8,
"c_birth_year" INT8,
"c_birth_country" TEXT,
"c_login" TEXT,
"c_email_address" TEXT,
"c_last_review_date" TEXT,
"useless" TEXT
);
COMMIT;
-- データを Hologres にインポートします。
IMPORT FOREIGN SCHEMA <project_name> LIMIT TO
(customer) FROM server odps_server INTO PUBLIC options(if_table_exist 'update');-- 外部テーブルを更新します。
SELECT pg_sleep(30);-- Hologres にデータをインポートする前にしばらく待機します。これにより、Hologres のメタデータキャッシュの更新が遅いためにデータが不整合になり、同期に失敗するのを防ぎます。
CALL hg_insert_overwrite('holo_customer', 'SELECT * FROM customer where c_birth_year > 1980');
-- Hologres で MaxCompute のソーステーブルからデータをクエリします。
SELECT * FROM holo_customer limit 10;例4: MaxCompute のパーティションテーブルから Hologres の物理パーティションへのデータインポート
-- MaxCompute でパーティションテーブルを作成します。
DROP TABLE IF EXISTS odps_sale_detail;
CREATE TABLE IF NOT EXISTS odps_sale_detail
(
shop_name STRING
,customer_id STRING
,total_price DOUBLE
)
PARTITIONED BY
(
sale_date STRING
)
;
-- ソーステーブルに 20210815 パーティションを追加します。
ALTER TABLE odps_sale_detail ADD IF NOT EXISTS PARTITION(sale_date='20210815')
;
-- パーティションにデータを書き込みます。
INSERT OVERWRITE TABLE odps_sale_detail PARTITION(sale_date='20210815') VALUES
('s1','c1',100.1),
('s2','c2',100.2),
('s3','c3',100.3)
;
-- Hologres で外部テーブルを作成し、MaxCompute のソースデータテーブルにマッピングします。
DROP FOREIGN TABLE IF EXISTS odps_sale_detail;
-- 外部テーブルを作成します。
IMPORT FOREIGN SCHEMA <maxcompute_project> LIMIT TO
(
odps_sale_detail
)
FROM SERVER odps_server INTO public
OPTIONS(if_table_exist 'error',if_unsupported_type 'error');
-- Hologres に内部テーブルを作成し、MaxCompute のソーステーブルからデータを受け取ります。
DROP TABLE IF EXISTS holo_sale_detail;
-- Hologres にパーティションテーブル (内部テーブル) を作成します。
BEGIN ;
CREATE TABLE IF NOT EXISTS holo_sale_detail
(
shop_name TEXT
,customer_id TEXT
,total_price FLOAT8
,sale_date TEXT
)
PARTITION BY LIST(sale_date);
COMMIT;
-- データを Hologres にインポートします。
CALL hg_insert_overwrite('holo_sale_detail', '20210815', $$SELECT * FROM public.odps_sale_detail WHERE sale_date='20210815'$$);
-- Hologres で MaxCompute のソーステーブルからデータをクエリします。
SELECT * FROM holo_sale_detail;例5: MaxCompute のパーティションテーブルから Hologres の物理パーティションテーブルへのデータインポート
-- MaxCompute でパーティションテーブルを作成します。
DROP TABLE IF EXISTS odps_sale_detail;
CREATE TABLE IF NOT EXISTS odps_sale_detail
(
shop_name STRING
,customer_id STRING
,total_price DOUBLE
)
PARTITIONED BY
(
sale_date STRING
)
;
-- ソーステーブルに 20210815 と 20210816 パーティションを追加します。
ALTER TABLE odps_sale_detail ADD IF NOT EXISTS PARTITION(sale_date='20210815')
;
ALTER TABLE odps_sale_detail ADD IF NOT EXISTS PARTITION(sale_date='20210816')
;
-- パーティションにデータを書き込みます。
INSERT OVERWRITE TABLE odps_sale_detail PARTITION(sale_date='20210815') VALUES
('s1','c1',100.1),
('s2','c2',100.2),
('s3','c3',100.3)
;
INSERT OVERWRITE TABLE odps_sale_detail PARTITION(sale_date='20210816') VALUES
('s1','c1',100.1),
('s2','c2',100.2),
('s3','c3',100.3)
;
-- Hologres で外部テーブルを作成し、MaxCompute のソースデータテーブルにマッピングします。
DROP FOREIGN TABLE IF EXISTS odps_sale_detail;
-- 外部テーブルを作成します。
IMPORT FOREIGN SCHEMA <maxcompute_project> LIMIT TO
(
odps_sale_detail
)
FROM SERVER odps_server INTO public
OPTIONS(if_table_exist 'error',if_unsupported_type 'error');
-- Hologres に内部テーブルを作成し、MaxCompute のソーステーブルからデータを受け取ります。
DROP TABLE IF EXISTS holo_sale_detail;
-- Hologres にパーティションテーブル (内部テーブル) を作成します。
BEGIN ;
CREATE TABLE IF NOT EXISTS holo_sale_detail
(
shop_name TEXT
,customer_id TEXT
,total_price FLOAT8
,sale_date TEXT
)
PARTITION BY LIST(sale_date);
COMMIT;
-- データを Hologres にインポートします。子パーティションを指定せず、auto_create_partition を TRUE に設定します。システムは自動的に 2 つの子パーティションを作成し、データをインポートします。
CALL hg_insert_overwrite ('holo_sale_detail', $$SELECT * FROM public.odps_sale_detail$$, TRUE);
-- Hologres でデータをクエリします。
SELECT * FROM holo_sale_detail;maxcompute_project: MaxCompute のパーティションテーブルが存在するプロジェクトの名前。
一時テーブルによる INSERT OVERWRITE の実装
構文
次の SQL を使用して INSERT OVERWRITE を実装します。
BEGIN ;
-- 既存の一時テーブルをクリアします。
DROP TABLE IF EXISTS <table_new>;
-- 一時テーブルを作成します。
SET hg_experimental_enable_create_table_like_properties=on;
CALL HG_CREATE_TABLE_LIKE ('<table_new>', 'select * from <table>');
COMMIT ;
-- 一時テーブルにデータを挿入します。
INSERT INTO <table_new> [( <column> [, ...] )]
VALUES ( {<expression>} [, ...] )
[, ...] | <query>}
ANALYZE <table_new>;
BEGIN ;
-- 古いテーブルを削除します。
DROP TABLE IF EXISTS <table>;
-- 一時テーブルの名前を変更します。
ALTER TABLE <table_new> RENAME TO <table>;
COMMIT ;パラメーター
パラメーター | 説明 |
| 一時テーブルの名前。
|
| 既存のテーブルの名前。
|
一時テーブルの DDL | 一時テーブルを作成するには 2 つの方法があります。
|
MaxCompute との連携例
Hologres へのインポート (非パーティション)
MaxCompute からのバッチ結果で Hologres のデータを上書きします。この例では、MaxCompute の odps_region_10g を使用して、Hologres のテーブル region を完全に上書きします。
BEGIN ;
-- 既存の一時テーブルをクリアします。
DROP TABLE IF EXISTS public.region_new;
-- 一時テーブルを作成します。
SET hg_experimental_enable_create_table_like_properties=on;
CALL HG_CREATE_TABLE_LIKE ('public.region_new', 'select * from public.region');
COMMIT ;
-- 一時テーブルにデータを挿入します。
INSERT INTO public.region_new
SELECT *
FROM public.odps_region_10g;
ANALYZE public.region_new;
BEGIN ;
-- 古いテーブルを削除します。
DROP TABLE IF EXISTS public.region;
-- 一時テーブルの名前を変更します。
ALTER TABLE IF EXISTS public.region_new RENAME TO region;
COMMIT ;Hologres へのインポート (パーティション)
MaxCompute のパーティションテーブルが日次で更新される場合、そのバッチ処理結果を使用して Hologres のパーティションテーブルを上書きし、リアルタイムデータを修正できます。この例では、MaxCompute の odps_lineitem_10g (ds によって日次でパーティション分割) から Hologres の lineitem テーブルにデータをインポートします。
BEGIN ;
-- 既存の一時テーブルをクリアします。
DROP TABLE IF EXISTS public.lineitem_new_20210101;
-- 一時テーブルを作成します。
SET hg_experimental_enable_create_table_like_properties=on;
CALL HG_CREATE_TABLE_LIKE ('public.lineitem_new_20210101', 'select * from public.lineitem');
COMMIT ;
-- 一時テーブルにデータを挿入します。
INSERT INTO public.lineitem_new_20210101
SELECT *
FROM public.odps_lineitem_10g
WHERE DS = '20210101'
ANALYZE public.lineitem_new_20210101;
BEGIN ;
-- 古いパーティションを削除します。
DROP TABLE IF EXISTS public.lineitem_20210101;
-- 一時テーブルの名前を変更します。
ALTER TABLE public.lineitem_new_20210101 RENAME TO lineitem_20210101;
-- 一時テーブルを指定されたパーティションテーブルにアタッチします。
ALTER TABLE public.lineitem ATTACH PARTITION lineitem_20210101 FOR VALUES IN ('20210101');
COMMIT ;MaxCompute へのインポート (非パーティション)
Hologres (holotable) から MaxCompute の mc_holotable にデータをエクスポートするには、まず一時テーブルに書き込み、次にその名前を変更して mc_holotable を完全に上書きします。
-- MaxCompute のシンクテーブル用の一時テーブルを作成します。
CREATE TABLE if not exists mc_holotable_temp(
age INT,
job STRING,
name STRING
);
-- Hologres で一時テーブルのマッピングを作成します。
CREATE FOREIGN TABLE "public"."mapping_holotable_temp" (
"age" INT,
"job" TEXT,
"name" TEXT
)
SERVER odps_server
OPTIONS (project_name 'DLF_test',table_name 'mc_holotable_temp');
-- Hologres のソーステーブルを更新します。
UPDATE holotable SET "job" = 'president' WHERE "name" = 'Lily';
-- 更新されたデータを一時テーブルのマッピングに書き込みます。
INSERT INTO mapping_holotable_temp SELECT * FROM holotable;
-- MaxCompute の古いシンクテーブルを削除します。
DROP TABLE IF EXISTS mc_holotable;
-- 一時テーブルをシンクテーブルに名前変更します。
ALTER TABLE mc_holotable_temp RENAME TO mc_holotable;データインポートは、部分インポートと完全インポートの両方をサポートします。
一部のフィールドのエクスポート:
INSERT INTO mapping_holotable_temp SELECT x,x,x FROM holotable; -- x,x,x はエクスポートしたいフィールドの名前に置き換えることができます。すべてのフィールドのエクスポート:
INSERT INTO mapping_holotable_temp SELECT * FROM holotable;