PolarDB:IMCI を使用して ETL を高速化する

仕組み

前提条件

制限事項

使用方法

データベースのパラメーターを設定して、読み取り専用の列ストアノードからデータを読み取るか、読み取り専用の列ストアノードからデータを読み取るときにファイルを圧縮するかを指定できます。次の表に、パラメーターを示します。

パラメーター値を変更する場合、各パラメーターをグローバル、セッション、および文のいずれかのレベルで設定できます。次の例では、etl_from_imci パラメーターを使用しています。

• グローバルレベルでパラメーターを設定します。

  SET GLOBAL etl_from_imci = ON;

  グローバルレベルでパラメーターを設定すると、現在のクラスタ内のすべての CREATE TABLE new_tbl [AS] SELECT .. リクエストと INSERT ... SELECT ... リクエストは、読み取り専用の列ストアノードからデータを読み取ります。

• セッションレベルでパラメーターを設定します。

  SET etl_from_imci = ON;

  セッションレベルでパラメーターを設定すると、現在のセッションの CREATE TABLE new_tbl [AS] SELECT .. リクエストと INSERT ... SELECT ... リクエストのみが、読み取り専用の列ストアノードからデータを読み取ります。

• 文レベルでパラメーターを設定します。

  ヒント を使用して、SQL 文に対して読み取り専用の列ストアノードからデータを読み取るかを指定できます。例：

  CREATE TABLE t2 SELECT /*+ SET_VAR(etl_from_imci=ON) */ * from t1 where 'A' = 'a';

etl_from_imci パラメーターが ON に設定されている場合、データは読み取り専用の列ストアノードから読み取られます。読み取り専用の列ストアノードからデータが読み取られ、プライマリノードに送り返された後、SHOW processlist 文を実行して、プロセスリストの現在のステータス（ETL FROM IMCI であると予想される）を表示できます。

使用上の注意

複雑なクエリ条件が指定されていて、SQL 文の実行時間が長いにもかかわらず、少量のデータしか返されない場合は、IMCI からの ETL 機能を有効にすることで、パフォーマンスを大幅に向上させることができます。

パフォーマンス比較

次のテストでは、TPC ベンチマーク H（TPC-H）に基づいて生成された 10 GB のデータを使用して、複雑なクエリのパフォーマンスをテストします。

• クエリ結果には 1 行のデータが含まれています。

  select
      sum(l_extendedprice * l_discount) as revenue
  from
      lineitem
  where
      l_shipdate >= date '1994-01-01'
      and l_shipdate < date '1994-01-01' + interval '1' year
      and l_discount between .06 - 0.01 and .06 + 0.01
      and l_quantity < 24

  クエリ結果に 1 行のデータが含まれている場合の消費時間値（秒単位）を比較します。

  読み取り専用の列ストアノードでデータをクエリする	IMCI からの ETL 機能が有効になっていないときに、プライマリノードで CREATE TABLE new_tbl [AS] SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっているときに、プライマリノードで CREATE TABLE new_tbl [AS] SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっていないときに、プライマリノードで INSERT ... SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっているときに、プライマリノードで INSERT ... SELECT ... 文を実行する
  0.05	> 60	0.17	> 60	0.08

• クエリ結果には 4 行のデータが含まれています。

  select
      l_returnflag,
      l_linestatus,
      sum(l_quantity) as sum_qty,
      sum(l_extendedprice) as sum_base_price,
      sum(l_extendedprice * (1 - l_discount)) as sum_disc_price,
      sum(l_extendedprice * (1 - l_discount) * (1 + l_tax)) as sum_charge,
      avg(l_quantity) as avg_qty,
      avg(l_extendedprice) as avg_price,
      avg(l_discount) as avg_disc,
      count(*) as count_order
  from
      lineitem
  where
      l_shipdate <= date '1998-12-01' - interval '90' day
  group by
      l_returnflag,
      l_linestatus
  order by
      l_returnflag,
      l_linestatus

  クエリ結果に 4 行のデータが含まれている場合の消費時間値（秒単位）を比較します。

  読み取り専用の列ストアノードでデータをクエリする	IMCI からの ETL 機能が有効になっていないときに、プライマリノードで CREATE TABLE new_tbl [AS] SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっているときに、プライマリノードで CREATE TABLE new_tbl [AS] SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっていないときに、プライマリノードで INSERT ... SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっているときに、プライマリノードで INSERT ... SELECT ... 文を実行する
  0.58	> 60	0.64	> 60	0.58

• クエリ結果には 27,840 行のデータが含まれています。

  select
      p_brand,
      p_type,
      p_size,
      count(distinct ps_suppkey) as supplier_cnt
  from
      partsupp,
      part
  where
      p_partkey = ps_partkey
      and p_brand <> 'Brand#45'
      and p_type not like 'MEDIUM POLISHED%'
      and p_size in (49, 14, 23, 45, 19, 3, 36, 9)
      and ps_suppkey not in (
          select
              s_suppkey
          from
              supplier
          where
              s_comment like '%Customer%Complaints%'
      )
  group by
      p_brand,
      p_type,
      p_size
  order by
      supplier_cnt desc,
      p_brand,
      p_type,
      p_size

  クエリ結果に 27,840 行のデータが含まれている場合の消費時間値（秒単位）を比較します。

  読み取り専用の列ストアノードでデータをクエリする	IMCI からの ETL 機能が有効になっていないときに、プライマリノードで CREATE TABLE new_tbl [AS] SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっているときに、プライマリノードで CREATE TABLE new_tbl [AS] SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっていないときに、プライマリノードで INSERT ... SELECT ... 文を実行する	IMCI からの ETL 機能が有効になっているときに、プライマリノードで INSERT ... SELECT ... 文を実行する
  0.55	> 60	0.92	> 60	0.82