Hologres:Hologres へのデータのバッチ書き込みのベストプラクティス

基本環境の準備

次の環境を準備する必要があります。

• V2.2.25 以降の Hologres インスタンスを購入し、データベースを作成します。

• EMR Spark クラスタを作成します。Spark のバージョンは 3.3.0 以上である必要があります。詳細については、「クラスタの作成」をご参照ください。

• Spark-Connector パッケージをダウンロードします。

  Spark が Hologres からデータを読み書きするために必要なコネクタ JAR パッケージ hologres-connector-spark-3.x は、Maven Central Repository からダウンロードできます。

このトピックでは、次の環境情報を使用します。

テストデータの準備

1. 生データを準備します。

   1. EMR Spark クラスタのマスターノードにログインします。詳細については、「特定の ECS インスタンスに接続してクラスタのマスターノードにログインする」をご参照ください。

   2. TPC-H_Tools_v3.0.0.zip をクリックして TPC-H ツールをダウンロードし、マスターノードの ECS インスタンスにコピーして解凍し、TPC-H_Tools_v3.0.0/TPC-H_Tools_v3.0.0/dbgen ディレクトリに移動します。

   3. 次のコードを実行して、dbgen ディレクトリに 1 TB のテストデータセットファイル customer.tbl を生成します。元の tbl ファイルサイズは 23 GB です。

      ./dbgen -s 1000 -T c

      次の表は、TPC-H 1 TB データセットの customer テーブルの詳細情報を示しています。

      テーブル情報	説明
      フィールド数	8
      フィールドタイプ	INT、BIGINT、TEXT、DECIMAL
      データ行数	150,000,000
      テーブルシャード数	40

2. テストデータを Spark にインポートします。

   次のコマンドを実行して、customer.tbl ファイルを Spark クラスタにアップロードします。

   hadoop fs -put customer.tbl <spark_resource>

   spark_resource は、EMR Spark クラスタの作成時に [クラスタのルートストレージディレクトリ] パラメータに構成されたパスを示します。

3. Hologres にさまざまなストレージ形式のテーブルを作成します。SQL ステートメントの例:

   行と列のハイブリッドストレージ

   CREATE TABLE test_table_mixed (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column,row'
   );

   列指向ストレージ (プライマリキーあり)

   CREATE TABLE test_table_column (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column'
   );

   列指向ストレージ (プライマリキーなし)

   CREATE TABLE test_table_column_no_pk (
       C_CUSTKEY BIGINT,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column'
   );

   行指向ストレージ (プライマリキーあり)

   CREATE TABLE test_table_row (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'row'
   );

   行指向ストレージ (プライマリキーなし)

   CREATE TABLE test_table_row_no_pk (
       C_CUSTKEY BIGINT,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'row'
   );

テスト構成

このトピックでは、主にさまざまなモードでのインポートパフォーマンスをテストします。

1. EMR Spark クラスタのマスターノードにログインし (ログイン方法については、「特定の ECS インスタンスに接続してクラスタのマスターノードにログインする」をご参照ください)、ダウンロードした Spark-Connector パッケージをアップロードし、次のコマンドを実行して spark-sql コマンドラインインターフェイス (CLI) に移動します。

   説明

   spark.sql.files.maxPartitionBytes パラメータの値を調整することで、Spark が HDFS ファイルを読み取る際の同時実行性を制御できます。この例の同時実行性は 40 です。

   # spark-sql CLI に移動します。
   
   spark-sql --jars <path>/hologres-connector-spark-3.x-1.5.2-jar-with-dependencies.jar \
   --conf spark.executor.instances=40 \
   --conf spark.executor.cores=1 \
   --conf spark.executor.memory=4g \
   --conf spark.sql.files.maxPartitionBytes=644245094

   path は、hologres-connector-spark-3.x-1.5.2-jar-with-dependencies.jar パッケージが配置されているルートパスを示します。

2. spark-sql CLI で次の SQL ステートメントを実行して、一時テーブルを作成することでデータを書き込みます。

   テストプロセス中にパラメータを複数回調整してさまざまなモードの書き込みパフォーマンスをテストする必要があるため、この例では一時テーブルを使用します。

   説明

   実際のビジネスシナリオでは、カタログ を使用して Hologres テーブルを直接ロードできます。これはより便利です。

   -- CSV 形式で一時テーブルを作成します
   CREATE TEMPORARY VIEW csvtable (
     c_custkey BIGINT,
     c_name STRING,
     c_address STRING,
     c_nationkey INT,
     c_phone STRING,
     c_acctbal DECIMAL(15, 2),
     c_mktsegment STRING,
     c_comment STRING)
   USING csv OPTIONS (
     path "<spark_resources>/customer.tbl", sep "|"
   );
   
   CREATE TEMPORARY VIEW hologresTable (
     c_custkey BIGINT,
     c_name STRING,
     c_address STRING,
     c_nationkey INT,
     c_phone STRING,
     c_acctbal DECIMAL(15, 2),
     c_mktsegment STRING,
     c_comment STRING)
   USING hologres OPTIONS (
     jdbcurl "jdbc:postgresql://<hologres_vpc_endpoint>/<database_name>",
     username "<accesskey_id>", 
     password "<accesskey_secret>", 
     table "<table_name>",
     direct_connect "false",
     write.mode "auto",
     write.insert.thread_size "3",
     write.insert.batch_size "2048"
   );
   
   INSERT INTO hologresTable SELECT * FROM csvTable;

   次の表にパラメータを示します。

   パラメータ	説明
   spark_resources	EMR Spark クラスタの作成時に [クラスタのルートストレージディレクトリ] パラメータに構成されたパス。 EMR on ECS コンソール にログインし、ターゲットクラスタ ID をクリックし、[基本情報] タブの [クラスタ情報] セクションでクラスタのルートストレージパスを取得できます。
   hologres_vpc_endpoint	手順 2: App Service プランを作成する Hologres コンソール にログインし、対象のインスタンス ID をクリックして、[インスタンスの詳細] ページの [ネットワーク情報] セクションで VPC エンドポイントを取得できます。たとえば、中国 (杭州) リージョンの VPC エンドポイントは <Instance ID>-cn-hangzhou-vpc-st.hologres.aliyuncs.com:80 の形式です。
   database_name	Hologres インスタンス内のデータベースの名前です。
   アクセスキー ID	対応する Hologres データベースに対する読み取り権限を持つ AccessKey ID です。
   アクセスキーシークレット	対応する Hologres データベースに対する読み取り権限を持つ AccessKey シークレット。
   table_name	コピー先の Hologres テーブルの名前です。
   write.mode	書き込みモード。有効な値: auto: デフォルト値。コネクタが最適なモードを自動的に選択することを示します。 insert: INSERT INTO VALUES モードを使用します。 stream: ストリーミング書き込みに FIXED COPY モードを使用します。 bulk_load: プライマリキーのないテーブルへのバッチ インポートに COPY モードを使用します。 bulk_load_on_conflict: プライマリキーのあるテーブルへのバッチ インポートに COPY モードを使用します。
   write.insert.thread_size	書き込みの同時実行数。INSERT INTO VALUES モードを使用する場合にのみ有効です。
   write.insert.batch_size	バッチ書き込みサイズ。INSERT INTO VALUES モードを使用する場合にのみ有効です。
   write.on_conflict_action	INSERT_OR_REPLACE (デフォルト): プライマリキーの競合が発生した場合に更新します。 INSERT_OR_IGNORE: プライマリキーの競合が発生した場合に無視します。

   詳細については、「パラメーター」をご参照ください。

テストシナリオ

テスト結果

テスト結果には、次のフィールドが含まれます。

SELECT
    COUNT(*), AVG(duration) AS avg_duration_ms
FROM
    hologres.hg_query_log
WHERE
    query_start >= '<start_time>' AND query_start <= '<end_time>'
    AND query LIKE '%<test_table_column>%' AND command_tag = 'COPY';

次の表に、詳細なテスト結果を示します。