MaxCompute:TPC-DS 性能テスト

事前準備

1. 環境を準備します。

   • TPC-DS テストを実行する前に、MaxCompute を有効化し、プロジェクトを作成してください。詳細については、「付録：プロジェクト構成パラメーター」をご参照ください。

   • 方法 1（推奨）：MaxQA（MaxCompute Query Acceleration 2.0）を有効化します。この機能は現在パブリックプレビュー中です（パブリックプレビューリンクをクリックして参加してください。リージョンごとの可用性については、パブリックプレビュースケジュールをご確認ください）。

     • 「MaxQA Query Acceleration の概要」を参照して、サブスクリプションインスタンスを有効化し、インタラクティブなクォータグループを作成してください。

   • 方法 2（新規ユーザーへの提供を終了）：MCQA（MaxCompute Query Acceleration 1.0）を有効化します。これは既存の MCQA ユーザーのみが利用可能です。「MCQA Query Acceleration（新規ユーザーへの提供を終了）」を参照して、サブスクリプションインスタンスを有効化してください。

2. テストツールを準備します。

   テストを簡略化するため、MaxCompute は自動化された TPC-DS 性能テストツールを提供しており、これにより TPC-DS テストを迅速に実行し、結果を自動的に生成できます。

   重要

   このテストツールは現在 Linux 環境でのみサポートされており、JDK バージョン 1.7 以降が必要です。

   「mc_tpcds_benchmark」をクリックしてツールパッケージをダウンロードし、ご利用の Linux サーバーで次のコマンドを実行して展開してください。

   unzip mc_tpcds_benchmark.zip

   展開後のディレクトリ構造は次のとおりです。

   .
   |_t1c7039e3-2a1d-451b-bfda-d14c49016243-tpc-ds-tool.zip
   |_config
   |_init_tools.sh
   |_load_table.sh
   |_logs
   |_odps_clt
   |_patches
   |_pt.sh
   |_queries_1
   |_queries_1.quality
   |_queries_10
   |_queries_100
   |_queries_1000
   |_queries_10000
   |_queries_100000
   |_querygen.sh
   |_results
   |_run_stream.sh
   |_run_stream.sh.offline
   |_sqls
   |_start_session_only.sh
   |_start_session.sql
   |_start_session.sql_tmp
   |_tools_file
   |_tt.sh
   |_v2.10.1rc3

3. テストデータセットについて理解します。

   MaxCompute はパブリックデータセットを提供しているため、テストデータを自分で準備する必要はありません。すべてのデータは MaxCompute のパブリックプロジェクト BIGDATA_PUBLIC_DATASET に格納されています。詳細については、「パブリックデータセットの概要」をご参照ください。

   TPC-DS テストデータセットは、10 GB、100 GB、1 TB、10 TB の 4 つのサイズで提供されています。テスト要件に応じて適切なサイズを選択してください。詳細は以下のとおりです。

   カテゴリ	説明	データセット名	スキーマ名
   TPC-DS	TPC-DS は意思決定支援システムの一般的な側面（クエリやデータメンテナンスなど）をモデル化した意思決定支援ベンチマークであり、ビッグデータシステムなどの新技術に対して標準化されたベンチマークを実施可能にします。	TPC-DS 10GB 性能テストセット TPC-DS 100GB 性能テストセット TPC-DS 1TB 性能テストセット TPC-DS 10TB 性能テストセット	tpcds_10g tpcds_100g tpcds_1t tpcds_10t

テスト手順

nohup sh pt.sh > pt.log 2>&1 &

tail -f pt.log