Hologres:テーブルグループを指定するためのベストプラクティス

実際には、データ量が予測可能な場合、シャード数の最適な範囲を決定する必要がある場合があります。最適なシャード数は、格納されるデータ量だけでなく、実際のアクセス頻度、アクセスされるデータの実際の量、ポイントクエリやデータ分析などのコンピューティング負荷の種類、書き込みスループット、テーブルグループ内のテーブル数にも関連しています。したがって、最適なシャード数の正確な値を取得することはできません。次の表は、特定のデータ量の範囲に対応する推奨シャード数とインスタンス仕様を示しています。推定データ量に基づいて適切な設定を選択できます。

次のプランのベストプラクティスに基づいて、テーブルグループを作成するかどうか、およびテーブルのテーブルグループを選択する方法を決定できます。

• プラン1：デフォルトのテーブルグループを使用する

  Hologres インスタンスが以下の条件を満たしている場合は、デフォルトのテーブルグループを使用することをお勧めします。Hologres インスタンスの仕様をアップグレードまたはダウングレードした後、デフォルトのテーブルグループのシャード数は変更されません。次のステートメントを実行して、シャード数をクエリできます。

  SELECT * FROM hologres.hg_table_group_properties;
  
  -- サンプル結果
   tablegroup_name | property_key  | property_value
  -----------------+---------------+----------------
   test_tg_default | is_default_tg | 1
   test_tg_default | shard_count   | 40
   test_tg_default | tg_version    | 1
   test_tg_default | table_num     | 1
  (4 rows)
  -- Sample result：サンプル結果

  • データ量

    デフォルトのテーブルグループのシャード数が、データ量の要件を満たしています。この場合、デフォルトのテーブルグループにテーブルを作成できます。

  • 全体サイズ

    すべてのテーブルの合計データ量は制御可能で予測可能です。使用方法が大幅に変更されることはありません。

  • ローカル結合

    デフォルトのテーブルグループ内のテーブルに対して、効率的なローカル結合操作を実行する必要があります。

• プラン2：テーブルグループを作成する

  デフォルトのテーブルグループでは要件を満たすことができず、複数のテーブルグループが必要になる場合があります。ほとんどの場合、以下の条件下では、インスタンスに複数のテーブルグループが必要になる可能性があります。

  • データ量

    既存のテーブルグループのシャード数が、現在のテーブルの推定データ量に適切ではありません。シャード数が多く、データ量が少ない場合、過剰な小さなファイルが生成され、I/O オーバーヘッドが高くなります。シャード数が少なく、データ量が多い場合、クエリの並列性が低下します。この場合、複数のテーブルグループが必要です。

  • 独立した負荷

    既存のテーブルグループには多数のテーブルが含まれており、ほとんどのテーブルに同時にデータを書き込む必要があります。その結果、インスタンスの負荷が高くなります。さらに、作成されるテーブルには、高いクエリと書き込みのスループットが必要です。この場合、複数のテーブルグループを使用して、データの書き込みとクエリをある程度独立させる必要があります。詳細については、コンピューティングリソースを分離する方法に関するトピックを参照してください。既存のテーブルグループが書き込みとクエリの要件を満たすことができないと判断した場合は、複数のテーブルグループも必要です。

  • テーブルの相関関係

    ビジネスの一連のテーブルに固有のデータ書き込みまたはクエリパターンがあり、ローカル結合の要件があるか、今後発生する可能性があり、既存のテーブルグループのテーブルとの相関関係がほとんどないか、まったくない場合は、一連のテーブルに対して複数の独立したテーブルグループを作成できます。ローカル結合操作は、結合キーを配布キーとして持ち、同じテーブルグループにあるテーブルに対してのみ実行できます。互いに強い相関関係を持つテーブルのセットに対してテーブルグループを作成できますが、既存のテーブルグループのテーブルとの相関関係は少なく、ローカル結合の可能性は低くなります。

  • インスタンスリソースのスケーリング

    インスタンスが5倍以上スケールインまたはスケールアウトされた場合、元のシャード数が要件を満たさなくなる可能性があります。この場合、デフォルトのテーブルグループを変更できます。シャード数は、計算ノードの数よりも大きく、CPUコアの総数の60%未満である必要があります。

• プラン3：複数のテーブルグループにテーブルを追加する

  複数のテーブルグループを計画する必要がある場合は、ストレステストと本番の前に、テーブルグループの役割と意義、および各テーブルが属するテーブルグループを計画することをお勧めします。計画時には、次の要素を考慮できます。

  • データ量

    シャード数は、テーブルに格納されるデータ量によって決まります。シャード数の多いテーブルグループは大きなテーブルに適しており、シャード数の少ないテーブルグループは小規模および中規模のテーブルに適しています。

  • 必要な書き込みパフォーマンス

    シャード数は、データ書き込みパフォーマンスと正の相関関係があります。単一シャードの書き込み機能には上限があります。シャードが多いほど、書き込みの並列性とスループットが高くなります。1秒あたりのレコード数（RPS）が高いテーブルにデータを書き込む必要がある場合は、より大きなシャード数が必要になる場合があります。単一コアのCPU使用率が100%の場合、Hologres の単一シャードは3,000～5,000 RPS（レコードあたり 1 KB）でデータを書き込みます。必要なRPSに基づいて、必要なシャード数を推定できます。各シャードは、データクエリなどの読み取り操作も実行する必要があります。したがって、データ書き込みのCPU使用率は100%に達することはできません。1/3 CPUコアを使用するシャードは、1,000 RPS（レコードあたり 1 KB）でデータを書き込みます。たとえば、60,000 RPSでデータを書き込み、各レコードのサイズが 1 KB の場合、シャード数は60より大きい必要があります。シャード数は微調整できます。

  • 各テーブルグループの負荷

    テーブルグループを作成するときは、このテーブルグループに追加するテーブルの数を考慮する必要があります。今後このテーブルグループに多数のテーブルが追加され、ほとんどのテーブルに頻繁にアクセスされる場合、シャード数が少ないと高並列クエリをサポートできない可能性があります。