AnalyticDB:リソースグループによるワークロードの管理

制限事項

• マイナーバージョンが v6.6.1.0 以降の AnalyticDB for PostgreSQL V6.0 インスタンス、またはマイナーバージョンが v7.0.6.3 以降の AnalyticDB for PostgreSQL V7.0 インスタンスでは、コンソールでリソースグループ管理に切り替えることができます。

• マイナーバージョンが v6.6.1.0 未満の AnalyticDB for PostgreSQL V6.0 インスタンス、またはマイナーバージョンが v7.0.6.3 未満の AnalyticDB for PostgreSQL V7.0 インスタンスの場合、リソースグループ管理に切り替えるには、チケットを起票する必要があります。

インスタンスのマイナーバージョンを確認する方法については、「マイナーバージョンの確認」をご参照ください。

リソースグループ

AnalyticDB for PostgreSQL は、リソースグループを使用したリソース管理をサポートしています。リソースキューと比較して、リソースグループはよりきめ細かな制御を提供し、より広範な種類のリソースを管理します。リソースグループ管理とリソースキュー管理は、同時に使用することはできません。いずれか一方のみを使用できます。リソースグループ管理を有効にすると、リソースキューは自動的に無効になります。リソースキューの詳細については、「リソースキューを使用してワークロードを管理する」をご参照ください。

リソースグループを使用すると、1 つ以上のデータベースアカウントをリソースグループに関連付け、各グループに対して特定の CPU、メモリ、同時実行数制限を構成できます。これにより、関連付けられたアカウントが送信するクエリを管理できます。ただし、SET、RESET、SHOW コマンドは、リソースグループの構成による影響を受けません。

V6.0 リソースグループ

次の表では、AnalyticDB for PostgreSQL V6.0 リソースグループで設定可能なリソースパラメーターについて説明します。

V6.0 リソースグループのメモリ管理

データベースは、各リソースグループの MEMORY_LIMIT 設定に基づいてメモリを予約します。すべてのリソースグループの MEMORY_LIMIT 値の合計が 100 未満の場合、残りの未予約メモリはグローバル共有メモリプールに割り当てられます。データベースは、このグローバル共有メモリを先着順でトランザクションに割り当てます。

各リソースグループの予約済みメモリプール内で、システムは MEMORY_SHARED_QUOTA 設定を使用してメモリを固定部分と共有部分に分割します。MEMORY_SHARED_QUOTA が 100 に設定されている場合、リソースグループ内のすべてのメモリは共有として扱われ、すべてのタスクで使用できます。MEMORY_SHARED_QUOTA が 100 未満の場合、システムはメモリを固定部分と共有部分に分割します。固定部分は個々のタスク専用である一方、共有部分はすべてのタスクに共通のメモリ領域となります。次の図に、AnalyticDB for PostgreSQL V6.0 リソースグループのメモリ管理メカニズムを示します。

V6.0 リソースグループの同時実行数管理

• システムに入るクエリの数がリソースグループの同時実行数制限に達すると、そのグループの新しいクエリは待機する必要があります。同時実行数キューは先入れ先出し (FIFO) の原則に従います。

• 送信されたクエリが同時実行数制限により待機している場合、pg_stat_activity ビューでのステータスは waiting となり、waiting_reason は group となります。

V6.0 リソースグループの CPU 管理

AnalyticDB for PostgreSQL のリソースグループでは、プリエンプティブな CPU 管理アプローチを使用して、各グループの CPU 割り当て率を管理できます。 データベースは、各グループに設定された CPU_RATE_LIMIT の値に基づいて CPU タイムスライスを割り当てます。 リソースグループの CPU_RATE_LIMIT の値が高い場合、そのグループは競合時により多くの CPU タイムスライスを受け取り、より多くのタスクを実行できます。 逆に、値が低いと、そのグループの CPU リソースの使用が制限されます。 リソース管理機能は、CPU プリエンプションもサポートしています。 あるリソースグループがタスクを実行していて、他のリソースグループがアイドル状態の場合、そのグループは利用可能なすべての CPU リソースを使用できます。

• 2 つのリソースグループが両方ともビジー状態の場合、CPU_RATE_LIMIT が 40 に設定されたグループには、CPU_RATE_LIMIT が 20 に設定されたグループの 2 倍の CPU リソースが割り当てられます。

• CPU_RATE_LIMIT が 40 に設定されたリソースグループに着信クエリがない場合、CPU_RATE_LIMIT が 20 に設定されたリソースグループはほぼすべての CPU リソースを使用できます。

V6.0 ディスクスピル管理

AnalyticDB for PostgreSQL のリソースグループを使用すると、クエリのディスクスピルしきい値を管理できます。AnalyticDB for PostgreSQL では、メモリを大量に消費する演算子が、一時的にディスクにスピルされる必要がある大量の中間結果を生成することがあります。MEMORY_SPILL_RATIO を調整して、このスピルを増減させることができます。したがって、この設定によって制御されるのは、大量の中間結果を生成する操作のみです。多くの操作はディスクにスピルできず、メモリを消費し続けるため、メモリ使用量が定義された制限を超える可能性があります。

• MEMORY_SPILL_RATIO が 0 より大きい場合、演算子のスピルしきい値はこのパラメータによって決定されます。メモリ集約型トランザクションのメモリ使用量がこのしきい値に達すると、そのデータはディスクにスピルされます。

• MEMORY_SPILL_RATIO が 0 の場合、演算子のスピルしきい値は statement_mem パラメータによって決定されます。statement_mem の詳細については、「パフォーマンスパラメータのチューニング」をご参照ください。

クラスターの負荷が高く、メモリリソースが限られている場合、関連するリソースグループの MEMORY_SPILL_RATIO を下げることができます。これにより、hashagg、join、sort などのメモリ集約型演算子は、計算中により多くのディスクスピルを実行し、メモリ消費を削減します。クラスターの負荷が低く、メモリリソースが豊富な場合、MEMORY_SPILL_RATIO を増やすことができます。これによりスピルしきい値が上がり、より多くの計算がメモリ内で実行され、クエリ実行効率が向上します。

V7.0 リソースグループ

次の表では、AnalyticDB for PostgreSQL V7.0 のリソースグループで設定可能なリソースパラメーターについて説明します。

V7.0 リソースグループの同時実行数管理

• システムに入るクエリの数がリソースグループの同時実行数制限に達すると、そのグループの新しいクエリは待機する必要があります。同時実行数キューは FIFO の原則に従います。

• 送信されたクエリが同時実行数制限により待機している場合、pg_stat_activity ビューの wait_event_type は ResourceGroup となります。

• 同時実行数制限により多数のクエリがグループ内で待機している場合、クエリパフォーマンスへの影響を避けるため、グループの同時実行数容量を増やす必要があります。

V7.0 リソースグループのメモリ管理

AnalyticDB for PostgreSQL V7.0 では、リソースグループは MEMORY_LIMIT 設定に基づいて、statement_mem および gp_resgroup_memory_query_fixed_mem パラメーターと組み合わせてメモリ使用量を管理します。

• gp_resgroup_memory_query_fixed_mem が 0 より大きい値に設定されている場合、単一クエリが使用できる最大メモリはその値に制限されます。

• gp_resgroup_memory_query_fixed_mem がデフォルト値の 0 に設定されている場合、リソースグループは statement_mem と MEMORY_LIMIT に基づいて単一クエリのメモリを決定します。詳細は次のとおりです。

  • リソースグループの MEMORY_LIMIT が -1 に設定されている場合、グループによって管理される単一クエリのメモリ制限は statement_mem によって決まります。

  • リソースグループの MEMORY_LIMIT が -1 より大きい値に設定されている場合、単一クエリのメモリ制限は max(MEMORY_LIMIT/CONCURRENCY, statement_mem) となります。たとえば、データベースに etl という名前のリソースグループがあり、MEMORY_LIMIT が 2.0 GB に設定され、同時実行数が 5 の場合、デフォルトでは単一クエリは 400 MB のメモリを使用することになります。次のシナリオを考えてみます。

• ユーザー etl1 がクエリ Q1 を送信し、セッションレベルの gp_resgroup_memory_query_fixed_mem を 800 MB (set gp_resgroup_memory_query_fixed_mem='800MB') に設定し、statement_mem を 900 MB に設定します。Q1 は最大 800 MB のメモリを使用できます。

• ユーザー etl2 がクエリ Q2 を送信し、セッションレベルの gp_resgroup_memory_query_fixed_mem パラメータを構成せず、statement_mem を 300 MB に設定します。300 MB は 400 MB より小さいため、Q2 はシステムに送信され、400 MB のメモリ上限が適用されます。

• ユーザー etl3 がクエリ Q3 を送信し、セッションレベルの gp_resgroup_memory_query_fixed_mem パラメータを構成せず、statement_mem を 700 MB に設定します。700 MB は 400 MB より大きいため、Q3 はシステムに送信され、700 MB のメモリ上限が適用されます。

V7.0 リソースグループの CPU 管理

AnalyticDB for PostgreSQL V7.0 では、リソースグループは CPU_MAX_PERCENT を使用して各グループの最大 CPU 使用率を管理し、CPU_WEIGHT を使用してグループ間の割り当て比率を管理します。システムは、各グループの CPU 使用率がその CPU_MAX_PERCENT の値を超えないようにしつつ、各グループの CPU_WEIGHT の比率に従って CPU タイムスライスを割り当てます。

たとえば、データベースに rg1 と rg2 という 2 つのグループがあります。rg1 の場合、CPU_MAX_PERCENT は 30、CPU_WEIGHT は 100 です。rg2 の場合、CPU_MAX_PERCENT は 60、CPU_WEIGHT は 50 です。

1. rg1 のみにアクティブなクエリがあり、rg2 がアイドル状態の場合、rg1 の CPU 使用率は 30% に達する可能性がありますが、アイドル状態の CPU が利用可能であってもグループはそれ以上使用しません。このシナリオでは、rg2 にはアクティブなクエリがないため、CPU 使用率は 0% です。

2. rg1 と rg2 の両方にアクティブなクエリがある場合、データベースは 100:50 の重み比率に基づいて CPU タイムスライスを割り当てます。ただし、リソースグループが CPU_MAX_PERCENT 制限に達すると、追加の CPU リソースを受け取らなくなります。たとえば、rg1 が 30% の CPU 使用率に達した後、後続のタイムスライスは rg2 に割り当てられます (60% 制限を下回っている限り)。これにより、rg1 は 30% の上限を超えないようになります。

リソースグループ管理の有効化

コンソールでのリソースグループ管理の有効化と無効化

マイナーバージョンが v6.6.1.0 以降の AnalyticDB for PostgreSQL V6.0 インスタンスでは、コンソールでリソースグループ管理を有効化または無効化できます。 リソース管理モードをリソースキューからリソースグループに切り替えると、インスタンスが再起動され、約 5 分間利用できなくなります。 ビジネスに支障をきたさないよう、この操作はオフピーク時間帯に実行してください。 次の手順に従ってください。

1. AnalyticDB for PostgreSQL コンソールにログインします。
2. コンソールの左上で、リージョンを選択します。
3. 対象インスタンスを見つけ、インスタンス ID をクリックします。

4. 左側のナビゲーションウィンドウで、ワークロード管理 をクリックします。

5. リソースグループ管理の有効化 をクリックし、確認ダイアログボックスで OK をクリックします。

チケット送信による有効化または無効化

マイナーバージョンが v6.6.1.0 未満の AnalyticDB for PostgreSQL V6.0 インスタンス、または AnalyticDB for PostgreSQL V7.0 インスタンスの場合、リソースグループ管理を有効化または無効化するには、チケットを起票する必要があります。

リソースグループ管理を有効にすると、システムは自動的に default_group という名前のリソースグループを作成します。モニタリングおよびアラート > インスタンスモニタリング ページの リソースグループの監視 タブで、各セグメントの CPU とメモリの使用量を含む、すべてのリソースグループの監視情報を表示できます。

リソースグループの作成

リソースグループ管理を有効にした後、コンソールまたは SQL ステートメントを使用して新しいリソースグループを作成できます。

CREATE RESOURCE GROUP <group_name> WITH (group_attribute=value [, ... ])

CPU_RATE_LIMIT=integer
MEMORY_LIMIT=integer
[ CONCURRENCY=integer ]
[ MEMORY_SHARED_QUOTA=integer ]
[ MEMORY_SPILL_RATIO=integer ]

CPU_MAX_PERCENT=integer
[CPU_WEIGHT=integer ]
[ CONCURRENCY=integer ]
[ MEMORY_LIMIT=integer ]
[ MIN_COST=integer ]

リソースグループ構成の表示

リソースグループを作成した後、コンソールまたは SQL ステートメントを使用してその構成を表示できます。

SELECT * FROM gp_toolkit.gp_resgroup_config;

リソースグループ構成の変更

コンソールまたは SQL ステートメントを使用して、リソースグループの構成を変更できます。

ALTER RESOURCE GROUP <group_name> 
SET CONCURRENCY|CPU_RATE_LIMIT|MEMORY_LIMIT|MEMORY_SHARED_QUOTA|MEMORY_SPILL_RATIO <value>;

ALTER RESOURCE GROUP <group_name> 
SET CPU_MAX_PERCENT|CPU_WEIGHT|CONCURRENCY|MEMORY_LIMIT|MIN_COST <value>;

データベース アカウントのリソースグループへの割り当て

コンソールまたは SQL ステートメントを使用して、データベース アカウントをリソースグループに割り当てることができます。データベース アカウントの作成方法については、「ユーザーの作成と管理」をご参照ください。

• 各リソースグループには 1 つ以上のデータベース アカウントを関連付けられますが、各アカウントは 1 つのリソースグループにしか割り当てられません。

• デフォルトでは、特権アカウントは default_group リソースグループに割り当てられます。

• どのリソースグループにも割り当てられていないデータベース アカウントは、自動的に default_group リソースグループに割り当てられます。

リソースグループの削除

コンソールまたは SQL ステートメントでリソースグループを削除できます。

DROP RESOURCE GROUP <group_name>;

リソースグループのモニタリング情報の手動クエリ

V6.0

SELECT * FROM gp_toolkit.gp_resgroup_status;

次の表に、返されるフィールドを示します。

V7.0

キュー時間とキュー数のクエリ

SELECT * FROM gp_toolkit.gp_resgroup_status;

次の表に、返されるフィールドを示します。

CPU とメモリ使用量のクエリ

SELECT * FROM gp_toolkit.gp_resgroup_status_per_host;

次の表に、返されるフィールドを示します。

リソースグループ管理の無効化

リソース管理モードをリソースキューに戻す必要がある場合は、コンソールでリソースグループ管理を無効にできます。この操作ではインスタンスが再起動され、約 5 分間利用できなくなります。業務への影響を避けるため、オフピーク時間にこの操作を実施してください。手順は次のとおりです：

1. AnalyticDB for PostgreSQL コンソールにログインします。

2. コンソールの左上隅で、インスタンスのリージョンを選択します。

3. ターゲットインスタンスを見つけて、そのインスタンス ID をクリックします。

4. ナビゲーションペインで、ワークロード管理 をクリックし、リソースグループ管理の無効化 をクリックします。