Hologres:接続の管理

接続とクエリの管理

接続アーキテクチャ

Hologres インスタンスへの接続は、アクセス層、続いて実行層を経由します。各層はそれぞれ独自の接続制限を適用します。

コンポーネントは次のとおりです：

• ゲートウェイ：インスタンスの単一のアクセス層です。すべてのクライアント接続は、まずゲートウェイノードに到達します。ゲートウェイは接続を認証し、IP ホワイトリストと照合し、接続属性に基づいて FE または FixedFE ノードへルーティングします。インスタンスには、高可用性のために少なくとも 2 つのゲートウェイノードがあります。仮想ウェアハウスインスタンスでは、ゲートウェイは接続をターゲット仮想ウェアハウスの FE にもルーティングします。

• FE (フロントエンド)：DDL ステートメント、クエリ、書き込みなどの標準 SQL 接続を処理する PostgreSQL 互換のフロントエンドノードです。Fixed Plan のポイントクエリとポイント書き込みも FE 接続で実行できます。この場合、FE の max_connections クォータを消費します。これらのリクエストで FixedFE を使用するかどうかは、クライアントとインスタンスのバージョンによって異なります。show max_connections は、単一の FE ノードの上限を返します。

• FixedFE (固定フロントエンド)：各 FE ノードと並行して動作する高スループットの接続サービスです。主に、holo-client や Flink および DataWorks のリアルタイム取り込みパスなどで使用される Fixed Plan のポイントクエリとポイント書き込み向けに最適化されています。Hologres V2.1 以降、バイナリログの消費もデフォルトで軽量な FixedFE 接続を使用します。FixedFE 接続は軽量で、FE の max_connections クォータにはカウントされません。また、FE の上限よりも大幅に高い別の上限が設定されています。

• Walsender：論理レプリケーション接続 (replication=database) を処理する FE 内のプロセスです。Hologres V2.1 以降、バイナリログの消費とリアルタイム書き込みはデフォルトで軽量な FixedFE 接続を使用するため、Walsender は現在、従来のレプリケーションプロトコルを引き続き使用するクライアントを主に処理します。Walsender 接続は max_connections とは独立しており、max_wal_senders によって制御されます。

層ごとの接続制限

too many client tcp connections (global client_max)

-- 単一の FE ノードの最大接続数。
show max_connections;

-- インスタンス全体の最大接続数 (FE ノード数に max_connections を乗じた値)。Hologres V1.3.23 以降でサポートされています。
select instance_max_connections();

FATAL: sorry, too many clients already connection limit exceeded for superusers
FATAL: remaining connection slots are reserved for non-replication superuser connections

FATAL: too many fixed frontend connections

FATAL: number of requested standby connections exceeds max_wal_senders (currently 600)

エラーメッセージリファレンス

pg_stat_activity ビューのクエリ

select * from pg_stat_activity ;

使用上の注意

スーパーユーザーのみがすべての接続を表示できます。標準ユーザーは自身の接続のみを表示できます。

デフォルトの最大接続数

HoloWeb での接続管理

SQL による接続のクエリ

次の SQL 文を使用して、接続情報を照会します。

1. 現在のデータベースへの接続数の照会

   次のコマンドを実行して、現在のデータベースの接続数を確認します。フィールドの説明については、「pg_stat_activity ビューのクエリ」をご参照ください。

   • Hologres V1.1 以降：

     SELECT  datname::TEXT
             ,COUNT(1) AS COUNT
     FROM    pg_stat_activity
     WHERE   backend_type = 'client backend'
     AND     application_name != 'hologres'
     GROUP BY datname::TEXT;

   • Hologres V0.10 以前：

     SELECT  datname
             ,COUNT(1) AS COUNT
     FROM    pg_stat_activity
     WHERE   backend_type = 'client backend'
     AND     application_name != 'hologres'
     GROUP BY datname;

2. 各接続の状態の確認

   Hologres コンソールの HoloWeb を使用して接続の状態を確認するか、次の SQL 文を実行して、すべての JDBC または PSQL 接続の状態を照会します。

   select * from pg_stat_activity where backend_type = 'client backend' and state = '<statename>';

   <statename> は、次のいずれかの状態に置き換えてください：

   • idle：アイドル状態です。プロセスは新しいクライアントコマンドを待機しています。

   • active：アクティブな接続です。プロセスがクエリを実行しています。

   • idle in transaction：トランザクションアイドル状態です。プロセスはトランザクション内にありますが、現在クエリを実行していません。

   • idle in transaction (aborted)：トランザクションアイドル (アボート) 状態です。プロセスが失敗したトランザクション内にあり、現在クエリを実行していません。

   • fastpath 関数呼び出し: プロセスが fast-path 関数を実行していることを示します。

   • 無効: プロセスの track activities が無効になっていることを示します。

   例：アイドル接続の照会

   select * from pg_stat_activity where backend_type = 'client backend' and state = 'idle';

   HoloWeb などの Hologres コンポーネントは JDBC を使用し、接続を消費します。接続数が継続的に max_connections に近づく場合は、アプリケーションで接続リークが発生していないか確認し、適切な接続プールを設定してください。「接続のリリース」をご参照ください。

3. 各アクセスノードの接続数の確認

   各 FE ノードの接続数を照会します (Hologres V1.3.23 以降)。アクティブな接続がない FE ノードは、結果から除外されます。

   select * from hologres.hg_connections;

   以下に、クエリ結果のフィールドを示します。

   • fe_id：FE ノードの ID。

   • used_connections：FE ノードで現在使用中の接続数。

   • max_connections：FE ノードの最大接続数で、show max_connections コマンドの戻り値と同じです。

FixedFE 接続のクエリ

Fixed Plan の書き込みとポイントクエリを処理する FixedFE 接続は、pg_stat_activity には表示されません。代わりに、専用の hg_fixed_fe_stat_activity ビューをクエリしてください。

-- 現在の FE ノード上のすべての FixedFE 接続を一覧表示します。
select * from hg_fixed_fe_stat_activity;

-- 6,400 の上限と比較するために FixedFE 接続数をカウントします。
select count(*) from hg_fixed_fe_stat_activity;

-- FixedFE 接続をデータベース、ユーザー、アプリケーション別にグループ化します。
SELECT  datname
        ,usename
        ,application_name
        ,COUNT(1)
FROM    hg_fixed_fe_stat_activity
GROUP BY datname
         ,usename
         ,application_name;

主なフィールドは、datname、conn_id (FixedFE 接続 ID)、usename、application_name、client_addr、client_port、backend_start、state、query_start、query です。backend_type フィールドは常に fixed frontend connection です。

接続の終了

次の症状は、最大接続数に達したことを示します：

• Hologres コンソールの [Monitoring and Alarms] ページで、接続数が max_connections に達するか、それを超えます。

• FATAL: sorry, too many clients already connection limit exceeded for superusers というエラーが発生します。

• FATAL: remaining connection slots are reserved for non-replication superuser connections というエラーが報告されます。

• FATAL: too many fixed frontend connections というエラーが報告されます。これは、FixedFE レイヤーが上限に達したことを示します。

• too many client tcp connections というエラーが報告されます。これは、ゲートウェイレイヤーが上限に達したことを示します。

まず、どのレイヤーが上限に達したかを特定します。詳細については、「エラーメッセージリファレンス」をご参照ください。FE レイヤーが上限に達した場合、予約済みの接続を使用するスーパーユーザーアカウントで接続し、次の文を実行してアイドル接続を確認します。

select * from pg_stat_activity where backend_type = 'client backend' and state = 'idle';

結果に過剰なアイドルプロセスが表示された場合は、結果の pid を使用して、次の文で接続を解放します。フィールドの説明については、「pg_stat_activity ビューのクエリ」をご参照ください。

select pg_cancel_backend(<pid>);     -- 接続上のクエリをキャンセルします。
select pg_terminate_backend(<pid>);  -- 対応するバックエンド接続プロセスを終了します。

-- バックエンドのアイドル接続プロセスを一括で終了して接続を解放します。
SELECT pg_terminate_backend(pid)
        ,query
        ,datname
        ,usename
        ,application_name
        ,client_addr
        ,client_port
        ,backend_start
        ,state
FROM    pg_stat_activity
WHERE   length(query) > 0
AND     pid != pg_backend_pid()
AND     backend_type = 'client backend'
AND     state = 'idle'
AND     application_name != 'hologres'
AND     query not like '%pg_cancel_backend%';

スーパーユーザー向けの予約接続

Hologres は、スーパーユーザー向けに接続を予約します。予約数はインスタンス仕様によって異なります (インスタンス管理)。これらの接続により、接続数が上限に達した場合でも、アイドル状態の接続を終了させるなどの管理タスクを実行できます。標準ユーザーが使用できる接続数は、max_connections から予約数を差し引いた値です。通常の操作にスーパーユーザーアカウントを使用しないでください。すべての接続を使い切り、管理アクセスがブロックされる可能性があります。

ユーザー接続制限

SELECT rolname, rolconnlimit
FROM pg_roles
WHERE rolconnlimit <> -1;

       rolname | rolconnlimit 
---------------+--------------
 p4_283813xxxx |      1
(1 row)

アイドル接続の自動終了

インスタンスの接続が常に上限に近づく場合、アプリケーションにコネクションリークがある可能性があります。アイドル接続の自動終了を有効にすると、リソースを解放できます。指定した期間を超えてアイドル状態の接続は、自動的に切断されます。

• 制限事項

  Hologres V0.10.25 以降でサポートされています。以前のバージョンについては、「アップグレード中に発生する一般的なエラー」をご参照いただくか、Hologres DingTalk グループに参加してアップグレードをリクエストしてください。詳細については、オンラインサポートの利用方法をご参照ください。

• 構文

  • セッションレベル

    -- 接続が 10 分間 (600,000 ミリ秒) アイドル状態の場合、自動的に切断します。
    SET idle_session_timeout = 600000;

  • データベースレベル

    -- このデータベースへの接続が 10 分間 (600,000 ミリ秒) アイドル状態の場合、自動的に切断します。
    ALTER DATABASE  <db_name> SET idle_session_timeout = 600000;

    <db_name> を、アイドル接続の自動終了を有効にするデータベースの名前に置き換えてください。

接続のベストプラクティス

一般的なエラー

• SQL 実行中に terminating connection due to idle state timeout というエラーメッセージが返されます。

• 原因：設定されたアイドル状態タイムアウトを超過したため、接続が自動的に切断されました。

• 解決策：インスタンスに再接続するか、アイドル接続タイムアウトの値を増やしてください。アイドル接続タイムアウトの値を変更する方法については、「アイドル接続の自動終了」をご参照ください。

その他の接続関連のエラーとその対処方法については、「エラーメッセージリファレンス」をご参照ください。