ApsaraDB for SelectDB:クエリプロファイル

クエリプロファイル機能を有効にする

enable_profile 変数を設定して、クエリプロファイル機能を有効にします。詳細については、「変数管理」をご参照ください。

SET enable_profile=true;

クエリプロファイルを表示する

次の文を実行して、保存されているすべてのクエリプロファイルを表示します。

SHOW QUERY PROFILE "/"\G;

返された結果セットでは、データの各行がクエリプロファイルに対応しています。プロファイル ID に基づいて、クエリプロファイルの詳細を表示できます。

SHOW QUERY PROFILE "/"\G
*************************** 1. row ***************************
   Profile ID: c257c52f93e149ee-ace8ac14e8c9fef9
    Task Type: QUERY
   Start Time: 2021-04-08 11:30:50
     End Time: 2021-04-08 11:30:50
        Total: 9ms
   Task State: EOF
         User: root
   Default Db: default_cluster:db1
Sql Statement: select tbl1.k1, sum(tbl1.k2) from tbl1 join tbl2 on tbl1.k1 = tbl2.k1 group by tbl1.k1 order by tbl1.k1

クエリプロファイルを使用する

次の手順を実行して、SQL クエリ文のパフォーマンスボトルネックをトラブルシューティングします。

1. 実行プランツリーを表示します。

   この手順は、主に実行プラン全体を分析し、各フラグメントの実行時間を表示するために使用されます。返された結果では、各ノードはそれが属するフラグメントでマークされ、各フラグメントの送信者ノードはこのフラグメントの実行時間でマークされます。時間は、フラグメント内のすべての実行ユニットの実行時間の中で最も長いものです。この実行プランツリーは、最も時間のかかるフラグメントを見つけるのに役立ちます。次のサンプルコードは、実行プランツリーの例を示しています。

   SHOW QUERY PROFILE "/c257c52f93e149ee-ace8ac14e8c9fef9"\G
   *************************** 1. row ***************************
   Fragments:
                ┌──────────────────────┐
                │[-1: DataBufferSender]│
                │Fragment: 0           │
                │MaxActiveTime: 6.626 ms│
                └──────────────────────┘
                            │
                  ┌──────────────────┐
                  │[9: EXCHANGE_NODE]│
                  │Fragment: 0       │
                  └──────────────────┘
                            │
                ┌──────────────────────┐
                │[9: DataStreamSender] │
                │Fragment: 1           │
                │MaxActiveTime: 5.449 ms│
                └──────────────────────┘
                            │
                    ┌──────────────┐
                    │[4: SORT_NODE]│
                    │Fragment: 1   │
                    └──────────────┘
                           ┌┘
                ┌─────────────────────┐
                │[8: AGGREGATION_NODE]│
                │Fragment: 1          │
                └─────────────────────┘
                           └┐
                  ┌──────────────────┐
                  │[7: EXCHANGE_NODE]│
                  │Fragment: 1       │
                  └──────────────────┘
                            │
                ┌──────────────────────┐
                │[7: DataStreamSender] │
                │Fragment: 2           │
                │MaxActiveTime: 3.505 ms│
                └──────────────────────┘
                           ┌┘
                ┌─────────────────────┐
                │[3: AGGREGATION_NODE]│
                │Fragment: 2 │
                └─────────────────────┘
                           │
                 ┌───────────────────┐
                 │[2: HASH_JOIN_NODE]│
                 │Fragment: 2        │
                 └───────────────────┘
              ┌────────────┴────────────┐
    ┌──────────────────┐      ┌──────────────────┐
    │[5: EXCHANGE_NODE]│      │[6: EXCHANGE_NODE]│
    │Fragment: 2       │      │Fragment: 2       │
    └──────────────────┘      └──────────────────┘
              │                         │
   ┌─────────────────────┐ ┌────────────────────────┐
   │[5: DataStreamSender]│ │[6: DataStreamSender] │
   │Fragment: 4          │ │Fragment: 3             │
   │MaxActiveTime: 1.87 ms│ │MaxActiveTime: 636.767 us│
   └─────────────────────┘ └────────────────────────┘
              │                        ┌┘
    ┌───────────────────┐    ┌───────────────────┐
    │[0: OLAP_SCAN_NODE]│    │[1: OLAP_SCAN_NODE]│
    │Fragment: 4        │    │Fragment: 3        │
    └──────────────────┘      └──────────────────┘
              │                        │
       ┌─────────────┐          ┌─────────────┐
       │[OlapScanner]│          │[OlapScanner]│
       │Fragment: 4  │          │Fragment: 3  │
       └─────────────┘          └─────────────┘
              │                        │
     ┌─────────────────┐      ┌─────────────────┐
     │[SegmentIterator]│      │[SegmentIterator]│
     │Fragment: 4      │      │Fragment: 3      │
     └─────────────────┘      └─────────────────┘
    
   1 row in set (0.02 sec)

2. 特定のフラグメントの実行ユニットを表示します。

   前の例では、フラグメント 1 が最も時間のかかるフラグメントです。したがって、フラグメント 1 の実行ユニットを表示できます。次のサンプルコードは、フラグメント 1 のすべての実行ユニットの実行ノードと実行時間をクエリする方法を示しています。

   SHOW QUERY PROFILE "/c257c52f93e149ee-ace8ac14e8c9fef9/1";
   +-----------------------------------+-------------------+------------+
   | Instances                         | Host              | ActiveTime |
   +-----------------------------------+-------------------+------------+
   | c257c52f93e149ee-ace8ac14e8c9ff03 | 10.200.00.01:9060 | 5.449ms    |
   | c257c52f93e149ee-ace8ac14e8c9ff05 | 10.200.00.02:9060 | 5.367ms    |
   | c257c52f93e149ee-ace8ac14e8c9ff04 | 10.200.00.03:9060 | 5.358ms    |
   +-----------------------------------+-------------------+------------+ 

3. 特定の実行ユニットを表示します。

   特定の実行ユニットの各オペレーターのプロファイルを表示できます。次のサンプルコードは、フラグメント 1 の実行ユニット c257c52f93e149ee-ace8ac14e8c9ff03 の各オペレーターのプロファイルをクエリする方法を示しています。

   SHOW QUERY PROFILE "/c257c52f93e149ee-ace8ac14e8c9fef9/1/c257c52f93e149ee-ace8ac14e8c9ff03"\G
   *************************** 1. row ***************************
   Instance:
    ┌───────────────────────────────────────┐
    │[9: DataStreamSender]                  │
    │(Active: 37.222 us, non-child: 0.40)    │
    │  - Counters:                          │
    │      - BytesSent: 0.00                │
    │      - IgnoreRows: 0                  │
    │      - OverallThroughput: 0.0 /sec    │
    │      - PeakMemoryUsage: 8.00 KB       │
    │      - SerializeBatchTime: 0ns        │
    │      - UncompressedRowBatchSize: 0.00 │
    └───────────────────────────────────────┘
                        └┐
                         │
       ┌──────────────────────────────────┐
       │[4: SORT_NODE]                    │
       │(Active: 5.421 ms, non-child: 0.71)│
       │  - Counters:                     │
       │      - PeakMemoryUsage: 12.00 KB │
       │ - RowsReturned: 0 │
       │      - RowsReturnedRate: 0       │
       └──────────────────────────────────┘
                        ┌┘
                        │
      ┌───────────────────────────────────┐
      │[8: AGGREGATION_NODE]              │
      │(Active: 5.355 ms, non-child: 10.68)│
      │  - Counters:                      │
      │      - BuildTime: 3.701us         │
      │      - GetResultsTime: 0 ns        │
      │      - HTResize: 0                │
      │      - HTResizeTime: 1.211 us      │
      │      - HashBuckets: 0             │
      │      - HashCollisions: 0          │
      │      - HashFailedProbe: 0         │
      │      - HashFilledBuckets: 0       │
      │      - HashProbe: 0               │
      │      - HashTravelLength: 0        │
      │      - LargestPartitionPercent: 0 │
      │      - MaxPartitionLevel: 0       │
      │      - NumRepartitions: 0         │
      │      - PartitionsCreated: 16      │
      │      - PeakMemoryUsage: 34.02 MB  │
      │      - RowsProcessed: 0           │
      │      - RowsRepartitioned: 0       │
      │      - RowsReturned: 0            │
      │      - RowsReturnedRate: 0        │
      │      - SpilledPartitions: 0       │
      └───────────────────────────────────┘
                        └┐
                         │
   ┌──────────────────────────────────────────┐
   │[7: EXCHANGE_NODE]                        │
   │(Active: 4.360 ms, non-child: 46.84)       │
   │  - Counters:                             │
   │      - BytesReceived: 0.00               │
   │      - ConvertRowBatchTime: 387 ns        │
   │      - DataArrivalWaitTime: 4.357 ms      │
   │      - DeserializeRowBatchTimer: 0 ns     │
   │      - FirstBatchArrivalWaitTime: 4.356 ms│
   │      - PeakMemoryUsage: 0.00             │
   │      - RowsReturned: 0                   │
   │      - RowsReturnedRate: 0               │
   │      - SendersBlockedTotalTimer(*): 0 ns  │
   └──────────────────────────────────────────┘

クエリプロファイルをエクスポートする

後続の分析のためにクエリプロファイルをエクスポートするには、次の手順を実行します。

1. クエリプロファイル機能を有効にします。

   SET enable_profile=true;

2. クエリ文を実行します。

   次のコードは、クエリ文の例を示しています。実際の使用で使用する SQL クエリ文に置き換えてください。

   -- SQL リクエストを送信します。この場合、クエリ文のプロファイルが生成されます。
   SELECT count(1) FROM test_table LIMIT 10;

3. プロファイル ID をクエリします。

   SelectDB Core V3.0.x

   次のサンプルコードは、SelectDB Core V3.0.x を実行している SelectDB インスタンスのプロファイル ID をクエリする方法の例を示しています。

   SHOW QUERY PROFILE "/";
   +-----------------------------------+-----------+---------------------+---------------------+-------+------------+-------+------------------------------------+-------------------------------+
   | Profile ID                        | Task Type | Start Time          | End Time            | Total | Task State | User  | Default Db                         | Sql Statement                 |
   +-----------------------------------+-----------+---------------------+---------------------+-------+------------+-------+------------------------------------+-------------------------------+
   | b9c9ba063d9d4365-97878361371e757a | QUERY     | 2024-02-07 17:40:04 | 2024-02-07 17:40:04 | 32ms  | EOF        | admin | default_cluster:information_schema | select * from user_privileges |
   | 8800c306137e4072-9bb1ed419f4ac9f2 | QUERY     | 2024-02-07 17:40:00 | 2024-02-07 17:40:00 | 3ms   | ERR        | admin | default_cluster:information_schema | select * from user_priveleges |
   | e2efdd1a996c4de2-ab939ad49b409990 | QUERY     | 2024-02-07 17:39:51 | 2024-02-07 17:39:51 | 13ms  | EOF        | admin |                                    | SELECT DATABASE()             |
   +-----------------------------------+-----------+---------------------+---------------------+-------+------------+-------+------------------------------------+-------------------------------+

   SelectDB Core V4.0.x

   次のサンプルコードは、SelectDB Core V4.0.x を実行している ApsaraDB for SelectDB インスタンスのプロファイル ID をクエリする方法の例を示しています。Query ID フィールドは profile ID を示します。

   curl -u'<userName>:<userPassword>' "http://<selectdbAddress>:<httpPort>/rest/v2/manager/query/query_info?is_all_node=true" 
   
   # レスポンス
   {
      "msg": "success",  
       "code": 0,  
       "data": {  
           "column_names": [  
               "Query ID",  
               "FE Node",  
               "Query User",  
               "Execution Database",  
               "Sql",  
               "Query Type",  
               "Start Time",  
               "End Time",  
               "Execution Duration",  
               "Status"  
           ],  
           "rows": [  
               [  
                   ...  
               ]  
           ]  
       },  
       "count": 0  
   }

4. プロファイル ID に基づいて、curl コマンドを実行してプロファイルをファイルにエクスポートします。

   curl -u'<userName>:<userPassword>' "http://<selectdbAddress>:<httpPort>/api/profile?query_id=<query_id>" 
   
   # リダイレクト記号を使用して、プロファイルをファイルにエクスポートできます。
   curl -u'<userName>:<userPassword>' "http://<selectdbAddress>:<httpPort>/api/profile?query_id=<query_id>" > res.txt

   パラメーター

   パラメーター	説明
   userName	SelectDB インスタンスにアクセスするために使用されるユーザー名。
   userPassword	SelectDB インスタンスにアクセスするために使用されるパスワード。
   selectdbAddress	SelectDB インスタンスのエンドポイント。
   httpPort	SelectDB インスタンスの HTTP ポート番号。デフォルト値： 8080。
   query_id	プロファイルのクエリ ID。

5. オプション。リダイレクト記号を使用してプロファイルをファイルにエクスポートする場合は、コンテンツを読みやすくするためにフォーマットできます。

   sudo sed -r 's/\\n/\n/g' res.txt | sed -r 's/\\t/\t/g' > new.txt