在MySQL的高並發情境下,服務層和引擎層的串列點(如事務鎖衝突)可能導致效能下降。AliSQL提供了Statement Queue功能,通過分桶排隊機制減少衝突開銷,從而提高執行個體效能。該功能將可能具有相同衝突的語句(如操作相同行的語句)分配到同一個桶內排隊,最佳化並發執行效率。
背景資訊
在MySQL的服務層和引擎層中,語句並發執行時存在多個序列化點,容易引發衝突。例如,在DML語句執行過程中,事務鎖衝突較為常見。InnoDB引擎中事務鎖的最細粒度為行級鎖,當多個語句針對相同行進行並行作業時,會導致嚴重的衝突,進而使系統輸送量隨著並發量的增加而顯著下降。為此,AliSQL提供了Statement Queue功能,通過減少衝突開銷,有效提升執行個體效能。
前提條件
RDS MySQL執行個體版本需滿足以下要求:
RDS MySQL 8.0基礎系列或高可用系列(核心小版本20191115及以上)
RDS MySQL 5.7基礎系列或高可用系列(核心小版本20200630及以上)
配置變數
AliSQL提供了兩個變數來定義語句隊列的桶數量和大小,您可以在RDS控制台修改變數取值。
ccl_queue_bucket_count:表示桶的數量。
取值範圍:1~64
預設值:4
ccl_queue_bucket_size:表示一個桶允許的並發數。
取值範圍:1~4096
預設值:64
文法
AliSQL支援兩種Hint文法:
ccl_queue_value:根據值進行hash分桶。文法:
/*+ ccl_queue_value([int | string]) */樣本:
update /*+ ccl_queue_value(1) */ t set c=c+1 where id = 1; update /*+ ccl_queue_value('xyz') */ t set c=c+1 where name = 'xyz';ccl_queue_field:根據where條件中的欄位值進行hash分桶。
文法:
/*+ ccl_queue_field(string) */樣本:
update /*+ ccl_queue_field(id) */ t set c=c+1 where id = 1 and name = 'xyz';說明上述兩種hint都是位置敏感的,需要放在update關鍵字之後。
ccl_queue_field每次只能指定一個field,
/*+ ccl_queue_field(id name) */方式為語法錯誤,CCL queue不會生效。/*+ ccl_queue_field(id) ccl_queue_field(name) */為重複hint,以第一個hint指定的field為準。ccl_queue_field中指定的field必須在where條件中出現。
在ccl_queue_field文法中,where條件只支援原始欄位(沒有在欄位上使用任何函數、計算等)的二元運算,且二元運算的右側值必須是數字或字串。
介面
AliSQL提供兩個介面便於您查詢Statement Queue狀態:
dbms_ccl.show_ccl_queue():查詢當前Statement Queue狀態。call dbms_ccl.show_ccl_queue();返回如下:
+------+-------+-------------------+---------+---------+----------+ | ID | TYPE | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | +------+-------+-------------------+---------+---------+----------+ | 1 | QUEUE | 64 | 1 | 0 | 0 | | 2 | QUEUE | 64 | 40744 | 65 | 6 | | 3 | QUEUE | 64 | 0 | 0 | 0 | | 4 | QUEUE | 64 | 0 | 0 | 0 | +------+-------+-------------------+---------+---------+----------+ 4 rows in set (0.01 sec)參數說明如下:
參數
說明
CONCURRENCY_COUNT
最大並發數。
MATCHED
命中規則的總數。
RUNNING
當前並發的數量。
WAITTING
當前等待的數量。
dbms_ccl.flush_ccl_queue():清理記憶體中的資料。call dbms_ccl.flush_ccl_queue(); call dbms_ccl.show_ccl_queue();返回如下:
+------+-------+-------------------+---------+---------+----------+ | ID | TYPE | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | +------+-------+-------------------+---------+---------+----------+ | 1 | QUEUE | 64 | 0 | 0 | 0 | | 2 | QUEUE | 64 | 0 | 0 | 0 | | 3 | QUEUE | 64 | 0 | 0 | 0 | | 4 | QUEUE | 64 | 0 | 0 | 0 | +------+-------+-------------------+---------+---------+----------+ 4 rows in set (0.00 sec)
實踐
功能測試
為避免冗長的應用業務代碼修改,Statement Queue可以配合Statement Outline進行線上業務修改,方便快捷。下文使用SysBench的update_non_index測試案例進行示範。
測試環境
測試表結構
CREATE TABLE `sbtest1` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `k` int(10) unsigned NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), KEY `k_1` (`k`) ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 MAX_ROWS=1000000;測試語句
UPDATE sbtest1 SET c='xyz' WHERE id=0;測試指令碼
./sysbench \ --mysql-host= {$ip} \ --mysql-port= {$port} \ --mysql-db=test \ --test=./sysbench/share/sysbench/update_non_index.lua \ --oltp-tables-count=1 \ --oltp_table_size=1 \ --num-threads=128 \ --mysql-user=u0
測試過程
線上增加Statement Outline。
CALL DBMS_OUTLN.add_optimizer_outline('test', '', 1, ' /*+ ccl_queue_field(id) */ ', "UPDATE sbtest1 SET c='xyz' WHERE id=0");返回如下:
Query OK, 0 rows affected (0.01 sec)查看Statement Outline。
call dbms_outln.show_outline();返回如下:
+------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+ | ID | SCHEMA | DIGEST | TYPE | SCOPE | POS | HINT | HIT | OVERFLOW | DIGEST_TEXT | +------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+ | 1 | test | 7b945614749e541e0600753367884acff5df7e7ee2f5fb0af5ea58897910f023 | OPTIMIZER | | 1 | /*+ ccl_queue_field(id) */ | 0 | 0 | UPDATE `sbtest1` SET `c` = ? WHERE `id` = ? | +------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+ 1 row in set (0.00 sec)驗證Statement Outline生效。
explain UPDATE sbtest1 SET c='xyz' WHERE id=0;返回如下:
+----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+ | 1 | UPDATE | sbtest1 | NULL | range | PRIMARY | PRIMARY | 4 | const | 1 | 100.00 | Using where | +----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+ 1 row in set, 1 warning (0.00 sec)show warnings;返回如下:
+-------+------+-----------------------------------------------------------------------------------------------------------------------------+ | Level | Code | Message | +-------+------+-----------------------------------------------------------------------------------------------------------------------------+ | Note | 1003 | update /*+ ccl_queue_field(id) */ `test`.`sbtest1` set `test`.`sbtest1`.`c` = 'xyz' where (`test`.`sbtest1`.`id` = 0) | +-------+------+-----------------------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec)查詢Statement Queue狀態。
call dbms_ccl.show_ccl_queue();返回如下:
+------+-------+-------------------+---------+---------+----------+ | ID | TYPE | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | +------+-------+-------------------+---------+---------+----------+ | 1 | QUEUE | 64 | 0 | 0 | 0 | | 2 | QUEUE | 64 | 0 | 0 | 0 | | 3 | QUEUE | 64 | 0 | 0 | 0 | | 4 | QUEUE | 64 | 0 | 0 | 0 | +------+-------+-------------------+---------+---------+----------+ 4 rows in set (0.00 sec)開啟測試。
sysbench \ --mysql-host= {$ip} \ --mysql-port= {$port} \ --mysql-db=test \ --test=./sysbench/share/sysbench/update_non_index.lua \ --oltp-tables-count=1 \ --oltp_table_size=1 \ --num-threads=128 \ --mysql-user=u0驗證測試效果。
call dbms_ccl.show_ccl_queue();返回如下:
+------+-------+-------------------+---------+---------+----------+ | ID | TYPE | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | +------+-------+-------------------+---------+---------+----------+ | 1 | QUEUE | 64 | 10996 | 63 | 4 | | 2 | QUEUE | 64 | 0 | 0 | 0 | | 3 | QUEUE | 64 | 0 | 0 | 0 | | 4 | QUEUE | 64 | 0 | 0 | 0 | +------+-------+-------------------+---------+---------+----------+ 4 rows in set (0.03 sec)call dbms_outln.show_outline();返回如下:
+------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+ | ID | SCHEMA | DIGEST | TYPE | SCOPE | POS | HINT | HIT | OVERFLOW | DIGEST_TEXT | +------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+ | 1 | test | xxxxxxxxx | OPTIMIZER | | 1 | /*+ ccl_queue_field(id) */ | 115795 | 0 | UPDATE `sbtest1` SET `c` = ? WHERE `id` = ? | +------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+ 1 row in set (0.00 sec)說明查詢結果顯示Statement Outline命中了115,795次規則,Statement Queue狀態顯示命中了10,996次排隊,當前運行並發63個,排隊等待4個。
效能測試
測試環境
應用伺服器:阿里雲ECS執行個體
RDS執行個體規格: 8 核16 GB 記憶體、ESSD雲端硬碟
執行個體類型:高可用系列(資料複製方式為非同步複製)
測試案例
對id=1的記錄進行並發更新,使用的Sysbench的測試案例如下:
pathtest = string.match(test, "(.*/)") if pathtest then dofile(pathtest .. "oltp_common.lua") else require("oltp_common") end function thread_init() drv = sysbench.sql.driver() con = drv:connect() end function event() local val_name val_name = "'sdnjkmoklvnseajinvijsfdnvkjsnfjvn".. sb_rand_uniform(1, 4096) .. "'" query = "UPDATE sbtest1 SET c=" .. val_name .. " WHERE id=1" rs = db_query(query) end測試結果
開啟Statement Queue功能後,在高並發情境下QPS提升顯著,並發數越高,提升越明顯。
說明未開啟Statement Queue功能,在4096線程壓測下執行個體發生主備切換,因此QPS為0。