MySQL之特定SQL下的并發性能測試講義

本文主要給大家介紹MySQL之特定SQL下的并發性能測試講義，希望可以給大家補充和更新些知識，如有其它問題需要了解的可以持續在億速云行業資訊里面關注我的更新文章的。

場景描述

• 從全文檢索或者緩存中獲取ID，根據ID查詢數據庫獲取基礎信息，進行頁面展示

• SQL：select * from table where id in(id1,id2,id3...id40)

• 此種場景的常規方案是將id對應的基礎信息在redis中緩存一份，mysql只是做為后端存儲。我們做如下測試就是嘗試mysql是否可應對這種查詢場景。然而根本原因是DBA告訴我，現在MySQL性能已經極其厲害。
• 

數據量說明

• 1.8億條數據
• 使用Oneproxy分為200個數據表(200個表在同一臺機器）
• 因為id是隨機的，查詢時oneproxy會將查詢分散到所有后端MySql

性能指標

• 并發數
• 每次查詢的響應時間

MySql云服務器

• 騰訊云提供的MySQL服務

mysql的具體配置不在這里列舉，即下面的性能報告只是特定場景下的性能分析，不代表mysql的“真實”性能。本文核心是提供一種測試方法，而不是單純的提供一份數據報告 。

測試程序簡介

• 基礎：php、swoole協程
• 使用協程控制程序的并發數，每個協程中執行一次查詢。當一次查詢完成，管道通知開始新的查詢。

程序代碼

mysql_test.php

<?php
ini_set('memory_limit', '1280M'); //協程會耗費較多的內存

define('MAX_MYSQLPOOL_NUM', $argv['1']); //mysql最大連接數，即并發數
define('TESTCOUNT', $argv['2']);  //一共的測試次數

$mysqlconf = [
    'host' => '127.0.0.1',
    'port' => 3307,
    'user' => 'root',
    'password' => '123456',
    'database' => '',
    'timeout' => 10
];

Swoole\Coroutine::create(function () use ($mysqlconf) {
    $stime = microtime(true); //程序開始時間

    $pool = new MysqlPool($mysqlconf); 
    $chan = new chan(MAX_MYSQLPOOL_NUM); //并發數，協程間使用channel通信

    for($i = 1; $i< TESTCOUNT + MAX_MYSQLPOOL_NUM; $i++) {
        $chan->push('x');
        Swoole\Coroutine::create(function() use($pool, $chan, $i) {
            //測試的業務邏輯開始
            $conn = $pool->get();
            if($conn) {
                $sql = "select /* parallel */ * from table where id in (".implode(',', getRandpid()).')';
                $time1 = microtime(true);
                $conn->query($sql);
                $time2 = microtime(true);

                if($i % intval(TESTCOUNT / 10) == 0) { //輸出執行的進度
                    echo "\n finish $i / ".TESTCOUNT; 
                }
                $pool->put($conn, (($time2 - $time1) * 1000)); //每次查詢耗時就不單獨做實例，直接修改連接池類做簡單統計
            } else {
                echo "\n connect mysql fail，跳過SQL";
            }
            //業務邏輯結束
            $chan->pop();
        });
    }
    $etime = microtime(true);
    echo "\n ============執行結果=============";
    echo "\n 并發數量： ".MAX_MYSQLPOOL_NUM;
    echo "\n 查詢次數： ".TESTCOUNT;
    echo "\n 執行總耗時： ".intval($etime - $stime)."秒\n";

    echo "\n QPS (查詢次數/總耗時) :". intval((TESTCOUNT / ($etime - $stime)));
    echo "\n 每次查詢耗時平均值：".intval($pool->alltime / TESTCOUNT) ."ms";
    echo "\n ============end=============\n";
    die;
});

//數據庫連接池，https://wiki.swoole.com/wiki/page/852.html
class MysqlPool
{
    protected $pool;
    private $mysqlconf;
    public $alltime;

    public function __construct($mysqlconf)
    {
        $this->pool = new SplQueue();
        $this->mysqlconf = $mysqlconf;
        $this->alltime = 0;
    }

    public function put($mysql, $time = 0)
    {
        $this->pool->push($mysql);
        $this->alltime += $time;
    }

    public function get()
    {
        //有空閑連接
        if (count($this->pool) > 0) {
            return $this->pool->pop();
        }

        $mysql = new Swoole\Coroutine\Mysql();
        $res = $mysql->connect($this->mysqlconf);
        if ($res == false) {
            echo "\n connect error info: ".$mysql->error."\n";
            return false;
        } else {
            return $mysql;
        }
    }
}

//隨機生成的數字
function getRandpid()
{
    for ($i = 0; $i < 40; ++$i) {
        $ret[] = rand(1, 185724600);
    }
    return $ret;
}

測試1：直接連接mysql，查詢單表的性能

• 測試代碼：修改以上代碼

  • 1：修改mysql配置為直接連接mysql，而不是oneproxy。即端口從3307改為3306

  • 2：“業務邏輯”部分中的SQL改為：

    $sql = "select * from table_10 where id in (".implode(',', getRandpid()).')';

• 測試指令：

  php mysql_test.php 1 1000 //并發為1，查詢1000次
  php mysql_test.php 10 1000 //并發為10，查詢1000次
  php mysql_test.php 50 10000 //并發為50，查詢10000次
  ...
  php mysql_test.php 500 100000 //并發為500，查詢100000次

• 測試結果：
  

• 結果分析：
  根據主鍵查詢單表，mysql的性能基本可以滿足正常業務的需求

測試2

• 說明    
  查詢oneproxy。因為查詢id是隨機的，每查一次oneproxy，對應查詢的是40個mysql的表。
  即，當oneproxy的并發數為1，mysql的對應并發數是40

• 測試代碼：
  以上提供的代碼即為此種情況的代碼，無須修改。

• 測試指令：

  php mysql_test.php 1 1000 //并發為1，查詢1000次
  php mysql_test.php 10 1000 //并發為10，查詢1000次
  php mysql_test.php 50 10000 //并發為50，查詢10000次
  ...
  php mysql_test.php 100 10000 //并發為100，查詢10000次

• 測試結果：
  

• 結果分析：
  • 1：OneProxy做為mysql的代理，對查詢性能基本0消耗。
    當oneproxy的查詢并發為5時，對應mysql的查詢并發為200。測試2的結果，并發為5，每次查詢耗時30ms。測試1，mysql并發200，每次查詢耗時29ms。可得到結論，oneproxy對性能0消耗。
  • 2：每次查詢耗時太高，很小流量的業務才能使用此方案。

測試3：后端mysql表分散到多臺機器

• 分到兩臺，測試結果：
  

• 分析：
  mysql分到兩臺機器。同樣并發數時，每次查詢耗時能縮短一倍。
• 推測：
  mysql表分到更多的機器，每次查詢耗時能達到測試1的結果，可滿足正常的業務需求。

最后，關注性能的同時，也要關注系統的穩定性、開發者的易用性、易維護性。

看了以上關于MySQL之特定SQL下的并發性能測試講義，希望能給大家在實際運用中帶來一定的幫助。本文由于篇幅有限，難免會有不足和需要補充的地方，如有需要更加專業的解答，可在官網聯系我們的24小時售前售后，隨時幫您解答問題的。