mysql连接池的实现

目录

1 池化技术

2 什么是数据库连接池

3 为什么使用数据库连接池

3.1 不使用连接池

3.2 使用连接池

3.3 长连接和连接池的区别

4 数据库连接池运行机制

 5 连接池和线程池的关系

6 线程池设计要点

6.1 连接池设计逻辑

构造函数 

初始化

请求获取连接 

 归还连接 

析构连接池 

连接

6.2 mysql连接重连机制

问题

---

C/C++Linux服务器开发/后台架构师【零声教育】-学习视频教程-腾讯课堂

1 池化技术

        池化技术能够减少资源对象的创建次数，提高程序的响应性能，特别是在高并发下这种提高更加明显。

        使用池化技术缓存的资源对象有如下共同特点：

1. 对象创建时间长；

2. 对象创建需要大量资源；

3. 对象创建后可被重复使用

像常见的线程池、内存池、连接池、对象池都具有以上的共同特点。

2 什么是数据库连接池

        定义：数据库连接池（Connection pooling）是程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由程序动态地对池中的连接进行申请，使用，释放。

        大白话：创建数据库连接是一个很耗时的操作，也容易对数据库造成安全隐患。所以，在程序初始化的时候，集中创建多个数据库连接，并把他们集中管理，供程序使用，可以保证较快的数据库读写速度，还更加安全可靠。

        这里讲的数据库，不单只是指Mysql，也同样适用于Redis。

3 为什么使用数据库连接池

1. 资源复用

        由于数据库连接得到复用，避免了频繁的创建、释放连接引起的性能开销，在减少系统消耗的基础上，另一方面也增进了系统运行环境的平稳性（减少内存碎片以及数据库临时进程/线程的数量）。

2. 更快的系统响应速度

        数据库连接池在初始化过程中，往往已经创建了若干数据库连接置于池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言，直接利用现有可用连接，避免了从数据库连接初始化和释放过程的开销，从而缩减了系统整体响应时间。

3. 统一的连接管理，避免数据库连接泄露

        在较为完备的数据库连接池实现中，可根据预先的连接占用超时设定，强制收回被占用连接。从而避免了常规数据库连接操作中可能出现的资源泄露。

3.1 不使用连接池

1. TCP建立连接的三次握手（客户端与MySQL服务器的连接基于TCP协议）

2. MySQL认证的三次握手

3. 真正的SQL执行

4. MySQL的关闭

5. TCP的四次握手关闭

        可以看到，为了执行一条SQL，需要进行TCP三次握手，Mysql认证、Mysql关闭、TCP四次挥手等其他操作，执行SQL操作在所有的操作占比非常低。

优点：实现简单 省了连接池的设计。

缺点：每一次发起SQL操作都经历TCP建立连接、数据库用户身份验证、数据库用户登出、TCP断开连接。

1. 网络IO较多
2. 带宽利用率低
3. QPS较低
4. 应用频繁低创建连接和关闭连接，导致临时对象较多，带来更多的内存碎片
5. 在关闭连接后，会出现大量TIME_WAIT 的TCP状态（在2个MSL之后关闭）

3.2 使用连接池

        在连接池初始化的时候，会按照需求建立N个连接，但是之后的访问，都会从池里面取，复用初始化时创建的连接，直接执行sql语句。

优点：

1. 降低了网络开销

2. 连接复用，有效减少连接数。

3. 提升性能，避免频繁的新建连接。新建连接的开销比较大

4. 没有TIME_WAIT状态的问题

缺点：

1. 设计较为复杂

3.3 长连接和连接池的区别

1. 长连接是一些驱动、驱动框架、ORM工具的特性，由驱动来保持连接句柄的打开，以便后续的数据库操作可以重用连接，从而减少数据库的连接开销。
2. 而连接池是应用服务器的组件，它可以通过参数来配置连接数、连接检测、连接的生命周期等
3. 连接池内的连接，其实就是长连接。

4 数据库连接池运行机制

1. 从连接池获取或创建可用连接；

2. 使用完毕之后，把连接返回给连接池；

3. 在系统关闭前，断开所有连接并释放连接占用的系统资源；

 5 连接池和线程池的关系

连接池和线程池的区别

        线程池：主动调用任务。当任务队列不为空的时候从队列取任务取执行。比如去银行办理业务，窗口柜员是线程，多个窗口组成了线程池，柜员从排号队列叫号执行。

        连接池：被动被任务使用。当某任务需要操作数据库时，只要从连接池中取出一个连接对象，当任务使用完该连接对象后，将该连接对象放回到连接池中。如果连接池中没有连接对象可以用，那么该任务就必须等待。比如去银行用笔填单，笔是连接对象，我们要用笔的时候去取，用完了还回去。

连接池和线程池设置数量的关系

1. 一般线程池线程数量和连接池连接对象数量一致；
2. 一般线程执行任务完毕的时候归还连接对象；

6 线程池设计要点

使用连接池需要预先建立数据库连接。

线程池设计思路：

1. 连接到数据库，涉及到数据库ip、端口、用户名、密码、数据库名字等；

        a.连接的操作，每个连接对象都是独立的连接通道，它们是独立的

        b.配置最小连接数和最大连接数

2. 需要一个队列管理他的连接，比如使用list；

3. 获取连接对象：

4. 归还连接对象；

5. 连接池的名字

6.1 连接池设计逻辑

构造函数 

string m_pool_name;             // 连接池名称string m_db_server_ip;       // 数据库ipuint16_t m_db_server_port;   // 数据库端口string m_username;           // 用户名string m_password;           // 用户密码string m_db_name;            // db名称int m_db_cur_conn_cnt;       // 当前启用的连接数量int m_db_max_conn_cnt;       // 最大连接数量CDBPool::CDBPool(const char *pool_name, const char *db_server_ip, uint16_t db_server_port,const char *username, const char *password, const char *db_name, int max_conn_cnt)
{m_pool_name = pool_name;m_db_server_ip = db_server_ip;m_db_server_port = db_server_port;m_username = username;m_password = password;m_db_name = db_name;m_db_max_conn_cnt = max_conn_cnt;    //m_db_cur_conn_cnt = MIN_DB_CONN_CNT; // 最小连接数量
}

初始化

CDBConn::CDBConn(CDBPool *pPool)
{m_pDBPool = pPool;m_mysql = NULL;
}CDBConn::~CDBConn()
{if (m_mysql){mysql_close(m_mysql);}
}int CDBConn::Init()
{m_mysql = mysql_init(NULL); // mysql_标准的mysql c client对应的apiif (!m_mysql){LOG_ERROR << "mysql_init failed";return 1;
}my_bool reconnect = true;mysql_options(m_mysql, MYSQL_OPT_RECONNECT, &reconnect);   // 配合mysql_ping实现自动重连
mysql_options(m_mysql, MYSQL_SET_CHARSET_NAME, "utf8mb4"); // utf8mb4和utf8区别// ip 端口 用户名 密码 数据库名if (!mysql_real_connect(m_mysql, m_pDBPool->GetDBServerIP(), m_pDBPool->GetUsername(), m_pDBPool->GetPasswrod(),m_pDBPool->GetDBName(), m_pDBPool->GetDBServerPort(), NULL, 0)){LOG_ERROR << "mysql_real_connect failed: " << mysql_error(m_mysql);return 2;}return 0;
}int CDBPool::Init()
{// 创建固定最小的连接数量for (int i = 0; i < m_db_cur_conn_cnt; i++){CDBConn *pDBConn = new CDBConn(this);int ret = pDBConn->Init();if (ret){delete pDBConn;return ret;}m_free_list.push_back(pDBConn);}// log_info("db pool: %s, size: %d\n", m_pool_name.c_str(), (int)m_free_list.size());return 0;
}

请求获取连接 

/**TODO: 增加保护机制，把分配的连接加入另一个队列，这样获取连接时，如果没有空闲连接，*TODO: 检查已经分配的连接多久没有返回，如果超过一定时间，则自动收回连接，放在用户忘了调用释放连接的接口* timeout_ms默认为 0死等* timeout_ms >0 则为等待的时间*/
CDBConn *CDBPool::GetDBConn(const int timeout_ms)
{std::unique_lock<std::mutex> lock(m_mutex);if (m_abort_request){LOG_WARN << "have aboort";return NULL;}if (m_free_list.empty()) // 2 当没有连接可以用时{// 第一步先检测 当前连接数量是否达到最大的连接数量if (m_db_cur_conn_cnt >= m_db_max_conn_cnt) // 等待的逻辑{// 如果已经到达了，看看是否需要超时等待if (timeout_ms <= 0) // 死等，直到有连接可以用 或者 连接池要退出{m_cond_var.wait(lock, [this] {// 当前连接数量小于最大连接数量 或者请求释放连接池时退出return (!m_free_list.empty()) | m_abort_request;});}else{// return如果返回 false，继续wait(或者超时),  如果返回true退出wait// 1.m_free_list不为空// 2.超时退出// 3. m_abort_request被置为true，要释放整个连接池m_cond_var.wait_for(lock, std::chrono::milliseconds(timeout_ms), [this] {return (!m_free_list.empty()) | m_abort_request; });// 带超时功能时还要判断是否为空if (m_free_list.empty()) // 如果连接池还是没有空闲则退出{return NULL;}}if (m_abort_request){LOG_WARN << "have abort";return NULL;}}else // 还没有到最大连接则创建连接{CDBConn *pDBConn = new CDBConn(this); //新建连接int ret = pDBConn->Init();if (ret){LOG_ERROR << "Init DBConnecton failed";delete pDBConn;return NULL;}else{m_free_list.push_back(pDBConn);m_db_cur_conn_cnt++;// log_info("new db connection: %s, conn_cnt: %d\n", m_pool_name.c_str(), m_db_cur_conn_cnt);}}}CDBConn *pConn = m_free_list.front(); // 获取连接m_free_list.pop_front();              // STL 吐出连接，从空闲队列删除return pConn;
}

 归还连接 

void CDBPool::RelDBConn(CDBConn *pConn)
{std::lock_guard<std::mutex> lock(m_mutex);list<CDBConn *>::iterator it = m_free_list.begin();for (; it != m_free_list.end(); it++) // 避免重复归还{if (*it == pConn){break;}
}if (it == m_free_list.end()){// m_used_list.remove(pConn);m_free_list.push_back(pConn);m_cond_var.notify_one(); // 通知取队列}else{LOG_WARN << "RelDBConn failed";// 不再次回收连接}
}

析构连接池 

// 释放连接池
CDBPool::~CDBPool()
{std::lock_guard<std::mutex> lock(m_mutex);m_abort_request = true;m_cond_var.notify_all(); // 通知所有在等待的for (list<CDBConn *>::iterator it = m_free_list.begin(); it != m_free_list.end(); it++){CDBConn *pConn = *it;delete pConn;}m_free_list.clear();
}

连接

给每个池分配不同的名称，那么就可以用多个连接池实现不同的业务。池名

6.2 mysql连接重连机制

1. 设置启用（当发现连接断开时的）自动重连

my_bool reconnect = true;mysql_options(m_mysql, MYSQL_OPT_RECONNECT, &reconnect); // 配合mysql_ping实现自动重连

2. 检测连接是否正常

int STDCALL mysql_ping(MYSQL *mysql);

描述：

        检查与服务端的连接是否正常。连接断开时，如果自动重新连接功能未被禁用，则尝试重新连接服务器。该函数可被客户端用来检测闲置许久以后，与服务端的连接是否关闭，如有需要，则重新连接。

返回值：

        连接正常，返回0；如有错误发生，则返回非0值。返回非0值并不意味着服务器本身关闭掉，也有可能是网络原因导致网络不通。

问题

4个连接池对象和4个线程使用4个连接池做同样的事情吗？还是区分每个线程做不同的事情。

答：连接池只是提供了连接对象，提供了一条连接通道，至于调用者要拿这个连接对象做什么业务是用调用者取决定的。出于业务解耦合的场景，也可以设置不同的线程池和不同的连接池应对不同的业务，比如即时通讯写入聊天记录和读取聊天记录采用不同的线程池和对象池。