4、数据库连接池

数据库连接池

在原生的JDBC中，我们通常是使用对应的数据库驱动例如com.mysql.jdbc.Driver，获取一个java.sql.Connection对象进行操作（创建连接、执行SQL、关闭连接），所有的压力都在这一个Connection上。

数据库连接池是java.sql.Connection对象的缓冲区，它里面会存放一些Connection，当我们Java程序需要使用Connection的时候，如果连接池中有则直接从连接池获取，不需要去新创建Connection了。连接池让Java程序能够复用连接、管理连接。

为什么使用连接池

避免每次创建和销毁连接带来的系统开销：每次创建和销毁连接都要消耗大概0.05~1s的时间。
提高系统并发能力：可以防止大量用户并发访问数据库服务器。
提高业务响应速度：因为连接在初始化过程中，往往已经创建了若干数据库连接置于池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言，直接利用现有可用连接，避免了数据库连接初始化和释放过程的时间开销，从而缩减了系统整体响应时间。
避免数据库连接泄漏：在较为完备的数据库连接池实现中，可根据预先的连接占用超时设定，强制收回被占用连接。从而避免了常规数据库连接操作中可能出现的资源泄漏。

连接池的基本原理

连接池不是线程池，只不过原理类似

连接池维护着两个容器空闲池和活动池
空闲池用于存放未使用的连接，活动池用于存放正在使用的连接，活动池中的连接使用完之后要归还回空闲池
当Java程序需要连接时，先判断空闲池中是否有连接，如果空闲池中有连接则取出一个连接放置到活动池供Java程序使用
Java程序需要连接时，如果空闲池中没有连接了，则先判断活动池的连接数是否已经达到了最大连接数，如果未达到最大连接数，则会新创建一个连接放置到活动池，供Java程序使用
如果空闲池中没有连接了，活动池中的连接也已经达到了最大连接数，则不能新创建连接了，那么此时会判断是否等待超时，如果没有等待超时则需要等待活动池中的连接归还回空闲池
如果等待超时了，则可以采取多种处理方式，例如直接抛出超时异常，或者将活动池中使用最久的连接移除掉归还回空闲池以供Java程序使用

DataSource

在原生JDBC中，获取java.sql.Connection对象的方式如下

String url = "jdbc:mysql://ip:port/databasename?serverTimezone=Asia/Shanghai&characterEncoding=utf-8";
String user = "username";
String passWord = "password";
Connection conn = DriverManager.getConnection(url,user,passWord);

我们在执行业务逻辑的时候，就要先获取连接、使用、再销毁连接，单单获取连接这一项，DriverManager 形式创建数据库连接需要 300~500 ms 左右，而一般系统的性能要求，单次请求需要稳定在 200 ms。

上面代码的核心就是获取Connection对象，池化思想，可以完美解决这个问题，类似于线程池，提前创建好连接放在池子里面，用完了也不销毁，可以重复利用。所以sun 公司在 jdbc 2.0 版本推出了java.sql.DataSource接口，用来进行规范约束，对于Connection的使用者，不用再关心Connetion是怎么创建的。接口的声明十分的简单，就是获取Connection的两个方法：

public interface DataSource  extends CommonDataSource, Wrapper {

  Connection getConnection() throws SQLException;

  Connection getConnection(String username, String password)
    throws SQLException;
}

常见的数据库连接池

DBCP 是Apache提供的数据库连接池，速度相对c3p0较快，但因自身存在BUG，Hibernate3已不再提供支持
C3P0 是一个开源组织提供的一个数据库连接池，速度相对较慢，稳定性还可以
Proxool 是sourceforge下的一个开源项目数据库连接池，有监控连接池状态的功能，稳定性较c3p0差一点
HikariCP 俗称光连接池,是目前速度最快的连接池
Druid 是阿里提供的数据库连接池，据说是集DBCP 、C3P0 、Proxool 优点于一身的数据库连接池

Druid

https://github.com/alibaba/druid

Druid是目前最好的数据库连接池，在功能、扩展性方面，都超过其他数据库连接池。Druid已经在阿里巴巴部署了超过600个应用，经过一年多生产环境大规模部署的严苛考验。Druid是阿里巴巴开发的号称为监控而生的数据库连接池！

Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。
可以监控数据库访问性能，Druid内置提供了一个功能强大的StatFilter插件，能够详细统计SQL的执行性能，这对于线上分析数据库访问性能有帮助。
数据库密码加密。直接把数据库密码写在配置文件中，这是不好的行为，容易导致安全问题。DruidDruiver和DruidDataSource都支持PasswordCallback。
SQL执行日志，Druid提供了不同的LogFilter，能够支持Common-Logging、Log4j和JdkLog，你可以按需要选择相应的LogFilter，监控你应用的数据库访问情况。
扩展JDBC，如果你要对JDBC层有编程的需求，可以通过Druid提供的Filter机制，很方便编写JDBC层的扩展插件。

配置	缺省值	说明
name		配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。如果没有配置，将会生成一个名字，格式是：`"DataSource-" + System.identityHashCode(this)`. 另外配置此属性至少在1.0.5版本中是不起作用的，强行设置name会出错。
url		连接数据库的url，不同数据库不一样。例如： mysql : `jdbc:mysql://10.20.153.104:3306/druid2` oracle : `jdbc:oracle:thin:@10.20.149.85:1521:ocnauto`
username		连接数据库的用户名
password		连接数据库的密码。如果你不希望密码直接写在配置文件中，可以使用ConfigFilter。详细看这里
driverClassName	根据url自动识别	这一项可配可不配，如果不配置druid会根据url自动识别dbType，然后选择相应的driverClassName
initialSize	0	初始化时建立物理连接的个数。初始化发生在显示调用init方法，或者第一次getConnection时
maxActive	8	最大连接池数量
maxIdle	8	最大连接池数量，已经不再使用，配置了也没效果
minIdle		最小连接池数量
maxWait		获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁，并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
poolPreparedStatements	false	是否缓存preparedStatement，也就是PSCache。PSCache对支持游标的数据库性能提升巨大，比如说oracle。在mysql下建议关闭。
maxPoolPreparedStatementPerConnectionSize	-1	要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。在Druid中，不会存在Oracle下PSCache占用内存过多的问题，可以把这个数值配置大一些，比如说100
validationQuery		用来检测连接是否有效的sql，要求是一个查询语句，常用`select 'x'`。如果validationQuery为null，testOnBorrow、testOnReturn、testWhileIdle都不会起作用。
validationQueryTimeout		单位：秒，检测连接是否有效的超时时间。底层调用jdbc Statement对象的`void setQueryTimeout(int seconds)`方法
testOnBorrow	true	申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。
testOnReturn	false	归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。
testWhileIdle	false	建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。
keepAlive	false （1.0.28）	连接池中的minIdle数量以内的连接，空闲时间超过minEvictableIdleTimeMillis，则会执行keepAlive操作。
timeBetweenEvictionRunsMillis	1分钟（1.0.14）	有两个含义： 1) Destroy线程会检测连接的间隔时间，如果连接空闲时间大于等于minEvictableIdleTimeMillis则关闭物理连接。 2) testWhileIdle的判断依据，详细看testWhileIdle属性的说明
numTestsPerEvictionRun	30分钟（1.0.14）	不再使用，一个DruidDataSource只支持一个EvictionRun
minEvictableIdleTimeMillis		连接保持空闲而不被驱逐的最小时间
connectionInitSqls		物理连接初始化的时候执行的sql
exceptionSorter	根据dbType自动识别	当数据库抛出一些不可恢复的异常时，抛弃连接
filters		属性类型是字符串，通过别名的方式配置扩展插件，常用的插件有：监控统计用的`filter:stat` 日志用的`filter:log4j` 防御sql注入的`filter:wall`
proxyFilters		类型是`List<com.alibaba.druid.filter.Filter>`，如果同时配置了filters和proxyFilters，是组合关系，并非替换关系

替换原生JDBC

项目导入druid.jar、mysql-connector.jar，或maven依赖

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.1.23</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.31</version>
</dependency>

classpath下创建druid.properties，按照配置列表按需配置

driverClassName=com.mysql.jdbc.Driver
url=jdbc:mysql://localhost:3306/test
username=root
password=123456
initialSize=5
maxActive=10
maxWait=1000

public static void main(String[] args) throws Exception{
    // 读取druid.properties
    Properties properties = new Properties();
    InputStream resourceAsStream = Start.class.getClassLoader().getResourceAsStream("druid.properties");
    properties.load(resourceAsStream);
    resourceAsStream.close();
    // 配置并初始化DuridDataSource
    DataSource dataSource = DruidDataSourceFactory.createDataSource(properties);
    // 从DataSource中获取Connection
    Connection connection = dataSource.getConnection();
    // 执行SQL
    PreparedStatement preparedStatement = connection.prepareStatement("show tables; ");
    ResultSet resultSet = preparedStatement.executeQuery();
    // 关闭连接，这里的close方法就是将该连接放到空闲连接池中（底层使用动态代理技术用反射实现）
    connection.close();
}

数据库密码加密

数据库密码直接写在配置中，对运维安全来说，是一个很大的挑战。Druid为此提供一种数据库密码加密的手段ConfigFilter。

在使用的时候只需要找到项目使用的druid.jar，并执行如下命令

java -cp druid-1.0.16.jar com.alibaba.druid.filter.config.ConfigTools you_password

即可生成密码对应的公钥、私钥、密码

privateKey:MIIBUwIBADANBgkqhkiG9w0BAQEFAASCAT0wggE5AgEAAkEAoE/XdJcMCdI/WJWs2XyZxKjBz0uT+fVIJTBf7Y2jODzkvvKdFzAM0hs/xTaV4rOKzDBAW8pbdrEw3S4RqV/cyQIDAQABAkA//3/A4KgCp7d4MtB9RnvQgZpVmhNp/xydFBHHsPqO8UP6d9Q+wreNImhugGRzC+Q5XIFJoqm6e1M9fEc0d8hxAiEA8lSXhHnj+HdwIK/dgNOD0yEY8Hh26z/NoK7URXvgs9UCIQCpWtlLLTPocP9ufO6EMN9GHPWlXeGUJxD8rUi3YLDjJQIgIzOGjwflxcIT16u0UXJoQ9Ma/FODcsjh5eV/kFheW8ECIHUHerEgg4ZUz66iVpCy1Re2W2ny/jdK58o0VNOj1ZihAiAGFExeGXs76jltOo26RYhMJfxhn5SlcXN0i6Ggit3njA==
publicKey:MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAKBP13SXDAnSP1iVrNl8mcSowc9Lk/n1SCUwX+2Nozg85L7ynRcwDNIbP8U2leKziswwQFvKW3axMN0uEalf3MkCAwEAAQ==
password:m66ZbdyyBlOvcbJsvohajIqd1Q+C1J8n6MeZFUVs+xWSO6OJ5A+YftPj/JdxgnYMV7P41VBc3lXTPd/6hVMiDA==

在配置druid的时候需要额外添加修改三个配置，如下

filters = config
connectionProperties = config.decrypt=true;config.decrypt.key=${publickey}
password = ${password}

mybatis的数据库连接池

在mybatis的配置文件中，声明过如下配置

<dataSource type="POOLED">
    <property name="driver" value="com.mysql.jdbc.Driver"/>
    <property name="url" value="jdbc:mysql://localhost:3306/test"/>
    <property name="username" value="root"/>
    <property name="password" value="123456"/>
</dataSource>

type属性有三个值，分别为UNPOOLED，POOLED和JNDI。
- UNPOOLED：每次请求时打开和关闭连接
- POOLED：使用mybatis默认的数据库连接池
- JNDI：使用容器的数据源，例如weblogic

其中POOLED，使用的就是mybatis默认的数据库连接池PooledDataSource，如下，是mybatis源码中设置PooledDataSource连接池的方法

public class PooledDataSourceFactory extends UnpooledDataSourceFactory {
    public PooledDataSourceFactory() {
    	this.dataSource = new PooledDataSource();
    }
}

由此可得，如果需要配置第三方数据库连接池，只需要以下操作即可：

声明一个自定义类继承UnpooledDataSourceFactory
第三方DataSource实例赋值给this.dataSource
修改mybatis配置文件中<dataSource type="POOLED">的POOLED为自定义类的全类名
按照自定义第三方DataSource的配置列表设置property即可

例如使用druid的DruidDataSource替代mybatis默认的PooledDataSource

自定义类继承UnpooledDataSourceFactory

public class DruidDSFactory extends UnpooledDataSourceFactory {
    public DruidDSFactory(){
        this.dataSource = new DruidDataSource();
    }
}

修改mybatis配置文件

<dataSource type="top.ygang.config.DruidDSFactory">
    <property name="driverClassName" value="com.mysql.cj.jdbc.Driver"/>
    <property name="url" value="jdbc:mysql://localhost:3306/test"/>
    <property name="username" value="root"/>
    <property name="password" value="123456"/>
    <property name="initialSize" value="5"/>
    <property name="maxActive" value="10"/>
    <property name="maxWait" value="1000"/>
</dataSource>