diff --git a/notes/MySQL_Mycat中间件.md b/notes/MySQL_Mycat中间件.md index afb7d1c..9d20e8e 100644 --- a/notes/MySQL_Mycat中间件.md +++ b/notes/MySQL_Mycat中间件.md @@ -1,5 +1,18 @@ # Mycat 基础 + + ## 一、Mycat 简介 Mycat 是一个开源的数据库中间件，可以解决分布式数据库环境下的大多数问题，如读写分离、分库分表等，除此之外，它还具备以下特性： @@ -18,11 +31,11 @@ Mycat 是一个开源的数据库中间件，可以解决分布式数据库环 在引入 Mycat 后，所有的客户端请求需要经过中间件进行转发上，此时客户端直接面向的是 Mycat 上的逻辑库或逻辑表： -#### 逻辑库 +### 逻辑库 在 Mycat 的配置文件中进行定义，它对应一个或者多个实际的数据库或数据库集群。 -#### 逻辑表 +### 逻辑表 可以对应一张实际的表，也可以表示为多个分片表的集合。按其特性可以分为以下四类： @@ -31,7 +44,7 @@ Mycat 是一个开源的数据库中间件，可以解决分布式数据库环 + **ER 表**：基于实体关系模型进行分片的表，如订单表和订单明细表通常都是大表，此时可以按照订单号进行 ER 分片，从而保证同一单号的订单记录和明细记录都处于同一分片上，进而避免跨分片查询。 + **全局表**。同样也是用于解决跨分片查询的问题。假设在查询订单明细时需要查询产品所属分类 （如家电产品、生活用品），产品类别表通常是小表，此时可以声明为全局表，之后 Mycat 会将其拷贝到所有分片上，从而避免跨分片查询。 -#### 分片节点 +### 分片节点 将表按照分片键进行分片后，一个表中的所有数据就会被分发到不同的数据库上，这些数据库节点就称为分片节点。 @@ -182,10 +195,61 @@ Mycat 内置支持十几种分片算法，如 取模分片，枚举分片，范 ## 五、Mycat 读写分离 +Mycat 读写分离的配置非常简单，只需要通过配置 balance，writeHost 和 readHost 就可以实现，示例如下： +```xml + + select user() + + + + + + +``` + +但是需要注意的是如上的配置还是会存在单点问题，因为只有一个 writeHost ，Mycat 支持配置多个 writeHost，示例如下： + +```xml + + + + + + +``` + +以上是 Mycat 官方指南中给出的配置，即在一主三从的复制架构下，可以选择其中一个 Slave 为备用的写入节点，此时当 Master 节点宕机后，会继续在该备用节点执行写入操作。这个配置和架构存在以下两个问题： + ++ 第一 Mycat 并不能让 Slave 1 和 Slave 2 自动将自己的复制主节点变更为 Slave 3，这个过程仍需要你自己来实现。 ++ 第二你很难确定哪个节点该作为备用的主节点，在上面的配置中我们设置 Slave 3 为备用节点，但在主节点宕机后，可能 Slave 1 和 Slave 2 的复制偏移量都要大于 Slave 3，显然它们更适合成为新的主节点。 + +基于以上两个原因，如果想要实现高可用，并不建议配置多个 writeHost ，而是配置一个 writeHost ，但其指向的是虚拟的读 IP 地址，此时复制架构由 MMM 或者 MHA 架构来实现，并由它们来提供虚拟机的读 IP。 ## 六、Mycat 分库分表 +综合以上全部内容，这里给出一个分库分表的示例，其架构如下： + +
+ +如上图所示，这里模拟的是一个电商数据库，并对其执行分库分表操作： + +- 将用户相关表，订单相关表，商品相关表分表拆分到单独的数据库中； +- 将订单表和订单明细表进行横向分表，拆分到不同的数据库中。同时为了避免订单表关联订单明细表时出现跨分片查询的情况，需要将其配置为 ER 表； +- 由于地址表，在查询用户信息（如家庭地址），订单信息（收货地址），商品信息（商品产地）的时候都需要用到，所以会将其声明为全局表，它会存在于以上所有分片上，从而避免跨分片查询。 + +为节省篇幅，以上所有测试表和测试库的建立语句单独整理至：[ec_shop.sql](https://github.com/heibaiying/Full-Stack-Notes/blob/master/resources/ec_shop.sql) 。分库分表的具体操作如下： + +### 6.1 server.xml + +这里新增一个 Mycat 用户，并定义其管理的逻辑数据库为 ec_shop，另外使用 fakeMySQLVersion 来定义你所需要模拟的 MySQL 数据库的版本。如果没有特殊需求， Mycat 自带的 server.xml 中的其他配置可不做更改。 + ```xml 5.7.20 @@ -200,7 +264,9 @@ Mycat 内置支持十几种分片算法，如 取模分片，枚举分片，范 ``` +### 6.2 schema.xml +这里使用 childTable 来将订单表和订单明细表定义为 ER 表，避免跨分片查询。并将地址表 area_info 使用 `type="global"` 声明为全局，同样也是为了避免跨分片查询。 ```xml @@ -250,7 +316,9 @@ Mycat 内置支持十几种分片算法，如 取模分片，枚举分片，范 ``` +### 6.3 rule.xml +定义订单表所使用的分片规则，这里使用取模算法作为示例： ```xml @@ -273,15 +341,42 @@ Mycat 内置支持十几种分片算法，如 取模分片，枚举分片，范 ## 七、Mycat 与 MySQL 8.0 +这里我后端使用的数据库是 MySQL 8.0.17 ，相比于使用 MySQL 5.6 或 5.7 来整合 Mycat ，多了一些注意事项，主要如下： + +### 7.1 密码错误 + +即便你在 server.xml 中正确的配置了用户名和密码，但在使用 mysql shell 连接 Mycat 时，还是会抛出密码错误的异常： + ```shell +Access denied for user 'xxx', because password is error +``` + +这是由于从 MySQL 8.0.4 开始使用 caching_sha2_password 作为认证的插件，而之前版本的插件为 mysql_native_password，我在测试中使用的 Mycat 版本为 1.6.7，它并不支持 caching_sha2_password 。因此在登录时候需要通过 `--default_auth` 来指定使用原有的认证插件。 + +```shell +# 1.6.7 版本 Mycat 默认的连接端口号为 8066 mysql -uheibaiying -p -h127.0.0.1 -P8066 --default_auth=mysql_native_password ``` +### 7.2 数据库连接失败 + +Mycat 和 MySQL 都正常启动，但是在 Mycat 上执行 SQL 语句失败，提示无效的数据库。此时可以查看 Mycat logs 目录下的 mycat.log 文件，通常会出现下面所示的异常： + +```shell +(io.mycat.backend.mysql.nio.MySQLConnectionAuthenticator.handle(MySQLConnectionAuthenticator.java:91) +- can't connect to mysql server ,errmsg:Client does not support authentication protocol requested by +server; consider upgrading MySQL client MySQLConnection +``` + +这和上面是同样的原因，都是因为认证插件而导致的问题。此时需要修改账户所使用的认证插件： + ```sql ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'xxxx'; FLUSH PRIVILEGES; ``` +修改后可以使用如下命令进行查看： + ```sql mysql> SELECT Host,User,plugin FROM mysql.user; +---------------+------------------+-----------------------+ @@ -296,11 +391,13 @@ mysql> SELECT Host,User,plugin FROM mysql.user; +---------------+------------------+-----------------------+ ``` +之后再重启 Mycat 服务就可以正常连接。 + ## 参考资料 -[Mycat 官方指南](http://www.mycat.io/document/mycat-definitive-guide.pdf) +Mycat 官方指南：http://www.mycat.io/document/mycat-definitive-guide.pdf diff --git a/notes/MySQL_PXC集群.md b/notes/MySQL_PXC集群.md index b6d68ae..f0cf452 100644 --- a/notes/MySQL_PXC集群.md +++ b/notes/MySQL_PXC集群.md @@ -1,5 +1,16 @@ # PXC 集群搭建 + + ## 一、PXC 集群 Percona XtraDB Cluster (简称 PXC) 是 Percona 公司开源的实现 MySQL 高可用的解决方案。它将 Percona Server 和 Percona XtraBackup 与 Galera 库集成，以实现多主同步复制。和 MySQL 传统的异步复制相比，它能够保证数据的强一致性，在任何时刻集群中任意节点上的数据状态都是完全一致的，并且整个架构实现了去中心化，所有节点都是对等的，即允许你在任意节点上进行写入和读取，集群会把数据状态同步至其他所有节点。但目前 PXC 集群只支持 InnoDB 存储引擎，并具有以下限制： @@ -13,9 +24,7 @@ Percona XtraDB Cluster (简称 PXC) 是 Percona 公司开源的实现 MySQL 高 + 允许的最大事务大小由 wsrep_max_ws_rows 和 wsrep_max_ws_size 参数共同定义，因此超大型事务会被拆分为一系列小型事务，如加载大数据集 LOAD DATA INFILELOAD DATA。 + 由于在集群级别采用乐观锁进行并发控制，所以事务在 COMMIT 阶段仍然有被中止的可能。如两个事务在不同的集群节点上提交对相同的行的写入，此时只有其中一个可以成功提交，另一个将被中止。 - - -![pxc-cluster](D:\Full-Stack-Notes\pictures\pxc-cluster.png) +
虽然 PXC 集群存在以上限制，但就目前而言，它仍然是解决数据一致性和高可用性的最好方案，其搭建步骤如下： @@ -109,6 +118,8 @@ sudo systemctl stop mysql 以上安装过程在三台主机上均相同执行，之后就可以开始集群的搭建。首先需要修改每个服务器上的 `/etc/my.cnf` 文件，第一个节点上需要增加的内容如下： ```properties +[mysqld] + # PXC集群中每个MySQL实例的唯一标识，不能重复 server-id=1 @@ -180,7 +191,26 @@ sudo systemctl start mysql 启动后，可以登录任意节点并使用以下命令查看集群状态。输出中的 wsrep_cluster_size 的值应该为 3 ，即集群中节点总数为 3，此时代表所有节点都已成功加入集群，至此集群已经搭建完成。 ```shell -show status like 'wsrep%'; +mysql> show status like 'wsrep%'; ++----------------------------------+----------------------------------------------------------+ +| Variable_name | Value | ++----------------------------------+----------------------------------------------------------+ +| wsrep_local_state_uuid | 8bcc22cf-bfab-11e9-8a49-6e46c7af709e | +....... +| wsrep_incoming_addresses | 192.168.0.227:3306,192.168.0.228:3306,192.168.0.226:3306 | +| wsrep_gcomm_uuid | c8afc276-c623-11e9-a9ea-677d72419479 | +| wsrep_cluster_conf_id | 3 | +| wsrep_cluster_size | 3 | +| wsrep_cluster_state_uuid | 8bcc22cf-bfab-11e9-8a49-6e46c7af709e | +| wsrep_cluster_status | Primary | +| wsrep_connected | ON | +| wsrep_local_bf_aborts | 0 | +| wsrep_local_index | 2 | +| wsrep_provider_name | Galera | +| wsrep_provider_vendor | Codership Oy | +| wsrep_provider_version | 3.37(rff05089) | +| wsrep_ready | ON | ++----------------------------------+----------------------------------------------------------+ ``` ### 2.6 节点下线 diff --git a/pictures/mysql-mycat-分库分表实战.png b/pictures/mysql-mycat-分库分表实战.png new file mode 100644 index 0000000..999200b Binary files /dev/null and b/pictures/mysql-mycat-分库分表实战.png differ