久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录

發布時間:2024/1/8 数据库 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

ProxySQL+MGR實現讀寫分離和主節點故障無感知切換 - 完整操作記錄

??

前面的文章介紹了ProxySQL用法,這里說下ProxySQL中間件針對Mysql組復制模式實現讀寫分離以及主節點故障時能夠自動切換到新的主節點,而應用對此過程無感知的功能。Mysql組復制(MGR)組復制能夠完成主節點故障后推選出來新的主節點,不過在應用層不可能通過修改新的主節點的IP來連接新的主節點,但是通過MGR+ProxySQL可以實際主節點故障時應用無感應自動切換到新的主節點

根據上圖,描述下實現思路:三個節點使multi-primary的方式連接,應用通過連接ProxySQL中間件,根據sql的屬性(是否為select語句)來決定連接哪一個節點,一個可寫節點,兩個只讀節點(其實三個都是可寫節點,只不過通過proxysql進行了讀寫分離)。如果默認的可寫節點掛掉的話,proxysql通過定期運行的調度器會將另一個只讀節點的其中一臺設為可寫節點,實際主節點故障應用無感應的要求。上述的整個過程中,應用無需任何變動。應用從意識發生了故障,到連接重新指向新的主,正常提供服務,秒級別的間隔。

一、環境準備

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 172.16.60.211?????? MGR-node1 (master1)???? Centos7.5 172.16.60.212?????? MGR-node2 (master2)???? Centos7.5 172.16.60.213?????? MGR-node3 (master3)???? Centos7.5 172.16.60.214?????? ProxySQL-node?????????? Centos7.5 [root@MGR-node1 ~] # cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) ???? 為了方便實驗,關閉所有節點的防火墻 [root@MGR-node1 ~] # systemctl stop firewalld [root@MGR-node1 ~] # firewall-cmd --state not running ???? [root@MGR-node1 ~] # cat /etc/sysconfig/selinux |grep "SELINUX=disabled" SELINUX=disabled [root@MGR-node1 ~] # setenforce 0??????????? setenforce: SELinux is disabled [root@MGR-node1 ~] # getenforce????????????? Disabled ?? 特別要注意一個關鍵點: 必須設置好各個mysql節點的主機名,并且保證能通過主機名找到各成員! 則必須要在每個節點的 /etc/hosts 里面做主機名綁定,否則后續將節點加入group組會失敗!報錯RECOVERING!! [root@MGR-node1 ~] # cat /etc/hosts ........ 172.16.60.211??? MGR-node1 172.16.60.212??? MGR-node2 172.16.60.213??? MGR-node3

二、在三個節點上安裝Mysql5.7

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 在三個mysql節點機上使用yum方式安裝Mysql5.7,參考:https: //www .cnblogs.com /kevingrace/p/8340690 .html ???? 安裝MySQL yum資源庫 [root@MGR-node1 ~] # yum localinstall https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm ???? 安裝MySQL 5.7 [root@MGR-node1 ~] # yum install -y mysql-community-server ???? 啟動MySQL服務器和MySQL的自動啟動 [root@MGR-node1 ~] # systemctl start mysqld.service [root@MGR-node1 ~] # systemctl enable mysqld.service ???? 設置登錄密碼 由于MySQL從5.7開始不允許首次安裝后使用空密碼進行登錄!為了加強安全性,系統會隨機生成一個密碼以供管理員首次登錄使用, 這個密碼記錄在 /var/log/mysqld .log文件中,使用下面的命令可以查看此密碼: [root@MGR-node1 ~] # cat /var/log/mysqld.log|grep 'A temporary password' 2019-01-11T05:53:17.824073Z 1 [Note] A temporary password is generated for root@localhost: TaN.k:*Qw2xs ???? 使用上面查看的密碼TaN.k:*Qw2xs 登錄mysql,并重置密碼為123456 [root@MGR-node1 ~] # mysql -p???????????????? #輸入默認的密碼:TaN.k:*Qw2xs ............. mysql> set global validate_password_policy=0; Query OK, 0 rows affected (0.00 sec) ???? mysql> set global validate_password_length=1; Query OK, 0 rows affected (0.00 sec) ???? mysql> set password=password( "123456" ); Query OK, 0 rows affected, 1 warning (0.00 sec) ???? mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) ???? 查看mysql版本 [root@MGR-node1 ~] # mysql -p123456 ........ mysql> select version(); +-----------+ | version() | +-----------+ | 5.7.24??? | +-----------+ 1 row in set (0.00 sec) ??? ===================================================================== 溫馨提示 mysql5.7通過上面默認安裝后,執行語句可能會報錯: ERROR 1819 (HY000): Your password does not satisfy the current policy requirements ??? 這個報錯與Mysql 密碼安全策略validate_password_policy的值有關,validate_password_policy可以取0、1、2三個值: 解決辦法: set global validate_password_policy=0; set global validate_password_length=1;

三、MGR組復制環境部署 (多寫模式)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 可以參考:https: //www .cnblogs.com /kevingrace/p/10260685 .html 由于之前做了其他測試,這里需要將三個節點的mysql環境抹干凈: # systemctl? stop? mysqld # rm -rf /var/lib/mysql # systemctl start mysqld 然后重啟密碼 # cat /var/log/mysqld.log|grep 'A temporary password' # mysql -p123456 mysql> set global validate_password_policy=0; mysql> set global validate_password_length=1; mysql> set password=password( "123456" ); mysql> flush privileges; ======================================================= 1) MGR-node1節點操作 [root@MGR-node1 ~] # mysql -p123456 ......... mysql> select uuid(); +--------------------------------------+ | uuid()?????????????????????????????? | +--------------------------------------+ | ae09faae-34bb-11e9-9f91-005056ac6820 | +--------------------------------------+ 1 row in set (0.00 sec) [root@MGR-node1 ~] # cp /etc/my.cnf /etc/my.cnf.bak [root@MGR-node1 ~] # >/etc/my.cnf [root@MGR-node1 ~] # vim /etc/my.cnf [mysqld] datadir = /var/lib/mysql socket = /var/lib/mysql/mysql .sock ???????? symbolic-links = 0 ???????? log-error = /var/log/mysqld .log pid- file = /var/run/mysqld/mysqld .pid ???? #GTID: server_id = 1 gtid_mode = on enforce_gtid_consistency = on ???? master_info_repository=TABLE relay_log_info_repository=TABLE binlog_checksum=NONE ???????? #binlog log_bin = mysql-bin log-slave-updates = 1 binlog_format = row sync -master-info = 1 sync_binlog = 1 ??????? #relay log skip_slave_start = 1 ???? transaction_write_set_extraction=XXHASH64????? loose-group_replication_group_name= "5db40c3c-180c-11e9-afbf-005056ac6820"???? loose-group_replication_start_on_boot=off??? loose-group_replication_local_address= "172.16.60.211:24901" loose-group_replication_group_seeds= "172.16.60.211:24901,172.16.60.212:24901,172.16.60.213:24901" loose-group_replication_bootstrap_group=off loose-group_replication_single_primary_mode=off????? loose-group_replication_enforce_update_everywhere_checks=on??? loose-group_replication_ip_whitelist= "172.16.60.0/24,127.0.0.1/8"?? 重啟mysql服務 [root@MGR-node1 ~] # systemctl restart mysqld 登錄mysql進行相關設置操作 [root@MGR-node1 ~] # mysql -p123456 ............ mysql> SET SQL_LOG_BIN=0;? Query OK, 0 rows affected (0.00 sec) mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_slave@ '%' IDENTIFIED BY 'slave@123' ; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.01 sec) mysql> reset master; Query OK, 0 rows affected (0.19 sec) mysql> SET SQL_LOG_BIN=1; Query OK, 0 rows affected (0.00 sec) mysql> CHANGE MASTER TO MASTER_USER= 'rpl_slave' , MASTER_PASSWORD= 'slave@123' FOR CHANNEL 'group_replication_recovery' ; Query OK, 0 rows affected, 2 warnings (0.33 sec) mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so' ; Query OK, 0 rows affected (0.03 sec) mysql> SHOW PLUGINS; +----------------------------+----------+--------------------+----------------------+---------+ | Name?????????????????????? | Status?? | Type?????????????? | Library????????????? | License | +----------------------------+----------+--------------------+----------------------+---------+ ............... ............... | group_replication????????? | ACTIVE?? | GROUP REPLICATION? | group_replication.so | GPL???? | +----------------------------+----------+--------------------+----------------------+---------+ 46 rows in set (0.00 sec) mysql> SET GLOBAL group_replication_bootstrap_group=ON; Query OK, 0 rows affected (0.00 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected (2.34 sec) mysql> SET GLOBAL group_replication_bootstrap_group=OFF; Query OK, 0 rows affected (0.00 sec) mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------+-------------+--------------+ | CHANNEL_NAME????????????? | MEMBER_ID??????????????????????????? | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | +---------------------------+--------------------------------------+-------------+-------------+--------------+ | group_replication_applier | 42ca8591-34bb-11e9-8296-005056ac6820 | MGR-node1?? |??????? 3306 | ONLINE?????? | +---------------------------+--------------------------------------+-------------+-------------+--------------+ 1 row in set (0.00 sec) 比如要保證上面的group_replication_applier的狀態為 "ONLINE" 才對! ?? 創建一個測試庫 mysql> CREATE DATABASE kevin CHARACTER SET utf8 COLLATE utf8_general_ci;????? Query OK, 1 row affected (0.03 sec) ?? mysql> use kevin; Database changed mysql> create table if not exists haha ( id int(10) PRIMARY KEY AUTO_INCREMENT,name varchar(50) NOT NULL); Query OK, 0 rows affected (0.24 sec) ?? mysql> insert into kevin.haha values(1, "wangshibo" ),(2, "guohuihui" ),(3, "yangyang" ),(4, "shikui" );????? Query OK, 4 rows affected (0.07 sec) Records: 4? Duplicates: 0? Warnings: 0 ?? mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | |? 3 | yangyang? | |? 4 | shikui??? | +----+-----------+ 4 rows in set (0.00 sec) ===================================================================== 2) MGR-node2節點操作 [root@MGR-node2 ~] # cp /etc/my.cnf /etc/my.cnf.bak [root@MGR-node2 ~] # >/etc/my.cnf [root@MGR-node2 ~] # vim /etc/my.cnf [mysqld] datadir = /var/lib/mysql socket = /var/lib/mysql/mysql .sock ?????? symbolic-links = 0 ?????? log-error = /var/log/mysqld .log pid- file = /var/run/mysqld/mysqld .pid ?? #GTID: server_id = 2 gtid_mode = on enforce_gtid_consistency = on ?? master_info_repository=TABLE relay_log_info_repository=TABLE binlog_checksum=NONE ?????? #binlog log_bin = mysql-bin log-slave-updates = 1 binlog_format = row sync -master-info = 1 sync_binlog = 1 ????? #relay log skip_slave_start = 1 ?? transaction_write_set_extraction=XXHASH64 loose-group_replication_group_name= "5db40c3c-180c-11e9-afbf-005056ac6820" loose-group_replication_start_on_boot=off loose-group_replication_local_address= "172.16.60.212:24901" loose-group_replication_group_seeds= "172.16.60.211:24901,172.16.60.212:24901,172.16.60.213:24901" loose-group_replication_bootstrap_group=off loose-group_replication_single_primary_mode=off loose-group_replication_enforce_update_everywhere_checks=on loose-group_replication_ip_whitelist= "172.16.60.0/24,127.0.0.1/8" 重啟mysql服務 [root@MGR-node2 ~] # systemctl restart mysqld 登錄mysql進行相關設置操作 [root@MGR-node2 ~] # mysql -p123456 ......... mysql> SET SQL_LOG_BIN=0; Query OK, 0 rows affected (0.00 sec) mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_slave@ '%' IDENTIFIED BY 'slave@123' ; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.00 sec) mysql> reset master; Query OK, 0 rows affected (0.17 sec) mysql> SET SQL_LOG_BIN=1; Query OK, 0 rows affected (0.00 sec) mysql> CHANGE MASTER TO MASTER_USER= 'rpl_slave' , MASTER_PASSWORD= 'slave@123' FOR CHANNEL 'group_replication_recovery' ; Query OK, 0 rows affected, 2 warnings (0.21 sec) mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so' ; Query OK, 0 rows affected (0.20 sec) mysql> SHOW PLUGINS; +----------------------------+----------+--------------------+----------------------+---------+ | Name?????????????????????? | Status?? | Type?????????????? | Library????????????? | License | +----------------------------+----------+--------------------+----------------------+---------+ ............. ............. | group_replication????????? | ACTIVE?? | GROUP REPLICATION? | group_replication.so | GPL???? | +----------------------------+----------+--------------------+----------------------+---------+ 46 rows in set (0.00 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected (6.25 sec) mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------+-------------+--------------+ | CHANNEL_NAME????????????? | MEMBER_ID??????????????????????????? | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | +---------------------------+--------------------------------------+-------------+-------------+--------------+ | group_replication_applier | 4281f7b7-34bb-11e9-8949-00505688047c | MGR-node2?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 42ca8591-34bb-11e9-8296-005056ac6820 | MGR-node1?? |??????? 3306 | ONLINE?????? | +---------------------------+--------------------------------------+-------------+-------------+--------------+ 2 rows in set (0.00 sec) 查看下,發現已經將MGR-node1節點添加的數據同步過來了 mysql> show databases; +--------------------+ | Database?????????? | +--------------------+ | information_schema | | kevin????????????? | | mysql????????????? | | performance_schema | | sys??????????????? | +--------------------+ 5 rows in set (0.00 sec) mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | |? 3 | yangyang? | |? 4 | shikui??? | +----+-----------+ 4 rows in set (0.00 sec) ===================================================================== 3) MGR-node3節點操作 [root@MGR-node3 ~] # cp /etc/my.cnf /etc/my.cnf.bak [root@MGR-node3 ~] # >/etc/my.cnf [root@MGR-node3 ~] # vim /etc/my.cnf [mysqld] datadir = /var/lib/mysql socket = /var/lib/mysql/mysql .sock ?????? symbolic-links = 0 ?????? log-error = /var/log/mysqld .log pid- file = /var/run/mysqld/mysqld .pid ?? #GTID: server_id = 3 gtid_mode = on enforce_gtid_consistency = on ?? master_info_repository=TABLE relay_log_info_repository=TABLE binlog_checksum=NONE ?????? #binlog log_bin = mysql-bin log-slave-updates = 1 binlog_format = row sync -master-info = 1 sync_binlog = 1 ????? #relay log skip_slave_start = 1 ?? transaction_write_set_extraction=XXHASH64 loose-group_replication_group_name= "5db40c3c-180c-11e9-afbf-005056ac6820" loose-group_replication_start_on_boot=off loose-group_replication_local_address= "172.16.60.213:24901" loose-group_replication_group_seeds= "172.16.60.211:24901,172.16.60.212:24901,172.16.60.213:24901" loose-group_replication_bootstrap_group=off loose-group_replication_single_primary_mode=off loose-group_replication_enforce_update_everywhere_checks=on loose-group_replication_ip_whitelist= "172.16.60.0/24,127.0.0.1/8" 重啟mysql服務 [root@MGR-node3 ~] # systemctl restart mysqld 登錄mysql進行相關設置操作 [root@MGR-node3 ~] # mysql -p123456 .......... mysql> SET SQL_LOG_BIN=0; Query OK, 0 rows affected (0.00 sec) mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_slave@ '%' IDENTIFIED BY 'slave@123' ; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.01 sec) mysql> reset master; Query OK, 0 rows affected (0.10 sec) mysql> SET SQL_LOG_BIN=1; Query OK, 0 rows affected (0.00 sec) mysql> CHANGE MASTER TO MASTER_USER= 'rpl_slave' , MASTER_PASSWORD= 'slave@123' FOR CHANNEL 'group_replication_recovery' ; Query OK, 0 rows affected, 2 warnings (0.27 sec) mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so' ; Query OK, 0 rows affected (0.04 sec) mysql> SHOW PLUGINS; +----------------------------+----------+--------------------+----------------------+---------+ | Name?????????????????????? | Status?? | Type?????????????? | Library????????????? | License | +----------------------------+----------+--------------------+----------------------+---------+ ............. | group_replication????????? | ACTIVE?? | GROUP REPLICATION? | group_replication.so | GPL???? | +----------------------------+----------+--------------------+----------------------+---------+ 46 rows in set (0.00 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected (4.54 sec) mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------+-------------+--------------+ | CHANNEL_NAME????????????? | MEMBER_ID??????????????????????????? | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | +---------------------------+--------------------------------------+-------------+-------------+--------------+ | group_replication_applier | 4281f7b7-34bb-11e9-8949-00505688047c | MGR-node2?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 42ca8591-34bb-11e9-8296-005056ac6820 | MGR-node1?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 456216bd-34bb-11e9-bbd1-005056880888 | MGR-node3?? |??????? 3306 | ONLINE?????? | +---------------------------+--------------------------------------+-------------+-------------+--------------+ 3 rows in set (0.00 sec) 查看下,發現已經將在其他節點上添加的數據同步過來了 mysql> show databases; +--------------------+ | Database?????????? | +--------------------+ | information_schema | | kevin????????????? | | mysql????????????? | | performance_schema | | sys??????????????? | +--------------------+ 5 rows in set (0.00 sec) mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | |? 3 | yangyang? | |? 4 | shikui??? | +----+-----------+ 4 rows in set (0.00 sec) ===================================================================== 4) 組復制數據同步測試 在任意一個節點上執行 mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------+-------------+--------------+ | CHANNEL_NAME????????????? | MEMBER_ID??????????????????????????? | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | +---------------------------+--------------------------------------+-------------+-------------+--------------+ | group_replication_applier | 2658b203-1565-11e9-9f8b-005056880888 | MGR-node3?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 2c1efc46-1565-11e9-ab8e-00505688047c | MGR-node2?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 317e2aad-1565-11e9-9c2e-005056ac6820 | MGR-node1?? |??????? 3306 | ONLINE?????? | +---------------------------+--------------------------------------+-------------+-------------+--------------+ 3 rows in set (0.00 sec) ?? 如上,說明已經在MGR-node1、MGR-node2、MGR-node3 三個節點上成功部署了基于GTID的組復制同步環境。 現在在三個節點中的任意一個上面更新數據,那么其他兩個節點的數據庫都會將新數據同步過去的! ?? 1)在MGR-node1節點數據庫更新數據 mysql> delete from kevin.haha where id >2; Query OK, 2 rows affected (0.14 sec) ?? 接著在MGR-node2、MGR-node3節點數據庫查看,發現更新后數據已經同步過來了! mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | +----+-----------+ 2 rows in set (0.00 sec) ?? 2)在MGR-node2節點數據庫更新數據 mysql> insert into kevin.haha values(11, "beijing" ),(12, "shanghai" ),(13, "anhui" ); Query OK, 3 rows affected (0.06 sec) Records: 3? Duplicates: 0? Warnings: 0 ?? 接著在MGR-node1、MGR-node3節點數據庫查看,發現更新后數據已經同步過來了! mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | | 11 | beijing?? | | 12 | shanghai? | | 13 | anhui???? | +----+-----------+ 5 rows in set (0.00 sec) ?? 3)在MGR-node3節點數據庫更新數據 mysql> update kevin.haha set id =100 where name= "anhui" ; Query OK, 1 row affected (0.16 sec) Rows matched: 1? Changed: 1? Warnings: 0 ?? mysql> delete from kevin.haha where id =12; Query OK, 1 row affected (0.22 sec) ?? 接著在MGR-node1、MGR-node2節點數據庫查看,發現更新后數據已經同步過來了! mysql> select * from kevin.haha; +-----+-----------+ | id? | name????? | +-----+-----------+ |?? 1 | wangshibo | |?? 2 | guohuihui | |? 11 | beijing?? | | 100 | anhui???? | +-----+-----------+ 4 rows in set (0.00 sec)

四、ProxySQL讀寫分離和主節點故障無感知切換

1) 安裝mysql客戶端,用于在本機連接到ProxySQL的管理接口

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 [root@ProxySQL-node ~] # vim /etc/yum.repos.d/mariadb.repo [mariadb] name = MariaDB baseurl = http: //yum .mariadb.org /10 .3.5 /centos6-amd64 gpgkey=https: //yum .mariadb.org /RPM-GPG-KEY-MariaDB gpgcheck=1 ???? 安裝mysql-clinet客戶端 [root@ProxySQL-node ~] # yum install -y MariaDB-client ??? ============================================================================ 如果遇到報錯: Error: MariaDB-compat conflicts with 1:mariadb-libs-5.5.60-1.el7_5.x86_64 ? You could try using --skip-broken to work around the problem ? You could try running: rpm -Va --nofiles --nodigest ???? 解決辦法: [root@ProxySQL-node ~] # rpm -qa|grep mariadb mariadb-libs-5.5.60-1.el7_5.x86_64 ?? [root@ProxySQL-node ~] # rpm -e mariadb-libs-5.5.60-1.el7_5.x86_64 --nodeps [root@ProxySQL-node ~] # yum install -y MariaDB-client

2) 安裝proxysql

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 proxysql的rpm包下載地址: https: //pan .baidu.com /s/1S1_b5DKVCpZSOUNmtCXrrg 提取密碼: 5t1c ??? [root@ProxySQL-node ~] # yum install -y perl-DBI perl-DBD-MySQL [root@ProxySQL-node ~] # rpm -ivh proxysql-1.4.8-1-centos7.x86_64.rpm --force ??? 啟動proxysql [root@ProxySQL-node ~] # /etc/init.d/proxysql start Starting ProxySQL: DONE! [root@ProxySQL-node ~] # ss -lntup|grep proxy??? tcp??? LISTEN???? 0????? 128?????? *:6080????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=11)) tcp??? LISTEN???? 0????? 128?????? *:6032????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=28)) tcp??? LISTEN???? 0????? 128?????? *:6033????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=27)) tcp??? LISTEN???? 0????? 128?????? *:6033????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=26)) tcp??? LISTEN???? 0????? 128?????? *:6033????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=25)) tcp??? LISTEN???? 0????? 128?????? *:6033????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=24)) ??? [root@ProxySQL-node ~] # mysql -uadmin -padmin -h127.0.0.1 -P6032 ............ ............ MySQL [(none)]> show databases; +-----+---------------+-------------------------------------+ | seq | name????????? | file??????????????????????????????? | +-----+---------------+-------------------------------------+ | 0?? | main????????? |???????????????????????????????????? | | 2?? | disk????????? | /var/lib/proxysql/proxysql .db?????? | | 3?? | stats???????? |???????????????????????????????????? | | 4?? | monitor?????? |???????????????????????????????????? | | 5?? | stats_history | /var/lib/proxysql/proxysql_stats .db | +-----+---------------+-------------------------------------+ 5 rows in set (0.000 sec) 接著初始化Proxysql,將之前的proxysql數據都刪除 MySQL [(none)]> delete from scheduler ; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> delete from mysql_servers; Query OK, 3 rows affected (0.000 sec) ?? MySQL [(none)]> delete from mysql_users; Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> delete from mysql_query_rules; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> delete from mysql_group_replication_hostgroups ; Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> LOAD MYSQL VARIABLES TO RUNTIME; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> SAVE MYSQL VARIABLES TO DISK; Query OK, 94 rows affected (0.175 sec) ?? MySQL [(none)]> LOAD MYSQL SERVERS TO RUNTIME; Query OK, 0 rows affected (0.003 sec) ?? MySQL [(none)]> SAVE MYSQL SERVERS TO DISK; Query OK, 0 rows affected (0.140 sec) ?? MySQL [(none)]> LOAD MYSQL USERS TO RUNTIME; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> SAVE MYSQL USERS TO DISK; Query OK, 0 rows affected (0.050 sec) ?? MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> SAVE SCHEDULER TO DISK; Query OK, 0 rows affected (0.096 sec) ?? MySQL [(none)]> LOAD MYSQL QUERY RULES TO RUNTIME; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> SAVE MYSQL QUERY RULES TO DISK; Query OK, 0 rows affected (0.156 sec) ?? MySQL [(none)]>

3)在數據庫端建立proxysql登入需要的帳號 (在三個MGR任意一個節點上操作,會自動同步到其他節點)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 [root@MGR-node1 ~] # mysql -p123456 ......... mysql> CREATE USER 'proxysql' @ '%' IDENTIFIED BY 'proxysql' ;??? Query OK, 0 rows affected (0.07 sec) mysql> GRANT ALL ON * . * TO? 'proxysql' @ '%' ; Query OK, 0 rows affected (0.06 sec) mysql> create user 'sbuser' @ '%' IDENTIFIED BY 'sbpass' ;??? Query OK, 0 rows affected (0.05 sec) mysql> GRANT ALL ON * . * TO 'sbuser' @ '%' ;? Query OK, 0 rows affected (0.08 sec) mysql> FLUSH PRIVILEGES;??? Query OK, 0 rows affected (0.07 sec)

4) 創建檢查MGR節點狀態的函數和視圖 (在三個MGR任意一個節點上操作,會自動同步到其他節點)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 在MGR-node1節點上,創建系統視圖sys.gr_member_routing_candidate_status,該視圖將為ProxySQL提供組復制相關的監控狀態指標。 下載addition_to_sys.sql腳本,在MGR-node1節點執行如下語句導入MySQL即可 (在mgr-node1節點的mysql執行后,會同步到其他兩個節點上)。 ?? 下載地址: https: //pan .baidu.com /s/1bNYHtExy2fmqwvEyQS3sWg 提取密碼:wst7 [root@MGR-node1 ~] # vim /root/addition_to_sys.sql USE sys; ?? DELIMITER $$ ?? CREATE FUNCTION IFZERO(a INT, b INT) RETURNS INT DETERMINISTIC RETURN IF(a = 0, b, a)$$ ?? CREATE FUNCTION LOCATE2(needle TEXT(10000), haystack TEXT(10000), offset INT) RETURNS INT DETERMINISTIC RETURN IFZERO(LOCATE(needle, haystack, offset), LENGTH(haystack) + 1)$$ ?? CREATE FUNCTION GTID_NORMALIZE(g TEXT(10000)) RETURNS TEXT(10000) DETERMINISTIC RETURN GTID_SUBTRACT(g, '' )$$ ?? CREATE FUNCTION GTID_COUNT(gtid_set TEXT(10000)) RETURNS INT DETERMINISTIC BEGIN ?? DECLARE result BIGINT DEFAULT 0; ?? DECLARE colon_pos INT; ?? DECLARE next_dash_pos INT; ?? DECLARE next_colon_pos INT; ?? DECLARE next_comma_pos INT; ?? SET gtid_set = GTID_NORMALIZE(gtid_set); ?? SET colon_pos = LOCATE2( ':' , gtid_set, 1); ?? WHILE colon_pos != LENGTH(gtid_set) + 1 DO ????? SET next_dash_pos = LOCATE2( '-' , gtid_set, colon_pos + 1); ????? SET next_colon_pos = LOCATE2( ':' , gtid_set, colon_pos + 1); ????? SET next_comma_pos = LOCATE2( ',' , gtid_set, colon_pos + 1); ????? IF next_dash_pos < next_colon_pos AND next_dash_pos < next_comma_pos THEN ??????? SET result = result + ????????? SUBSTR(gtid_set, next_dash_pos + 1, ???????????????? LEAST(next_colon_pos, next_comma_pos) - (next_dash_pos + 1)) - ????????? SUBSTR(gtid_set, colon_pos + 1, next_dash_pos - (colon_pos + 1)) + 1; ????? ELSE ??????? SET result = result + 1; ????? END IF; ????? SET colon_pos = next_colon_pos; ?? END WHILE; ?? RETURN result; END$$ ?? CREATE FUNCTION gr_applier_queue_length() RETURNS INT DETERMINISTIC BEGIN ?? RETURN (SELECT sys.gtid_count( GTID_SUBTRACT( (SELECT Received_transaction_set FROM performance_schema.replication_connection_status WHERE Channel_name = 'group_replication_applier' ), (SELECT @@global.GTID_EXECUTED) ))); END$$ ?? CREATE FUNCTION gr_member_in_primary_partition() RETURNS VARCHAR(3) DETERMINISTIC BEGIN ?? RETURN (SELECT IF( MEMBER_STATE= 'ONLINE' AND ((SELECT COUNT(*) FROM performance_schema.replication_group_members WHERE MEMBER_STATE != 'ONLINE' ) >= ((SELECT COUNT(*) FROM performance_schema.replication_group_members) /2 ) = 0), 'YES' , 'NO' ) FROM performance_schema.replication_group_members JOIN performance_schema.replication_group_member_stats USING(member_id)); END$$ ?? CREATE VIEW gr_member_routing_candidate_status AS SELECT sys.gr_member_in_primary_partition() as viable_candidate, IF( (SELECT (SELECT GROUP_CONCAT(variable_value) FROM performance_schema.global_variables WHERE variable_name IN ( 'read_only' , 'super_read_only' )) != 'OFF,OFF' ), 'YES' , 'NO' ) as read_only, sys.gr_applier_queue_length() as transactions_behind, Count_Transactions_in_queue as 'transactions_to_cert' from performance_schema.replication_group_member_stats;$$ ?? DELIMITER ; 導入addition_to_sys.sql文件數據 [root@MGR-node1 ~] # mysql -p123456 < /root/addition_to_sys.sql mysql: [Warning] Using a password on the command line interface can be insecure. 在三個mysql節點上可以查看該視圖: [root@MGR-node1 ~] # mysql -p123456 ............ mysql> select * from sys.gr_member_routing_candidate_status; +------------------+-----------+---------------------+----------------------+ | viable_candidate | read_only | transactions_behind | transactions_to_cert | +------------------+-----------+---------------------+----------------------+ | YES????????????? | NO??????? |?????????????????? 0 |??????????????????? 0 | +------------------+-----------+---------------------+----------------------+ 1 row in set (0.01 sec)

5) 在proxysql中增加帳號

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h127.0.0.1 -P6032 ........... MySQL [(none)]> INSERT INTO MySQL_users(username,password,default_hostgroup) VALUES ( 'proxysql' , 'proxysql' ,1); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> UPDATE global_variables SET variable_value= 'proxysql' where variable_name= 'mysql-monitor_username' ;?? Query OK, 1 row affected (0.001 sec) ?? MySQL [(none)]> UPDATE global_variables SET variable_value= 'proxysql' where variable_name= 'mysql-monitor_password' ; Query OK, 1 row affected (0.002 sec) ?? MySQL [(none)]> LOAD MYSQL SERVERS TO RUNTIME; Query OK, 0 rows affected (0.006 sec) ?? MySQL [(none)]> SAVE MYSQL SERVERS TO DISK; Query OK, 0 rows affected (0.387 sec) ?? 測試一下能否正常登入數據庫 [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+ =================================================================== 如果上面測試登錄時報錯: [root@ProxySQL-node ~] #? mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" ERROR 1045 (28000): ProxySQL Error: Access denied for user 'proxysql' @ '127.0.0.1' (using password: YES) 但是檢查發現,明明用戶名和密碼已經修改成proxysql:proxysql了 MySQL [(none)]> select * from global_variables;?? .......... | mysql-interfaces??????????????????????????????????? | 0.0.0.0:6033?????? | | mysql-default_schema??????????????????????????????? | information_schema | | mysql-stacksize???????????????????????????????????? | 1048576??????????? | | mysql-server_version??????????????????????????????? | 5.5.30???????????? | | mysql-connect_timeout_server??????????????????????? | 3000?????????????? | | mysql-monitor_username????????????????????????????? | proxysql?????????? | | mysql-monitor_password????????????????????????????? | proxysql?????????? | 解決辦法: 依次執行下面的命令 MySQL [(none)]> LOAD MYSQL VARIABLES TO RUNTIME; MySQL [(none)]> SAVE MYSQL VARIABLES TO DISK; MySQL [(none)]> LOAD MYSQL SERVERS TO RUNTIME; MySQL [(none)]> SAVE MYSQL SERVERS TO DISK; MySQL [(none)]> LOAD MYSQL USERS TO RUNTIME; MySQL [(none)]> SAVE MYSQL USERS TO DISK; MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; MySQL [(none)]> SAVE SCHEDULER TO DISK; MySQL [(none)]> LOAD MYSQL QUERY RULES TO RUNTIME; MySQL [(none)]> SAVE MYSQL QUERY RULES TO DISK; ========================================================= 如果測試登錄再出現: [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" ERROR 9001 (HY000) at line 1: Max connect timeout reached while reaching hostgroup 1 after 10000ms 這是因為后端三個mysql的MGR節點還沒有加入到proxysql中的原因,再進行完下面的步驟 "配置proxysql" 后就可以了 [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+

6) 配置proxysql

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h127.0.0.1 -P6032? ............. MySQL [(none)]> delete from mysql_servers; Query OK, 3 rows affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(1, '172.16.60.211' ,3306); Query OK, 1 row affected (0.001 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(1, '172.16.60.212' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(1, '172.16.60.213' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(2, '172.16.60.211' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(2, '172.16.60.212' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(2, '172.16.60.213' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> select * from? mysql_servers ; +--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.001 sec) ?? hostgroup_id = 1代表write group,針對我們提出的限制,這個地方只配置了一個節點; hostgroup_id = 2代表 read group,包含了MGR的所有節點,目前只是Onlinle的,等配置過scheduler后,status就會有變化 。 ?? 對于上面的hostgroup配置,默認所有的寫操作會發送到hostgroup_id為1的online節點,也就是發送到寫節點上。 所有的讀操作,會發送為hostgroup_id為2的online節點。 ?? 需要確認一下沒有使用proxysql的讀寫分離規則(因為之前測試中配置了這個地方,所以需要刪除,以免影響后面的測試)。 MySQL [(none)]> delete from mysql_query_rules; Query OK, 2 rows affected (0.000 sec) ?? MySQL [(none)]> commit; Query OK, 0 rows affected (0.000 sec) ?? 最后需要將global_variables,mysql_servers、mysql_users表的信息加載到RUNTIME,更進一步加載到DISK: MySQL [(none)]> LOAD MYSQL VARIABLES TO RUNTIME; Query OK, 0 rows affected (0.001 sec) ?? MySQL [(none)]> SAVE MYSQL VARIABLES TO DISK; Query OK, 94 rows affected (0.080 sec) ?? MySQL [(none)]> LOAD MYSQL SERVERS TO RUNTIME; Query OK, 0 rows affected (0.003 sec) ?? MySQL [(none)]> SAVE MYSQL SERVERS TO DISK; Query OK, 0 rows affected (0.463 sec) ?? MySQL [(none)]> LOAD MYSQL USERS TO RUNTIME; Query OK, 0 rows affected (0.001 sec) ?? MySQL [(none)]> SAVE MYSQL USERS TO DISK; Query OK, 0 rows affected (0.134 sec) 再次驗證proxysql登錄 [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+

7)配置scheduler
首先,請在Github地址https://github.com/ZzzCrazyPig/proxysql_groupreplication_checker下載相應的腳本
這個地址有三個腳本可供下載:
proxysql_groupreplication_checker.sh用于multi-primary模式,可以實現讀寫分離,以及故障切換,同一時間點多個節點可以多寫;
gr_mw_mode_cheker.sh用于multi-primary模式,可以實現讀寫分離,以及故障切換,不過在同一時間點只能有一個節點能寫;
gr_sw_mode_checker.sh用于single-primary模式,可以實現讀寫分離,以及故障切換;
由于這里實驗的環境是multi-primary模式,所以選擇proxysql_groupreplication_checker.sh腳本。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 三個腳本我已打包放在了百度云盤上,下載地址:https: //pan .baidu.com /s/1lUzr58BSA_U7wmYwsRcvzQ 提取密碼:9rm7 將下載的腳本proxysql_groupreplication_checker.sh放到目錄 /var/lib/proxysql/ 下,并增加可以執行的權限: [root@ProxySQL-node ~] # chmod a+x /var/lib/proxysql/proxysql_groupreplication_checker.sh [root@ProxySQL-node ~] # ll /var/lib/proxysql/proxysql_groupreplication_checker.sh?????? -rwxr-xr-x 1 root root 6081 Feb 20 14:25 /var/lib/proxysql/proxysql_groupreplication_checker .sh 最后,在proxysql的scheduler表里面加載如下記錄,然后加載到RUNTIME使其生效,同時還可以持久化到磁盤: 執行語句" INSERT INTO scheduler( id ,interval_ms,filename,arg1,arg2,arg3,arg4, arg5) VALUES (1, '10000' , '/var/lib/proxysql/proxysql_groupreplication_checker.sh' , '1' , '2' , '1' , '0' , '/var/lib/proxysql/proxysql_groupreplication_checker.log' );" 如下: [root@ProxySQL-node ~] # mysql -uadmin -padmin -h127.0.0.1 -P6032 .............. MySQL [(none)]> INSERT INTO scheduler( id ,interval_ms,filename,arg1,arg2,arg3,arg4, arg5) VALUES (1, '10000' , '/var/lib/proxysql/proxysql_groupreplication_checker.sh' , '1' , '2' , '1' , '0' , '/var/lib/proxysql/proxysql_groupreplication_checker.log' ); Query OK, 1 row affected (0.000 sec) MySQL [(none)]> select * from scheduler; +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ | id | active | interval_ms | filename?????????????????????????????????????????????? | arg1 | arg2 | arg3 | arg4 | arg5??????????????????????????????????????????????????? | comment | +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ | 1? | 1????? | 10000?????? | /var/lib/proxysql/proxysql_groupreplication_checker .sh | 1??? | 2??? | 1??? | 0??? | /var/lib/proxysql/proxysql_groupreplication_checker .log |???????? | +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ 1 row in set (0.000 sec) MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; Query OK, 0 rows affected (0.001 sec) MySQL [(none)]> SAVE SCHEDULER TO DISK; Query OK, 0 rows affected (0.118 sec) ============================================================================== scheduler各column的說明: active : 1: enable scheduler to schedule the script we provide interval_ms : invoke one by one in cycle (eg: 5000(ms) = 5s represent every 5s invoke the script) filename: represent the script file path arg1~arg5: represent the input parameters the script received 腳本proxysql_groupreplication_checker.sh對應的參數說明如下: arg1 is the hostgroup_id for write arg2 is the hostgroup_id for read arg3 is the number of writers we want active at the same time arg4 represents if we want that the member acting for writes is also candidate for reads arg5 is the log file schedule信息加載后,就會分析當前的環境,mysql_servers中顯示出當前只有172.16.60.211是可以寫的, 172.16.60.212以及172.16.60.213是用來讀的。 MySQL [(none)]> select * from? mysql_servers ;????????????? // 上面操作后,稍等一會兒后執行此命令才會有下面的結果 +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) 因為schedule的arg4,我這里設為了0,就表示可寫的節點不能用于讀。那我將arg4設置為1試一下: MySQL [(none)]> update scheduler set arg4=1; Query OK, 1 row affected (0.000 sec) MySQL [(none)]> select * from scheduler; +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ | id | active | interval_ms | filename?????????????????????????????????????????????? | arg1 | arg2 | arg3 | arg4 | arg5??????????????????????????????????????????????????? | comment | +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ | 1? | 1????? | 10000?????? | /var/lib/proxysql/proxysql_groupreplication_checker .sh | 1??? | 2??? | 1??? | 1??? | /var/lib/proxysql/proxysql_groupreplication_checker .log |???????? | +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ 1 row in set (0.000 sec) MySQL [(none)]> SAVE SCHEDULER TO DISK; Query OK, 0 rows affected (0.286 sec) MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; Query OK, 0 rows affected (0.000 sec) MySQL [(none)]> select * from? mysql_servers;????????? // 上面操作后,稍微等一會兒執行此命令才會有下面的結果 +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) arg4設置為1之后,172.16.60.211節點用來寫的同時,也可以被用來讀。 便于下面的測試還是將arg4設為0: MySQL [(none)]> update scheduler set arg4=0; Query OK, 1 row affected (0.000 sec) MySQL [(none)]> SAVE SCHEDULER TO DISK; Query OK, 0 rows affected (0.197 sec) MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; Query OK, 0 rows affected (0.000 sec) MySQL [(none)]> select * from? mysql_servers;???????????? // 稍微等一會兒執行此命令,才會有下面的結果 +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SORT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) 各個節點的gr_member_routing_candidate_status視圖也顯示了當前節點是否是正常狀態的, proxysql就是讀取的這個視圖的信息來決定此節點是否可用。 [root@MGR-node1 ~] # mysql -p123456????????????? ........... mysql> select * from sys.gr_member_routing_candidate_status\G; *************************** 1. row *************************** ???? viable_candidate: YES ??????????? read_only: NO ? transactions_behind: 0 transactions_to_cert: 0 1 row in set (0.00 sec) ERROR: No query specified

8) 設置讀寫分離

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 MySQL [(none)]> insert into mysql_query_rules (active, match_pattern, destination_hostgroup, apply) values (1, "^SELECT" ,2,1); Query OK, 1 row affected (0.001 sec) MySQL [(none)]> LOAD MYSQL QUERY RULES TO RUNTIME; Query OK, 0 rows affected (0.001 sec) MySQL [(none)]> SAVE MYSQL QUERY RULES TO DISK; Query OK, 0 rows affected (0.264 sec) 解釋說明: match_pattern的規則是基于正則表達式的, active表示是否啟用這個sql路由項, match_pattern就是我們正則匹配項, destination_hostgroup表示我們要將該類sql轉發到哪些mysql上面去,這里我們將 select 轉發到group 2,。 apply為1表示該正則匹配后,將不再接受其他匹配,直接轉發。 對于 for update需要在gruop1上執行,可以加上規則: MySQL [(none)]> insert into mysql_query_rules(active,match_pattern,destination_hostgroup,apply) values(1, '^SELECT.*FOR UPDATE$' ,1,1); Query OK, 1 row affected (0.001 sec) 在proxysql本機或其他客戶機上檢查下, select 語句,一直連接的是172.16.60.212和172.16.60.213 [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node3? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node2? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node2? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node3? | +------------+

9) 驗證數據的讀寫分離效果

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname"?? +------------+ | @@ hostname | +------------+ | MGR-node2? | +------------+ [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select * from kevin.haha" +-----+-----------+ | id? | name????? | +-----+-----------+ |?? 1 | wangshibo | |?? 2 | guohuihui | |? 11 | beijing?? | | 100 | anhui???? | +-----+-----------+ [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "delete from kevin.haha where id=1;"????????????????????? [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "delete from kevin.haha where id=2;" [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select * from kevin.haha"??????????????? +-----+---------+ | id? | name??? | +-----+---------+ |? 11 | beijing | | 100 | anhui?? | +-----+---------+ [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e 'insert into kevin.haha values(21,"zhongguo"),(22,"xianggang"),(23,"taiwan");' [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select * from kevin.haha"??????????????????????????????? +-----+-----------+ | id? | name????? | +-----+-----------+ |? 11 | beijing?? | |? 21 | zhongguo? | |? 22 | xianggang | |? 23 | taiwan??? | | 100 | anhui???? | 最后在proxysql管理端查看讀寫分離情況 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h 127.0.0.1 -P6032 .......... MySQL [(none)]> select hostgroup,username,digest_text,count_star from stats_mysql_query_digest; +-----------+----------+------------------------------------------------------+------------+ | hostgroup | username | digest_text????????????????????????????????????????? | count_star | +-----------+----------+------------------------------------------------------+------------+ | 1???????? | proxysql | insert into kevin.haha values(?,?),(?,?),(?,?)?????? | 1????????? | | 1???????? | proxysql | insert into kevin.haha values(?,yangyang)??????????? | 1????????? | | 1???????? | proxysql | delete from kevin.haha where id =???????????????????? | 2????????? | | 1???????? | proxysql | select @@version_comment limit ????????????????????? | 120??????? | | 1???????? | proxysql | KILL ??????????????????????????????????????????????? | 8????????? | | 1???????? | proxysql | select @@ hostname??????????????????????????????????? | 11???????? | | 1???????? | proxysql | KILL QUERY ????????????????????????????????????????? | 10???????? | | 2???????? | proxysql | select @@ hostname , sleep (?)????????????????????????? | 53???????? | | 1???????? | proxysql | insert into kevin.haha values(?,yangyang),(?,shikui) | 2????????? | | 1???????? | proxysql | show databases?????????????????????????????????????? | 1????????? | | 2???????? | proxysql | select @@ hostname??????????????????????????????????? | 31???????? | | 2???????? | proxysql | select * from kevin.haha???????????????????????????? | 4????????? | | 1???????? | proxysql | insert into kevin.haha values(?,wawa)??????????????? | 3????????? | +-----------+----------+------------------------------------------------------+------------+ 13 rows in set (0.002 sec) MySQL [(none)]> select * from? mysql_servers; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) 通過上面可以看到: 寫操作都分配到了group1組內,即寫操作分配到172.16.60.211節點上。 讀操作都分配到了group2組內,即讀操作分配到172.16.60.212、172.16.60.213節點上。

10)設置故障應用無感應

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 在上面的讀寫分離規則中,我設置了172.16.60.211為可寫節點,172.16.60.212,172.16.60.213為只讀節點 如果此時172.16.60.211變成只讀模式的話,應用能不能直接連到其它的節點進行寫操作? ?? 現手動將172.16.60.211變成只讀模式: [root@MGR-node1 ~] # mysql -p123456 ........ mysql> set global read_only=1; Query OK, 0 rows affected (0.00 sec) ?? 接著觀察一下mysql_servers的狀態,自動將group1的172.16.60.212改成了online,group2的172.16.60.211, 172.16.60.213變成online了,就表示將172.16.60.212變為可寫節點,其它兩個節點變為只讀節點了。 ?? [root@ProxySQL-node ~] # mysql -uadmin -padmin -h 127.0.0.1 -P6032 ........ MySQL [(none)]> select * from? mysql_servers; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.001 sec) ?? 通過模擬的連接也可以看到 select 語句都連接到172.16.60.211和172.16.60.213進行了。 (模擬時可以稍微間隔一段時間,快速測試可能會連接同一個讀節點) [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node3? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node3? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+ ?? 然后再將將172.16.60.211變為可寫模式后,mysql_servers也恢復過來了。 [root@MGR-node1 ~] # mysql -p123456 ........ mysql> set global read_only=0; Query OK, 0 rows affected (0.00 sec) ?? 接著觀察一下mysql_servers的狀態 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h 127.0.0.1 -P6032 ......... MySQL [(none)]> select * from? mysql_servers; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) ?? 經過測試將172.16.60.211節點停止組復制(stop group_replication)或者該節點宕機(mysql服務掛掉)后,mysql_servers表的信息也會正常的切換新的節點。 待172.16.60.211恢復再加入到組復制后,mysql_servers也會正常的將172.16.60.211改成online狀態。 ====================================================================================================== 可能出現的問題: mysql>? select * from? mysql_servers ; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | OFFLINE_HARD | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 4 rows in set (0.00 sec) 也就是說,可能遇到上面所有節點都offline了的情況,查看錯誤日志如下: [root@ProxySQL-node ~] # tail -f /var/lib/proxysql/proxysql.log ........ [2019-02-18 16:23:52] read node [hostgroup_id: 2, hostname : 172.16.60.213, port: 3306, isOK: 0] is not OK, we will set it 's status to be ' OFFLINE_SOFT' ERROR 1142 (42000) at line 1: SELECT command denied to user 'proxysql' @ '172.16.60.214' for table 'gr_member_routing_candidate_status' [2019-02-18 16:23:55] current write node [hostgroup_id: 2, hostname : 172.17.61.131, port: 3306, isOK: 0] is not OK, we need to do switch over ERROR 1142 (42000) at line 1: SELECT command denied to user 'proxysql' @ '172.16.60.214' for table 'gr_member_routing_candidate_status' [2019-02-18 16:23:55] read node [hostgroup_id: 2, hostname : 172.17.61.132, port: 3306, isOK: 0] is not OK, we will set it 's status to be ' OFFLINE_SOFT' ERROR 1142 (42000) at line 1: SELECT command denied to user 'proxysql' @ '172.16.60.214' for table 'gr_member_routing_candidate_status 從上面的錯誤日志上看出是權限的問題,proxysql用戶沒有足夠的權限讀取數據。 解決辦法: [root@MGR-node1 ~] # mysql -p123456 ......... mysql> GRANT ALL ON * . * TO? 'proxysql' @ '%' ;? mysql> flush privileges; 再次看看,就有權限了 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h 127.0.0.1 -P6032 ......... MySQL [(none)]> select * from? mysql_servers; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec)

到此,ProxySQL就簡單實現了MGR的讀寫分離和主節點故障無感知環境。

***************當你發現自己的才華撐不起野心時,就請安靜下來學習吧*************** 分類: Mysql

轉載于:https://my.oschina.net/rootliu/blog/3095004

總結

以上是生活随笔為你收集整理的ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

爆乳一区二区三区无码 | 窝窝午夜理论片影院 | 日日鲁鲁鲁夜夜爽爽狠狠 | 国产极品美女高潮无套在线观看 | 亚洲小说春色综合另类 | 台湾无码一区二区 | 无码免费一区二区三区 | 丰满人妻一区二区三区免费视频 | 国产精品高潮呻吟av久久4虎 | 少妇人妻av毛片在线看 | 国产无遮挡又黄又爽免费视频 | 又大又硬又爽免费视频 | 一本精品99久久精品77 | 国产精品久久久久影院嫩草 | 久久成人a毛片免费观看网站 | 亚洲欧美日韩国产精品一区二区 | 国产精品鲁鲁鲁 | 国产人妻人伦精品 | 国产亚洲精品久久久闺蜜 | 狠狠噜狠狠狠狠丁香五月 | 国产九九九九九九九a片 | 呦交小u女精品视频 | 欧美亚洲日韩国产人成在线播放 | 免费视频欧美无人区码 | 特黄特色大片免费播放器图片 | 婷婷色婷婷开心五月四房播播 | 成人动漫在线观看 | 久久久久久九九精品久 | 一本色道久久综合狠狠躁 | 亚洲日韩一区二区三区 | 99久久精品日本一区二区免费 | 国产婷婷色一区二区三区在线 | 中国女人内谢69xxxx | 久久久久久九九精品久 | 无码帝国www无码专区色综合 | 久久综合九色综合欧美狠狠 | 成 人 网 站国产免费观看 | 亚洲日本一区二区三区在线 | 狠狠综合久久久久综合网 | 亚洲一区二区三区无码久久 | 成人无码精品一区二区三区 | 国产又爽又黄又刺激的视频 | 在线 国产 欧美 亚洲 天堂 | 欧美性猛交xxxx富婆 | 亚洲精品一区二区三区在线 | 成人影院yy111111在线观看 | 日韩欧美中文字幕在线三区 | 亚洲一区二区三区播放 | 人妻无码αv中文字幕久久琪琪布 | 精品夜夜澡人妻无码av蜜桃 | 国产又爽又黄又刺激的视频 | 麻豆av传媒蜜桃天美传媒 | 色情久久久av熟女人妻网站 | 男女爱爱好爽视频免费看 | 亚洲一区二区三区无码久久 | 久久99精品久久久久久 | 亚洲啪av永久无码精品放毛片 | 正在播放老肥熟妇露脸 | 97精品国产97久久久久久免费 | 丰满护士巨好爽好大乳 | 精品无码一区二区三区的天堂 | 久久综合色之久久综合 | 99麻豆久久久国产精品免费 | 女高中生第一次破苞av | 亚洲精品综合五月久久小说 | 国产精品国产三级国产专播 | 福利一区二区三区视频在线观看 | 人妻少妇精品无码专区动漫 | aⅴ亚洲 日韩 色 图网站 播放 | 最近中文2019字幕第二页 | 亚洲日本一区二区三区在线 | 欧美35页视频在线观看 | 国产欧美熟妇另类久久久 | 欧美野外疯狂做受xxxx高潮 | 国产99久久精品一区二区 | 久久99国产综合精品 | 亚洲精品一区三区三区在线观看 | 欧美肥老太牲交大战 | 国产精品久久久久久久9999 | 麻豆精产国品 | 中文字幕日韩精品一区二区三区 | 日日碰狠狠丁香久燥 | a国产一区二区免费入口 | 亚洲精品午夜无码电影网 | 鲁大师影院在线观看 | 精品水蜜桃久久久久久久 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 亚洲成色www久久网站 | 国产一区二区三区影院 | 午夜熟女插插xx免费视频 | 国产精品内射视频免费 | 香港三级日本三级妇三级 | 97色伦图片97综合影院 | 成人三级无码视频在线观看 | 久9re热视频这里只有精品 | 无码国模国产在线观看 | 久精品国产欧美亚洲色aⅴ大片 | 国产真人无遮挡作爱免费视频 | 好男人www社区 | 欧美人与牲动交xxxx | 久9re热视频这里只有精品 | 中文精品久久久久人妻不卡 | 人妻无码αv中文字幕久久琪琪布 | 嫩b人妻精品一区二区三区 | 免费无码的av片在线观看 | 国产免费久久久久久无码 | 高中生自慰www网站 | 激情爆乳一区二区三区 | a在线亚洲男人的天堂 | 精品成人av一区二区三区 | 麻豆国产人妻欲求不满 | 99久久久国产精品无码免费 | 无码成人精品区在线观看 | 国产无套粉嫩白浆在线 | 成人免费无码大片a毛片 | 亚洲伊人久久精品影院 | 中文字幕人成乱码熟女app | 国产精品怡红院永久免费 | 久激情内射婷内射蜜桃人妖 | 国产成人无码av片在线观看不卡 | 麻豆国产丝袜白领秘书在线观看 | 少妇性荡欲午夜性开放视频剧场 | 一区二区传媒有限公司 | 久久99精品久久久久久动态图 | 在线播放免费人成毛片乱码 | 午夜丰满少妇性开放视频 | 成人欧美一区二区三区黑人免费 | 久久精品丝袜高跟鞋 | 草草网站影院白丝内射 | 日韩人妻少妇一区二区三区 | 久久精品99久久香蕉国产色戒 | 在线播放无码字幕亚洲 | 蜜臀aⅴ国产精品久久久国产老师 | 日本xxxx色视频在线观看免费 | 午夜精品久久久久久久久 | 欧美真人作爱免费视频 | 日本一区二区三区免费高清 | 精品欧美一区二区三区久久久 | 无码毛片视频一区二区本码 | 国产精品久久国产精品99 | 一本色道婷婷久久欧美 | 久久久久久久久888 | 中文精品无码中文字幕无码专区 | 日本熟妇乱子伦xxxx | 男女爱爱好爽视频免费看 | 久久久久亚洲精品男人的天堂 | 国产精品久久久久无码av色戒 | 精品无码成人片一区二区98 | 成熟女人特级毛片www免费 | 亚洲成av人在线观看网址 | 精品国产青草久久久久福利 | 国产手机在线αⅴ片无码观看 | 少妇性l交大片欧洲热妇乱xxx | 欧美一区二区三区视频在线观看 | 欧美性色19p | 久久久精品欧美一区二区免费 | 国产艳妇av在线观看果冻传媒 | 久久综合网欧美色妞网 | 精品国产麻豆免费人成网站 | 丰满人妻精品国产99aⅴ | 精品欧洲av无码一区二区三区 | 欧美日韩视频无码一区二区三 | 欧美阿v高清资源不卡在线播放 | а√资源新版在线天堂 | 国产一区二区三区四区五区加勒比 | 野狼第一精品社区 | 18黄暴禁片在线观看 | 久久精品中文字幕一区 | 红桃av一区二区三区在线无码av | 色一情一乱一伦一视频免费看 | 女人和拘做爰正片视频 | 久9re热视频这里只有精品 | 国产精品久久精品三级 | 狠狠综合久久久久综合网 | 2020久久香蕉国产线看观看 | 色婷婷香蕉在线一区二区 | 午夜理论片yy44880影院 | 精品国产国产综合精品 | 亚洲色无码一区二区三区 | 欧美大屁股xxxxhd黑色 | 亚洲精品www久久久 | 国产精品对白交换视频 | 人人爽人人澡人人高潮 | 欧美国产日韩久久mv | 国产黑色丝袜在线播放 | 国产精品自产拍在线观看 | 中文字幕 亚洲精品 第1页 | 国产精品嫩草久久久久 | 欧洲熟妇色 欧美 | 国产精品办公室沙发 | 精品一区二区三区无码免费视频 | 超碰97人人射妻 | 色婷婷综合激情综在线播放 | 欧美人与牲动交xxxx | 欧美亚洲日韩国产人成在线播放 | 无码成人精品区在线观看 | 纯爱无遮挡h肉动漫在线播放 | 玩弄人妻少妇500系列视频 | 俄罗斯老熟妇色xxxx | 大肉大捧一进一出视频出来呀 | 精品无码成人片一区二区98 | 97精品国产97久久久久久免费 | 久久精品国产亚洲精品 | 久久精品国产精品国产精品污 | 亚洲国产精品一区二区美利坚 | 一二三四在线观看免费视频 | 亚洲伊人久久精品影院 | 伦伦影院午夜理论片 | 亚洲男人av香蕉爽爽爽爽 | 台湾无码一区二区 | 欧美丰满老熟妇xxxxx性 | 无码吃奶揉捏奶头高潮视频 | 好男人www社区 | 麻花豆传媒剧国产免费mv在线 | 午夜无码人妻av大片色欲 | 色婷婷香蕉在线一区二区 | 亚洲精品国产精品乱码不卡 | 亚洲va中文字幕无码久久不卡 | 亚洲第一网站男人都懂 | 色婷婷久久一区二区三区麻豆 | 久久久国产一区二区三区 | 在线精品亚洲一区二区 | 精品乱码久久久久久久 | 久久综合香蕉国产蜜臀av | 国产亚洲精品久久久ai换 | 亚洲一区二区三区在线观看网站 | 狠狠色色综合网站 | 又湿又紧又大又爽a视频国产 | 国产无遮挡吃胸膜奶免费看 | 国产精品.xx视频.xxtv | 骚片av蜜桃精品一区 | av无码电影一区二区三区 | 欧美喷潮久久久xxxxx | 中文字幕亚洲情99在线 | 国产精品va在线观看无码 | av无码不卡在线观看免费 | 亚拍精品一区二区三区探花 | 中文字幕无码av激情不卡 | 2020最新国产自产精品 | 精品欧美一区二区三区久久久 | 色综合久久中文娱乐网 | 夜先锋av资源网站 | 最新国产乱人伦偷精品免费网站 | 亚洲精品美女久久久久久久 | 国产人成高清在线视频99最全资源 | 久久视频在线观看精品 | 国产莉萝无码av在线播放 | 亚洲男人av香蕉爽爽爽爽 | 99久久婷婷国产综合精品青草免费 | 国产成人无码午夜视频在线观看 | 亚洲成a人片在线观看日本 | 熟妇人妻无乱码中文字幕 | 国内综合精品午夜久久资源 | 久久综合激激的五月天 | 天天爽夜夜爽夜夜爽 | 亚洲国产精品成人久久蜜臀 | 大肉大捧一进一出好爽视频 | 亚洲欧美色中文字幕在线 | 久久99精品久久久久婷婷 | 亚洲自偷自偷在线制服 | 午夜熟女插插xx免费视频 | 国产成人一区二区三区在线观看 | 中文无码伦av中文字幕 | 国产农村乱对白刺激视频 | 国产亚洲人成a在线v网站 | 亚洲熟妇色xxxxx欧美老妇y | 日本va欧美va欧美va精品 | 国产精品久久久久影院嫩草 | 日韩无码专区 | 国产婷婷色一区二区三区在线 | 永久黄网站色视频免费直播 | 亚洲成av人影院在线观看 | 人妻有码中文字幕在线 | 中文字幕乱妇无码av在线 | 牲交欧美兽交欧美 | 中文字幕av无码一区二区三区电影 | 久久99精品久久久久婷婷 | 国产三级久久久精品麻豆三级 | 国产乡下妇女做爰 | 欧美 日韩 亚洲 在线 | 亚洲国产成人a精品不卡在线 | 2020久久超碰国产精品最新 | 国产精品沙发午睡系列 | 国产午夜视频在线观看 | 97夜夜澡人人爽人人喊中国片 | 日韩av无码一区二区三区不卡 | 在线观看国产一区二区三区 | 久久久久成人片免费观看蜜芽 | 久久国语露脸国产精品电影 | 久久精品国产日本波多野结衣 | 色偷偷人人澡人人爽人人模 | 黑人粗大猛烈进出高潮视频 | 久久99国产综合精品 | 大乳丰满人妻中文字幕日本 | 国产免费久久精品国产传媒 | 一本加勒比波多野结衣 | 日本熟妇人妻xxxxx人hd | 最新版天堂资源中文官网 | 欧美人妻一区二区三区 | 人人澡人摸人人添 | 无码国内精品人妻少妇 | 在线看片无码永久免费视频 | 国产亚av手机在线观看 | 夜精品a片一区二区三区无码白浆 | 九九久久精品国产免费看小说 | 亚洲一区av无码专区在线观看 | 欧美人与物videos另类 | 国产av一区二区精品久久凹凸 | 欧美黑人巨大xxxxx | 中文字幕乱码人妻二区三区 | 日韩欧美群交p片內射中文 | 人妻尝试又大又粗久久 | 中文字幕无码免费久久9一区9 | 国产精品久久精品三级 | 亚洲欧洲无卡二区视頻 | 亚洲日本va午夜在线电影 | 国产香蕉尹人综合在线观看 | 色 综合 欧美 亚洲 国产 | 中文精品久久久久人妻不卡 | 亚洲综合伊人久久大杳蕉 | 欧美性黑人极品hd | 捆绑白丝粉色jk震动捧喷白浆 | 高清无码午夜福利视频 | 久久精品人人做人人综合 | 伊人久久大香线蕉亚洲 | 亚洲欧美国产精品久久 | 永久免费观看国产裸体美女 | 四虎4hu永久免费 | 99精品无人区乱码1区2区3区 | 丁香花在线影院观看在线播放 | 欧洲极品少妇 | 水蜜桃亚洲一二三四在线 | 国产精品内射视频免费 | 骚片av蜜桃精品一区 | 国产精品福利视频导航 | 日日橹狠狠爱欧美视频 | 中文字幕av无码一区二区三区电影 | 久久精品女人天堂av免费观看 | 亚洲成av人片天堂网无码】 | 国色天香社区在线视频 | 成熟女人特级毛片www免费 | 亚洲狠狠婷婷综合久久 | 国产熟女一区二区三区四区五区 | 黄网在线观看免费网站 | 小sao货水好多真紧h无码视频 | 久久人人爽人人爽人人片ⅴ | 男女性色大片免费网站 | 永久免费精品精品永久-夜色 | 国产午夜福利亚洲第一 | 亚洲成av人片在线观看无码不卡 | 人人妻在人人 | 欧美日韩一区二区综合 | 国产无遮挡又黄又爽又色 | 老熟妇仑乱视频一区二区 | 久久综合香蕉国产蜜臀av | 老司机亚洲精品影院无码 | 无码人妻精品一区二区三区不卡 | 亚洲国产精品成人久久蜜臀 | 日韩亚洲欧美中文高清在线 | 久久久精品人妻久久影视 | 久久久久免费看成人影片 | 高清国产亚洲精品自在久久 | 免费看男女做好爽好硬视频 | 精品偷自拍另类在线观看 | 国内丰满熟女出轨videos | 99久久久无码国产aaa精品 | 亚洲乱码中文字幕在线 | 精品国产成人一区二区三区 | 国产av一区二区精品久久凹凸 | 久久99久久99精品中文字幕 | 欧美喷潮久久久xxxxx | 久久精品人妻少妇一区二区三区 | 欧美一区二区三区视频在线观看 | 国产精品美女久久久久av爽李琼 | 香港三级日本三级妇三级 | 在线观看欧美一区二区三区 | 三上悠亚人妻中文字幕在线 | 18禁止看的免费污网站 | 国产亚洲精品久久久久久久久动漫 | 成人性做爰aaa片免费看 | 国产97人人超碰caoprom | 天堂久久天堂av色综合 | 国产极品视觉盛宴 | 国产精品久久国产精品99 | 免费无码午夜福利片69 | 搡女人真爽免费视频大全 | 日韩欧美中文字幕在线三区 | 久久久www成人免费毛片 | 中文字幕无码热在线视频 | 高中生自慰www网站 | 丰满少妇弄高潮了www | 国产 精品 自在自线 | av香港经典三级级 在线 | 男女猛烈xx00免费视频试看 | 国产精品va在线观看无码 | 久久综合给合久久狠狠狠97色 | 中国大陆精品视频xxxx | 亚洲综合久久一区二区 | 无码国内精品人妻少妇 | 亚洲另类伦春色综合小说 | 精品国产一区二区三区av 性色 | 男女爱爱好爽视频免费看 | 高潮毛片无遮挡高清免费视频 | 天堂久久天堂av色综合 | 久久人人爽人人人人片 | 十八禁视频网站在线观看 | 久久综合久久自在自线精品自 | 蜜桃视频韩日免费播放 | 国产乱人伦偷精品视频 | 欧美成人午夜精品久久久 | 精品久久久久久人妻无码中文字幕 | 99久久精品无码一区二区毛片 | 99国产欧美久久久精品 | 无码人妻久久一区二区三区不卡 | 国产精品视频免费播放 | 强伦人妻一区二区三区视频18 | 精品日本一区二区三区在线观看 | 粗大的内捧猛烈进出视频 | 国语自产偷拍精品视频偷 | 成人免费视频一区二区 | 免费看男女做好爽好硬视频 | 无码国产色欲xxxxx视频 | 国产激情一区二区三区 | 国产疯狂伦交大片 | 国产成人一区二区三区别 | 成人欧美一区二区三区黑人 | 国模大胆一区二区三区 | 成人亚洲精品久久久久 | 国产精品久久久久久久影院 | 青草青草久热国产精品 | 亚洲国产午夜精品理论片 | 成人动漫在线观看 | 日韩精品无码一本二本三本色 | 无码av岛国片在线播放 | 久久精品一区二区三区四区 | 在线欧美精品一区二区三区 | 精品无人区无码乱码毛片国产 | 国产精品高潮呻吟av久久4虎 | 欧美黑人巨大xxxxx | 99久久久无码国产aaa精品 | 色婷婷av一区二区三区之红樱桃 | 2020最新国产自产精品 | 成人无码精品1区2区3区免费看 | 对白脏话肉麻粗话av | 美女扒开屁股让男人桶 | 自拍偷自拍亚洲精品10p | 夜夜夜高潮夜夜爽夜夜爰爰 | 欧美国产日韩亚洲中文 | 搡女人真爽免费视频大全 | 亚洲成熟女人毛毛耸耸多 | 亚洲精品鲁一鲁一区二区三区 | 波多野42部无码喷潮在线 | 久久午夜夜伦鲁鲁片无码免费 | 狠狠综合久久久久综合网 | 无码人妻出轨黑人中文字幕 | 无码中文字幕色专区 | 日日天日日夜日日摸 | 激情综合激情五月俺也去 | 亚洲熟妇自偷自拍另类 | 99精品视频在线观看免费 | 欧美野外疯狂做受xxxx高潮 | 老子影院午夜伦不卡 | 久久99精品国产麻豆蜜芽 | 亚洲色欲色欲天天天www | 国产一区二区不卡老阿姨 | 久久亚洲中文字幕精品一区 | 久久精品国产精品国产精品污 | 久久人人爽人人人人片 | 精品国偷自产在线视频 | 亚洲欧美中文字幕5发布 | 色窝窝无码一区二区三区色欲 | 动漫av网站免费观看 | 亚洲精品午夜无码电影网 | 欧美日韩一区二区三区自拍 | 亚洲精品久久久久avwww潮水 | 少妇无套内谢久久久久 | 清纯唯美经典一区二区 | a在线亚洲男人的天堂 | 精品人妻av区 | 中文字幕乱码人妻无码久久 | 中文字幕无码乱人伦 | 亚洲а∨天堂久久精品2021 | 无码吃奶揉捏奶头高潮视频 | 亚洲天堂2017无码中文 | 老子影院午夜伦不卡 | 国产亚洲精品久久久闺蜜 | 精品一区二区三区波多野结衣 | 无码免费一区二区三区 | 日韩无套无码精品 | 国产在线无码精品电影网 | 秋霞成人午夜鲁丝一区二区三区 | 国产熟女一区二区三区四区五区 | 国产精品亚洲а∨无码播放麻豆 | 国产偷国产偷精品高清尤物 | 亲嘴扒胸摸屁股激烈网站 | 国産精品久久久久久久 | 国产成人av免费观看 | 在线观看免费人成视频 | 亚洲欧美精品伊人久久 | 亚洲熟妇色xxxxx欧美老妇 | 国产又爽又猛又粗的视频a片 | 国产成人无码一二三区视频 | 性欧美疯狂xxxxbbbb | 久久人妻内射无码一区三区 | 伊人久久大香线蕉av一区二区 | 国产精品久久久久9999小说 | 欧美激情综合亚洲一二区 | 免费无码的av片在线观看 | 台湾无码一区二区 | 成熟人妻av无码专区 | 中文字幕av日韩精品一区二区 | 妺妺窝人体色www婷婷 | 久久97精品久久久久久久不卡 | 欧美亚洲日韩国产人成在线播放 | 台湾无码一区二区 | 俄罗斯老熟妇色xxxx | 久久亚洲国产成人精品性色 | 任你躁国产自任一区二区三区 | 午夜无码区在线观看 | 日日夜夜撸啊撸 | 偷窥村妇洗澡毛毛多 | 无码人妻黑人中文字幕 | 蜜桃视频插满18在线观看 | 老子影院午夜精品无码 | 亚洲精品综合一区二区三区在线 | 麻豆国产人妻欲求不满 | 国产日产欧产精品精品app | 超碰97人人做人人爱少妇 | 久久久中文字幕日本无吗 | 亚洲国产欧美日韩精品一区二区三区 | 亚洲成av人影院在线观看 | 人妻有码中文字幕在线 | 伊人久久大香线蕉av一区二区 | 青青青手机频在线观看 | 熟妇人妻中文av无码 | 99久久精品日本一区二区免费 | 亚洲中文字幕无码中字 | 无码毛片视频一区二区本码 | 国产av人人夜夜澡人人爽麻豆 | 国产熟妇另类久久久久 | 天下第一社区视频www日本 | 中国大陆精品视频xxxx | 无码人妻丰满熟妇区毛片18 | 骚片av蜜桃精品一区 | 欧美野外疯狂做受xxxx高潮 | 波多野结衣av一区二区全免费观看 | 欧美三级不卡在线观看 | 久久久久免费精品国产 | 亚洲国产精品美女久久久久 | 亚洲精品一区三区三区在线观看 | 精品久久久久久亚洲精品 | 青青青爽视频在线观看 | 久久无码人妻影院 | 夜精品a片一区二区三区无码白浆 | 国产极品美女高潮无套在线观看 | 国产成人无码av在线影院 | 国产精品无码久久av | 国产午夜手机精彩视频 | 色婷婷久久一区二区三区麻豆 | 青青久在线视频免费观看 | 久久久久成人片免费观看蜜芽 | 国产精品亚洲专区无码不卡 | 在线a亚洲视频播放在线观看 | 亚洲小说春色综合另类 | 日韩视频 中文字幕 视频一区 | 国产精品久久久久久亚洲毛片 | 国产精品a成v人在线播放 | 鲁一鲁av2019在线 | 欧美乱妇无乱码大黄a片 | 东京无码熟妇人妻av在线网址 | 狠狠亚洲超碰狼人久久 | 色一情一乱一伦一视频免费看 | 无码纯肉视频在线观看 | 精品一区二区三区波多野结衣 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 国产激情精品一区二区三区 | 少妇激情av一区二区 | 婷婷五月综合缴情在线视频 | 夜先锋av资源网站 | 在线精品国产一区二区三区 | 网友自拍区视频精品 | 无码精品人妻一区二区三区av | 午夜性刺激在线视频免费 | 大屁股大乳丰满人妻 | 波多野结衣高清一区二区三区 | 九月婷婷人人澡人人添人人爽 | 国产成人精品必看 | 欧洲vodafone精品性 | 国产内射爽爽大片视频社区在线 | 免费中文字幕日韩欧美 | √8天堂资源地址中文在线 | 成人免费无码大片a毛片 | 久久久久成人片免费观看蜜芽 | 国产xxx69麻豆国语对白 | 久久99精品国产麻豆蜜芽 | 真人与拘做受免费视频一 | 亚洲精品成人av在线 | 久激情内射婷内射蜜桃人妖 | 18黄暴禁片在线观看 | 亚洲精品综合一区二区三区在线 | 在线欧美精品一区二区三区 | 亚洲成a人片在线观看日本 | 98国产精品综合一区二区三区 | 亚洲毛片av日韩av无码 | 精品无码一区二区三区的天堂 | 亚洲欧美精品aaaaaa片 | 日产精品高潮呻吟av久久 | 亚洲午夜福利在线观看 | 亚拍精品一区二区三区探花 | 一本久久伊人热热精品中文字幕 | 久久国产自偷自偷免费一区调 | 国产精品亚洲а∨无码播放麻豆 | 老太婆性杂交欧美肥老太 | а√天堂www在线天堂小说 | 亚洲男女内射在线播放 | 88国产精品欧美一区二区三区 | 人人妻人人澡人人爽欧美一区九九 | 鲁鲁鲁爽爽爽在线视频观看 | 久精品国产欧美亚洲色aⅴ大片 | 荫蒂添的好舒服视频囗交 | 亚洲自偷精品视频自拍 | 亚洲国产精品一区二区美利坚 | 亚洲中文字幕成人无码 | 亚洲精品www久久久 | 国产亚洲精品久久久ai换 | 国产人妻人伦精品 | 亚洲精品中文字幕 | 午夜成人1000部免费视频 | 狂野欧美性猛交免费视频 | 国精产品一区二区三区 | 人人爽人人澡人人人妻 | 亚洲区小说区激情区图片区 | 天堂在线观看www | 久久久久久九九精品久 | 澳门永久av免费网站 | 国产69精品久久久久app下载 | 国产精品久久久 | 亚洲精品中文字幕 | 久久伊人色av天堂九九小黄鸭 | 精品国产av色一区二区深夜久久 | 中文字幕人妻无码一区二区三区 | 在线 国产 欧美 亚洲 天堂 | 国产精品二区一区二区aⅴ污介绍 | 久久午夜夜伦鲁鲁片无码免费 | 欧美zoozzooz性欧美 | 天堂在线观看www | 无码人妻精品一区二区三区不卡 | 国产97色在线 | 免 | 18精品久久久无码午夜福利 | 国产精品美女久久久 | 色综合天天综合狠狠爱 | 亚洲精品鲁一鲁一区二区三区 | 一区二区传媒有限公司 | 欧美丰满熟妇xxxx性ppx人交 | 少妇激情av一区二区 | 亚洲欧洲日本综合aⅴ在线 | 中文久久乱码一区二区 | 免费中文字幕日韩欧美 | 亚洲乱码中文字幕在线 | 九九综合va免费看 | 在线精品国产一区二区三区 | 曰本女人与公拘交酡免费视频 | 牲欲强的熟妇农村老妇女视频 | 澳门永久av免费网站 | 亚洲码国产精品高潮在线 | 1000部啪啪未满十八勿入下载 | 全球成人中文在线 | 人妻少妇精品视频专区 | 国产精品va在线观看无码 | 国产一区二区三区日韩精品 | 中文字幕人成乱码熟女app | 性欧美疯狂xxxxbbbb | 乱人伦中文视频在线观看 | 蜜臀av在线观看 在线欧美精品一区二区三区 | 国产亚洲视频中文字幕97精品 | 亚洲最大成人网站 | 99久久婷婷国产综合精品青草免费 | 国内精品人妻无码久久久影院蜜桃 | 色欲av亚洲一区无码少妇 | 国产熟妇高潮叫床视频播放 | v一区无码内射国产 | 精品人妻中文字幕有码在线 | 综合网日日天干夜夜久久 | 久久久无码中文字幕久... | 欧美黑人巨大xxxxx | 欧美性黑人极品hd | 性生交大片免费看女人按摩摩 | 丰满岳乱妇在线观看中字无码 | 97人妻精品一区二区三区 | 国产绳艺sm调教室论坛 | 男女下面进入的视频免费午夜 | 伊人久久婷婷五月综合97色 | 国产肉丝袜在线观看 | 免费观看的无遮挡av | 欧美老人巨大xxxx做受 | 超碰97人人射妻 | 国产亚洲人成a在线v网站 | 成人无码精品一区二区三区 | 麻花豆传媒剧国产免费mv在线 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 日产国产精品亚洲系列 | 日韩人妻无码一区二区三区久久99 | 一二三四社区在线中文视频 | 色婷婷综合中文久久一本 | 亚洲区欧美区综合区自拍区 | 国产农村妇女高潮大叫 | 国色天香社区在线视频 | 奇米影视888欧美在线观看 | 日日躁夜夜躁狠狠躁 | 成人精品一区二区三区中文字幕 | 日日麻批免费40分钟无码 | 欧美精品免费观看二区 | 欧美xxxxx精品 | 欧美熟妇另类久久久久久不卡 | 粗大的内捧猛烈进出视频 | 国产电影无码午夜在线播放 | 日本又色又爽又黄的a片18禁 | 亚洲aⅴ无码成人网站国产app | 1000部啪啪未满十八勿入下载 | 三级4级全黄60分钟 | 国产乡下妇女做爰 | 久久久久亚洲精品男人的天堂 | 永久免费精品精品永久-夜色 | 国产手机在线αⅴ片无码观看 | 久久午夜夜伦鲁鲁片无码免费 | 国产亚洲美女精品久久久2020 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 亚洲午夜久久久影院 | 久久 国产 尿 小便 嘘嘘 | 亚洲の无码国产の无码影院 | 强伦人妻一区二区三区视频18 | 国产午夜精品一区二区三区嫩草 | 午夜成人1000部免费视频 | 丝袜足控一区二区三区 | 久久zyz资源站无码中文动漫 | 日本精品久久久久中文字幕 | 亚洲精品国偷拍自产在线观看蜜桃 | 亚洲第一无码av无码专区 | 无码一区二区三区在线 | 又紧又大又爽精品一区二区 | 久久精品视频在线看15 | 精品国产福利一区二区 | 67194成是人免费无码 | 国产午夜手机精彩视频 | 久久精品中文闷骚内射 | 国产成人无码av一区二区 | 日韩精品乱码av一区二区 | 九九在线中文字幕无码 | 国产猛烈高潮尖叫视频免费 | 亚洲成a人片在线观看无码3d | 精品国产aⅴ无码一区二区 | 欧美 日韩 人妻 高清 中文 | 97夜夜澡人人爽人人喊中国片 | 国产欧美熟妇另类久久久 | 欧美国产日韩久久mv | аⅴ资源天堂资源库在线 | 亚洲 a v无 码免 费 成 人 a v | 日韩欧美群交p片內射中文 | 亚洲啪av永久无码精品放毛片 | 中文字幕av无码一区二区三区电影 | 熟女体下毛毛黑森林 | 欧美猛少妇色xxxxx | 欧美日韩色另类综合 | 乱码午夜-极国产极内射 | 国产国产精品人在线视 | 男女超爽视频免费播放 | 久久久久久国产精品无码下载 | 精品久久久无码人妻字幂 | 国产成人无码av片在线观看不卡 | 久久久久久久久888 | 欧美人与动性行为视频 | 我要看www免费看插插视频 | 乱人伦人妻中文字幕无码久久网 | 精品一区二区三区无码免费视频 | 领导边摸边吃奶边做爽在线观看 | 免费无码av一区二区 | 国产精品亚洲а∨无码播放麻豆 | 伊人久久大香线蕉av一区二区 | 中文精品无码中文字幕无码专区 | 亚洲色无码一区二区三区 | 人人妻人人藻人人爽欧美一区 | 国产精品亚洲五月天高清 | 久久熟妇人妻午夜寂寞影院 | 又大又黄又粗又爽的免费视频 | 天堂亚洲2017在线观看 | 精品国产麻豆免费人成网站 | aⅴ亚洲 日韩 色 图网站 播放 | 亚洲国产精品久久久天堂 | 蜜桃视频韩日免费播放 | 亚洲熟妇自偷自拍另类 | 久久午夜无码鲁丝片午夜精品 | 成人免费视频一区二区 | 久久综合给合久久狠狠狠97色 | 最近中文2019字幕第二页 | 国产成人无码午夜视频在线观看 | 色综合视频一区二区三区 | 日本欧美一区二区三区乱码 | 精品国产青草久久久久福利 | 樱花草在线播放免费中文 | 又大又黄又粗又爽的免费视频 | 老太婆性杂交欧美肥老太 | 亚洲日韩av一区二区三区中文 | 久久久av男人的天堂 | 亚洲小说图区综合在线 | 国产精品久久久久久无码 | 精品人人妻人人澡人人爽人人 | 少妇高潮一区二区三区99 | 黑人巨大精品欧美一区二区 | 亚洲精品一区二区三区大桥未久 | 老熟妇仑乱视频一区二区 | 国产内射爽爽大片视频社区在线 | 国产精品无码永久免费888 | 久久综合给久久狠狠97色 | 熟妇人妻无码xxx视频 | 少妇无码一区二区二三区 | 澳门永久av免费网站 | 精品人妻中文字幕有码在线 | 国产午夜精品一区二区三区嫩草 | 色诱久久久久综合网ywww | 国产精品欧美成人 | 日日鲁鲁鲁夜夜爽爽狠狠 | 久久久www成人免费毛片 | 色综合久久久无码网中文 | 国产精品久久久久7777 | 日韩精品无码一区二区中文字幕 | 狠狠综合久久久久综合网 | 人妻少妇被猛烈进入中文字幕 | 极品尤物被啪到呻吟喷水 | 人妻少妇被猛烈进入中文字幕 | 性欧美牲交在线视频 | 国内精品人妻无码久久久影院 | 自拍偷自拍亚洲精品被多人伦好爽 | 无码成人精品区在线观看 | 国产午夜视频在线观看 | 久久亚洲中文字幕无码 | 人人妻人人藻人人爽欧美一区 | 55夜色66夜色国产精品视频 | 少妇无码一区二区二三区 | 亚洲国产高清在线观看视频 | 水蜜桃亚洲一二三四在线 | 久久久久国色av免费观看性色 | 国产特级毛片aaaaaa高潮流水 | 亚洲精品一区二区三区在线 | 亚洲毛片av日韩av无码 | 亚洲日韩乱码中文无码蜜桃臀网站 | 国产精品理论片在线观看 | 国产精品无码久久av | 亚洲国产精品一区二区第一页 | 国产真人无遮挡作爱免费视频 | 蜜桃臀无码内射一区二区三区 | 女人被爽到呻吟gif动态图视看 | 日本免费一区二区三区最新 | 国产精品成人av在线观看 | 国产av久久久久精东av | 亚洲七七久久桃花影院 | 欧美日韩一区二区三区自拍 | 亚洲中文字幕乱码av波多ji | 国产午夜精品一区二区三区嫩草 | 啦啦啦www在线观看免费视频 | 亚洲中文字幕成人无码 | 国产成人久久精品流白浆 | 无码av中文字幕免费放 | 久久五月精品中文字幕 | 成人无码精品一区二区三区 | 亚洲精品欧美二区三区中文字幕 | 国产香蕉97碰碰久久人人 | 亚洲一区二区观看播放 | 亚洲成av人影院在线观看 | 久久人人爽人人爽人人片av高清 | 亚洲综合无码一区二区三区 | 天堂а√在线中文在线 | 国产精品.xx视频.xxtv | 人人妻人人澡人人爽人人精品 | 亚洲а∨天堂久久精品2021 | 国产小呦泬泬99精品 | 国产超级va在线观看视频 | 强开小婷嫩苞又嫩又紧视频 | 欧美国产亚洲日韩在线二区 | 精品国产精品久久一区免费式 | 熟女体下毛毛黑森林 | 成人亚洲精品久久久久软件 | 亚洲国产精华液网站w | 日韩成人一区二区三区在线观看 | 亚洲男女内射在线播放 | 大胆欧美熟妇xx | 国产人妻精品一区二区三区 | 亚洲第一无码av无码专区 | 久久久久亚洲精品男人的天堂 | 色欲av亚洲一区无码少妇 | 十八禁视频网站在线观看 | 久久精品国产亚洲精品 | 国产成人亚洲综合无码 | 骚片av蜜桃精品一区 | 色欲综合久久中文字幕网 | 无码播放一区二区三区 | 丰满少妇熟乱xxxxx视频 | 欧美精品免费观看二区 | 天天拍夜夜添久久精品大 | 十八禁真人啪啪免费网站 | 熟女体下毛毛黑森林 | 2019nv天堂香蕉在线观看 | 中文字幕久久久久人妻 | 日韩亚洲欧美中文高清在线 | 天天拍夜夜添久久精品大 | 欧美成人家庭影院 | 亚洲狠狠色丁香婷婷综合 | 国产亲子乱弄免费视频 | 亚洲精品一区二区三区四区五区 | 99久久精品午夜一区二区 | 精品无码成人片一区二区98 | 精品国产麻豆免费人成网站 | 国产精品第一区揄拍无码 | 国产无av码在线观看 | 白嫩日本少妇做爰 | 熟女少妇人妻中文字幕 | 午夜时刻免费入口 | 成人aaa片一区国产精品 | 亚洲无人区午夜福利码高清完整版 | 亚洲の无码国产の无码影院 | a在线亚洲男人的天堂 | 亚洲日韩中文字幕在线播放 | 免费中文字幕日韩欧美 | 欧美黑人性暴力猛交喷水 | 成在人线av无码免费 | 欧美人与动性行为视频 | 国产高潮视频在线观看 | 亚洲国产精品久久人人爱 | 久久五月精品中文字幕 | 色欲人妻aaaaaaa无码 | 日韩精品无码免费一区二区三区 | 黑人巨大精品欧美黑寡妇 | 亚洲精品www久久久 | 精品偷拍一区二区三区在线看 | 亚洲精品综合一区二区三区在线 | 99久久99久久免费精品蜜桃 | av无码电影一区二区三区 | 大乳丰满人妻中文字幕日本 | 成人影院yy111111在线观看 | 色欲综合久久中文字幕网 | 久久综合给久久狠狠97色 | 一二三四在线观看免费视频 | 伊人久久大香线蕉av一区二区 | 欧美老妇与禽交 | 丝袜 中出 制服 人妻 美腿 | 亚洲精品鲁一鲁一区二区三区 | 一本精品99久久精品77 | 国产农村妇女aaaaa视频 撕开奶罩揉吮奶头视频 | 一本大道伊人av久久综合 | 成 人 免费观看网站 | 四虎国产精品免费久久 | 国产精品成人av在线观看 | 亚洲色欲色欲天天天www | 中文字幕人妻无码一区二区三区 | 人妻熟女一区 | 亚洲精品鲁一鲁一区二区三区 | 国产一区二区三区四区五区加勒比 | 99视频精品全部免费免费观看 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 亚洲男女内射在线播放 | 国产免费观看黄av片 | 精品国偷自产在线视频 | 1000部啪啪未满十八勿入下载 | 精品一区二区不卡无码av | 亚洲一区二区三区含羞草 | 国产精品无码一区二区桃花视频 | 色综合久久中文娱乐网 | 奇米影视7777久久精品人人爽 | 亚洲色www成人永久网址 | 乱码av麻豆丝袜熟女系列 | 麻豆成人精品国产免费 | 国产偷抇久久精品a片69 | 国产精品无码mv在线观看 | 国产精品沙发午睡系列 | 欧美人妻一区二区三区 | 亚洲人成网站色7799 | 青青久在线视频免费观看 | 伊人久久大香线焦av综合影院 | 女人色极品影院 | 丰满少妇熟乱xxxxx视频 | 国产无套内射久久久国产 | 水蜜桃av无码 | 牲交欧美兽交欧美 | 国内综合精品午夜久久资源 | 亚洲中文字幕在线无码一区二区 | 给我免费的视频在线观看 | 在线欧美精品一区二区三区 | 又色又爽又黄的美女裸体网站 | 男女性色大片免费网站 | 免费网站看v片在线18禁无码 | 久久精品人人做人人综合 | 色偷偷人人澡人人爽人人模 | 精品国产乱码久久久久乱码 | 久久天天躁夜夜躁狠狠 | 欧美激情一区二区三区成人 | 国产麻豆精品一区二区三区v视界 | 丰满人妻一区二区三区免费视频 | 久久精品国产大片免费观看 | 久久国产自偷自偷免费一区调 | 国产激情综合五月久久 | 国内少妇偷人精品视频 | 日日碰狠狠躁久久躁蜜桃 | 国产av人人夜夜澡人人爽麻豆 | 免费播放一区二区三区 | 久久国产自偷自偷免费一区调 | 性色欲情网站iwww九文堂 | 中文字幕人妻丝袜二区 | 日本精品人妻无码77777 天堂一区人妻无码 | 扒开双腿吃奶呻吟做受视频 | 中文字幕日韩精品一区二区三区 | 女人和拘做爰正片视频 | 又紧又大又爽精品一区二区 | 国产真人无遮挡作爱免费视频 | 久久国产36精品色熟妇 | 人人妻人人藻人人爽欧美一区 | 亚洲а∨天堂久久精品2021 | 无码精品人妻一区二区三区av | 日韩视频 中文字幕 视频一区 | 天天拍夜夜添久久精品大 | 国产人成高清在线视频99最全资源 | 日日橹狠狠爱欧美视频 | 中文字幕无线码免费人妻 | 人妻人人添人妻人人爱 | 午夜精品一区二区三区的区别 | 麻豆精品国产精华精华液好用吗 | 精品无码国产一区二区三区av | 亚洲色欲色欲欲www在线 | 久久97精品久久久久久久不卡 | 亚洲精品午夜国产va久久成人 | 国产亚洲欧美日韩亚洲中文色 | 人人爽人人澡人人人妻 | 国产成人午夜福利在线播放 | 丰腴饱满的极品熟妇 | 精品成在人线av无码免费看 | 日韩av无码中文无码电影 | 国产人成高清在线视频99最全资源 | 人妻中文无码久热丝袜 | 日韩精品一区二区av在线 | 99久久精品无码一区二区毛片 | 亚洲无人区午夜福利码高清完整版 | 青青青爽视频在线观看 | 国产乱子伦视频在线播放 | 国产综合色产在线精品 | 亚洲中文字幕成人无码 | 久久久精品国产sm最大网站 | 乱人伦中文视频在线观看 | 中文字幕色婷婷在线视频 | 久久国语露脸国产精品电影 | 曰韩少妇内射免费播放 | 日产国产精品亚洲系列 | 国产网红无码精品视频 | 中文字幕乱码中文乱码51精品 | 午夜无码人妻av大片色欲 | 亚洲欧美精品aaaaaa片 | 国产精品久久久午夜夜伦鲁鲁 | 午夜福利一区二区三区在线观看 | 亚洲理论电影在线观看 | 国产成人一区二区三区别 | 亚洲а∨天堂久久精品2021 | 18禁黄网站男男禁片免费观看 | 精品国产一区av天美传媒 | 亚洲精品一区二区三区在线观看 | 日本欧美一区二区三区乱码 | 色一情一乱一伦 | 国精产品一品二品国精品69xx | 四十如虎的丰满熟妇啪啪 | 思思久久99热只有频精品66 | 丝袜人妻一区二区三区 | 内射巨臀欧美在线视频 | 国产明星裸体无码xxxx视频 | 99久久亚洲精品无码毛片 | 中文字幕日产无线码一区 | 国产免费久久精品国产传媒 | 亚洲人成影院在线观看 | 在线播放免费人成毛片乱码 | 国产精品高潮呻吟av久久 | 牲欲强的熟妇农村老妇女 | 久久久久人妻一区精品色欧美 | 亚洲第一网站男人都懂 | 亚洲 另类 在线 欧美 制服 | 性生交片免费无码看人 | 亚洲中文字幕av在天堂 | 无遮无挡爽爽免费视频 | 乌克兰少妇xxxx做受 | 国产一区二区三区日韩精品 | 成人亚洲精品久久久久 | 装睡被陌生人摸出水好爽 | 欧美一区二区三区视频在线观看 | 免费人成网站视频在线观看 | 精品午夜福利在线观看 | 亚洲gv猛男gv无码男同 | 婷婷丁香六月激情综合啪 | 国产高清av在线播放 | 中文字幕亚洲情99在线 | 奇米影视7777久久精品人人爽 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 亚洲 a v无 码免 费 成 人 a v | 性欧美牲交xxxxx视频 | 黑人大群体交免费视频 | 欧美野外疯狂做受xxxx高潮 | 国产精品久久久久9999小说 | 99视频精品全部免费免费观看 | 亚洲人成网站免费播放 | 99久久精品日本一区二区免费 | 精品亚洲韩国一区二区三区 | 亚洲人成影院在线观看 | 国产色视频一区二区三区 | 亚洲无人区一区二区三区 | 女人被爽到呻吟gif动态图视看 | 377p欧洲日本亚洲大胆 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 国产精品理论片在线观看 | 欧美放荡的少妇 | 国产疯狂伦交大片 | 2020久久超碰国产精品最新 | 4hu四虎永久在线观看 | 国产人妻精品一区二区三区不卡 | 国内精品九九久久久精品 | 亚洲а∨天堂久久精品2021 | 亚洲 另类 在线 欧美 制服 | 日本大乳高潮视频在线观看 | 少妇人妻大乳在线视频 | 双乳奶水饱满少妇呻吟 | 国产成人久久精品流白浆 | 亚洲色偷偷男人的天堂 | 国产精品久久久久久无码 | 露脸叫床粗话东北少妇 | 色一情一乱一伦一视频免费看 | 色狠狠av一区二区三区 | 日日鲁鲁鲁夜夜爽爽狠狠 | 亚洲第一无码av无码专区 | 久青草影院在线观看国产 | 国产绳艺sm调教室论坛 | 久久午夜无码鲁丝片 | 啦啦啦www在线观看免费视频 | 久久综合给久久狠狠97色 | 无码中文字幕色专区 | 国产尤物精品视频 | 久久精品一区二区三区四区 | 久久久成人毛片无码 | 在线 国产 欧美 亚洲 天堂 | 香港三级日本三级妇三级 | 99久久精品日本一区二区免费 | 亚洲国产精品一区二区美利坚 | 国产精品人人妻人人爽 | 老熟女重囗味hdxx69 | 国产精品第一区揄拍无码 | 18无码粉嫩小泬无套在线观看 | 免费观看又污又黄的网站 | 国产成人无码一二三区视频 | 亚洲成av人在线观看网址 | 无码人妻av免费一区二区三区 | 午夜福利电影 | 国产精品久久久久无码av色戒 | 蜜桃臀无码内射一区二区三区 | 久久亚洲中文字幕精品一区 | 国产精品多人p群无码 | 成人亚洲精品久久久久 | 99久久久国产精品无码免费 | 欧美日本免费一区二区三区 | 无码国模国产在线观看 | 国产成人无码午夜视频在线观看 | 亚洲精品一区二区三区四区五区 | 少妇性俱乐部纵欲狂欢电影 | 成人精品一区二区三区中文字幕 | 亚洲精品成a人在线观看 | 日本乱偷人妻中文字幕 | 国产精品丝袜黑色高跟鞋 | 成年女人永久免费看片 | 国产精品久久久久7777 | 国产97人人超碰caoprom | 国产精品毛片一区二区 | 一区二区传媒有限公司 | 成在人线av无码免观看麻豆 | 狠狠cao日日穞夜夜穞av | 人妻人人添人妻人人爱 | 久久www免费人成人片 | 少妇的肉体aa片免费 | 欧美国产日韩久久mv | 亚洲精品成人福利网站 | 我要看www免费看插插视频 | 国产黄在线观看免费观看不卡 | 国色天香社区在线视频 | 午夜精品一区二区三区的区别 | 成熟妇人a片免费看网站 | 亚洲日韩av一区二区三区四区 | 亚洲gv猛男gv无码男同 | 久久精品女人天堂av免费观看 | 中文字幕av无码一区二区三区电影 | 99久久精品无码一区二区毛片 | 99久久精品国产一区二区蜜芽 | 久久国产36精品色熟妇 | 欧美性黑人极品hd | 无码精品人妻一区二区三区av | 少妇被黑人到高潮喷出白浆 | 性色欲情网站iwww九文堂 | 色综合久久中文娱乐网 | 全黄性性激高免费视频 | 精品日本一区二区三区在线观看 | а√资源新版在线天堂 | 亚洲va中文字幕无码久久不卡 | 无码福利日韩神码福利片 | 任你躁国产自任一区二区三区 | 无码一区二区三区在线观看 | 色综合久久88色综合天天 | 无码精品国产va在线观看dvd | 欧美xxxx黑人又粗又长 | 无码国产乱人伦偷精品视频 | 狠狠色欧美亚洲狠狠色www | 久久天天躁狠狠躁夜夜免费观看 | 久久精品国产精品国产精品污 | 亚洲国产精品美女久久久久 | 亚洲狠狠婷婷综合久久 | 少妇一晚三次一区二区三区 | 亚洲日本一区二区三区在线 | 成年女人永久免费看片 | 国产办公室秘书无码精品99 | 无码播放一区二区三区 | 日日躁夜夜躁狠狠躁 | 欧美变态另类xxxx | aa片在线观看视频在线播放 | 女人高潮内射99精品 | 日本乱人伦片中文三区 | 高潮毛片无遮挡高清免费视频 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 性生交大片免费看l | 丰满护士巨好爽好大乳 | 美女黄网站人色视频免费国产 | 麻豆国产97在线 | 欧洲 | 97精品人妻一区二区三区香蕉 | 夫妻免费无码v看片 | 国内精品九九久久久精品 | 亚洲 另类 在线 欧美 制服 | 亚洲a无码综合a国产av中文 | 牲欲强的熟妇农村老妇女视频 | 精品国产一区二区三区av 性色 | 日产精品99久久久久久 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 色噜噜亚洲男人的天堂 | 国产成人精品必看 | 国产免费久久久久久无码 | 免费网站看v片在线18禁无码 | 亚洲gv猛男gv无码男同 | 亚洲aⅴ无码成人网站国产app | 欧美乱妇无乱码大黄a片 | 精品国产青草久久久久福利 | 午夜福利不卡在线视频 | 午夜无码人妻av大片色欲 | 欧美精品无码一区二区三区 | 国产真人无遮挡作爱免费视频 | 国产深夜福利视频在线 | 欧美性生交活xxxxxdddd | 久久综合狠狠综合久久综合88 | 欧美35页视频在线观看 | 国产偷自视频区视频 | 久久久亚洲欧洲日产国码αv | 日本xxxx色视频在线观看免费 | 一区二区三区乱码在线 | 欧洲 | 午夜嘿嘿嘿影院 | 国产成人无码一二三区视频 | 88国产精品欧美一区二区三区 | 波多野结衣av一区二区全免费观看 | 天堂亚洲2017在线观看 | 性色欲网站人妻丰满中文久久不卡 | 欧美人妻一区二区三区 | 成人一在线视频日韩国产 | 人妻无码αv中文字幕久久琪琪布 | 国语自产偷拍精品视频偷 | 色欲久久久天天天综合网精品 | 国产高清av在线播放 | 5858s亚洲色大成网站www | 兔费看少妇性l交大片免费 | 中文字幕av伊人av无码av | 人人爽人人澡人人高潮 | 99麻豆久久久国产精品免费 | 九月婷婷人人澡人人添人人爽 | 成人精品一区二区三区中文字幕 | 国产成人午夜福利在线播放 | 秋霞特色aa大片 | 国产三级久久久精品麻豆三级 | 国产午夜精品一区二区三区嫩草 | 少女韩国电视剧在线观看完整 | 一本一道久久综合久久 | 欧美国产日韩久久mv | 亚洲熟妇色xxxxx欧美老妇 | 亚洲精品一区二区三区四区五区 | 欧美黑人乱大交 | 成人影院yy111111在线观看 | 国产亚洲精品久久久ai换 | 色欲久久久天天天综合网精品 | 精品国产一区二区三区av 性色 | 乌克兰少妇性做爰 | 国产美女精品一区二区三区 | 曰韩少妇内射免费播放 | 日日摸天天摸爽爽狠狠97 | 97色伦图片97综合影院 | 中文字幕av无码一区二区三区电影 | 国产精品亚洲lv粉色 | 亚洲精品久久久久avwww潮水 | 久久久久亚洲精品中文字幕 | 精品成在人线av无码免费看 | 国产口爆吞精在线视频 | 无码国模国产在线观看 | a片免费视频在线观看 | 在线看片无码永久免费视频 | 久久久久99精品成人片 | 大乳丰满人妻中文字幕日本 | 黑人巨大精品欧美一区二区 | 久久久久99精品成人片 | 性生交大片免费看l | 小鲜肉自慰网站xnxx | 成人女人看片免费视频放人 | 国产午夜无码精品免费看 | 国产亚洲视频中文字幕97精品 | 露脸叫床粗话东北少妇 | 熟妇女人妻丰满少妇中文字幕 | 成人亚洲精品久久久久 | 国产亚洲美女精品久久久2020 | 日本大香伊一区二区三区 | 久久国产精品萌白酱免费 | 亚洲国精产品一二二线 | 狠狠cao日日穞夜夜穞av | 国产美女精品一区二区三区 | 欧美三级不卡在线观看 | 亚洲人成网站在线播放942 | 影音先锋中文字幕无码 | 国产精品va在线观看无码 | 亚洲成熟女人毛毛耸耸多 | 婷婷丁香五月天综合东京热 | 奇米综合四色77777久久 东京无码熟妇人妻av在线网址 | 97色伦图片97综合影院 | 国产又爽又黄又刺激的视频 | 精品久久久无码人妻字幂 | 在线天堂新版最新版在线8 | 2020最新国产自产精品 | 老司机亚洲精品影院无码 | 天堂亚洲2017在线观看 | 欧美精品国产综合久久 | 动漫av网站免费观看 | 亚洲欧美色中文字幕在线 | 天天做天天爱天天爽综合网 | 97久久精品无码一区二区 | 中文字幕人妻无码一夲道 | 国产在线无码精品电影网 | 人妻少妇精品久久 | 5858s亚洲色大成网站www | 国产舌乚八伦偷品w中 | 日本大乳高潮视频在线观看 | 波多野结衣av一区二区全免费观看 | 久久精品国产一区二区三区 | 久久午夜无码鲁丝片秋霞 | 最新国产乱人伦偷精品免费网站 | 国产精品自产拍在线观看 | 荫蒂添的好舒服视频囗交 | 国产成人一区二区三区在线观看 | 白嫩日本少妇做爰 | 捆绑白丝粉色jk震动捧喷白浆 | 亚洲国产精品无码久久久久高潮 | 无码av中文字幕免费放 | 亚洲欧美日韩成人高清在线一区 | 欧洲精品码一区二区三区免费看 | 久久久久av无码免费网 | 狠狠亚洲超碰狼人久久 | 国产国语老龄妇女a片 | 熟妇人妻激情偷爽文 | 久久久久久亚洲精品a片成人 | 国产精品美女久久久 | 亚洲狠狠色丁香婷婷综合 | 欧美日韩视频无码一区二区三 | 丰满少妇女裸体bbw | 99久久久国产精品无码免费 | 玩弄人妻少妇500系列视频 | 久久精品国产99精品亚洲 | 久久久无码中文字幕久... | 亚洲一区二区观看播放 | 亚洲综合无码一区二区三区 | 国产成人无码av片在线观看不卡 | 久久综合九色综合欧美狠狠 | 欧洲极品少妇 | 国产一区二区三区精品视频 | 亚洲日本在线电影 | 日韩人妻系列无码专区 | 精品偷拍一区二区三区在线看 | 午夜无码区在线观看 | 一个人免费观看的www视频 | 成人一区二区免费视频 | 国产综合久久久久鬼色 | 国产农村妇女aaaaa视频 撕开奶罩揉吮奶头视频 | 欧美精品一区二区精品久久 | 999久久久国产精品消防器材 | 成人欧美一区二区三区黑人 | 人人澡人人透人人爽 | 久久久亚洲欧洲日产国码αv | 亚洲色成人中文字幕网站 | 亚洲精品午夜国产va久久成人 | 国产精品久久久一区二区三区 | 国产精品亚洲五月天高清 | 午夜男女很黄的视频 | 成人免费视频视频在线观看 免费 | 欧美放荡的少妇 | 性啪啪chinese东北女人 | 永久黄网站色视频免费直播 | 国产av剧情md精品麻豆 | 久久熟妇人妻午夜寂寞影院 | 中文字幕+乱码+中文字幕一区 | 少妇被粗大的猛进出69影院 | 精品无人国产偷自产在线 | 亚洲码国产精品高潮在线 | 300部国产真实乱 | 成人三级无码视频在线观看 | 欧美丰满熟妇xxxx性ppx人交 | 99视频精品全部免费免费观看 | 亚洲成a人片在线观看无码3d | 亚洲日韩av一区二区三区中文 | 对白脏话肉麻粗话av | 亚洲自偷自偷在线制服 | 国产熟妇高潮叫床视频播放 | 亚洲日韩av一区二区三区中文 | 99精品无人区乱码1区2区3区 | 欧美肥老太牲交大战 | 国产午夜手机精彩视频 | 久久亚洲中文字幕无码 | 精品 日韩 国产 欧美 视频 | 亚洲男人av天堂午夜在 | 久久97精品久久久久久久不卡 | 亚洲日韩av一区二区三区中文 | 国产精品亚洲综合色区韩国 | 全黄性性激高免费视频 | 久久无码人妻影院 | 国产精品久久久久久无码 | 一本色道久久综合狠狠躁 | 丁香花在线影院观看在线播放 | 久久国产自偷自偷免费一区调 | 精品国产麻豆免费人成网站 | 黄网在线观看免费网站 | 麻豆成人精品国产免费 | 亚洲国产午夜精品理论片 | 中文字幕av无码一区二区三区电影 | www国产亚洲精品久久久日本 | 亚洲 高清 成人 动漫 | 亚洲精品国偷拍自产在线观看蜜桃 | 午夜福利试看120秒体验区 | 丰满妇女强制高潮18xxxx | 亚洲色www成人永久网址 | 免费国产成人高清在线观看网站 | 国产综合久久久久鬼色 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 无码人妻黑人中文字幕 | 久久国语露脸国产精品电影 | 荫蒂添的好舒服视频囗交 | 夜夜影院未满十八勿进 | 亚洲熟妇色xxxxx欧美老妇y | 99视频精品全部免费免费观看 | 国产免费久久精品国产传媒 | 日本va欧美va欧美va精品 | 欧美日本免费一区二区三区 | 亚洲精品欧美二区三区中文字幕 | 亚洲人成人无码网www国产 | 天下第一社区视频www日本 | 高潮毛片无遮挡高清免费 | 国产人妻精品一区二区三区不卡 | 日韩 欧美 动漫 国产 制服 | 欧美日韩久久久精品a片 | 少妇愉情理伦片bd | 国产精品毛片一区二区 | 在线成人www免费观看视频 | av在线亚洲欧洲日产一区二区 | 超碰97人人射妻 | 欧美成人午夜精品久久久 | 国产莉萝无码av在线播放 | av无码电影一区二区三区 | 装睡被陌生人摸出水好爽 | 国产又粗又硬又大爽黄老大爷视 | 国产免费久久精品国产传媒 | 暴力强奷在线播放无码 | 日本精品人妻无码免费大全 | 成人无码视频在线观看网站 | 又大又紧又粉嫩18p少妇 | 久久久久99精品成人片 | 亚洲日韩av片在线观看 | 久久久久久国产精品无码下载 | 国产精品嫩草久久久久 | 亚洲精品一区二区三区婷婷月 | 天堂亚洲免费视频 | 一个人看的www免费视频在线观看 | 国产亚洲精品久久久闺蜜 | 国产69精品久久久久app下载 | 国产精品人妻一区二区三区四 | 久久亚洲国产成人精品性色 | 图片区 小说区 区 亚洲五月 | 波多野结衣高清一区二区三区 | 亚洲国产成人av在线观看 | 久精品国产欧美亚洲色aⅴ大片 | 久久国产36精品色熟妇 | 人人妻人人澡人人爽人人精品 | 中文字幕无码av波多野吉衣 | 欧美喷潮久久久xxxxx | 日本乱人伦片中文三区 | 久久伊人色av天堂九九小黄鸭 | 国产av人人夜夜澡人人爽麻豆 | 日本爽爽爽爽爽爽在线观看免 | 亚洲综合无码一区二区三区 | 免费中文字幕日韩欧美 | 强开小婷嫩苞又嫩又紧视频 | 国产香蕉尹人视频在线 | 我要看www免费看插插视频 | 国产网红无码精品视频 | 人人爽人人澡人人高潮 | 国产极品视觉盛宴 | 亚洲一区二区三区无码久久 | 小鲜肉自慰网站xnxx | 中文字幕日韩精品一区二区三区 | 国产综合久久久久鬼色 | 欧美精品无码一区二区三区 | 永久免费观看美女裸体的网站 | 国产成人精品必看 | 天天综合网天天综合色 | 久久久久成人片免费观看蜜芽 | 高潮毛片无遮挡高清免费 | 亚洲自偷自偷在线制服 | 永久黄网站色视频免费直播 | 国产一精品一av一免费 | 中文字幕日韩精品一区二区三区 | 又色又爽又黄的美女裸体网站 | 兔费看少妇性l交大片免费 | av无码电影一区二区三区 | 久久成人a毛片免费观看网站 | 在教室伦流澡到高潮hnp视频 | 97夜夜澡人人爽人人喊中国片 | 亚洲自偷自拍另类第1页 | 国产精品无码mv在线观看 | 欧美激情综合亚洲一二区 | 黑森林福利视频导航 | 国产人成高清在线视频99最全资源 | 日本www一道久久久免费榴莲 | 老子影院午夜伦不卡 | 中文字幕日产无线码一区 | 亚洲大尺度无码无码专区 | 久久综合色之久久综合 | 永久黄网站色视频免费直播 | 免费观看又污又黄的网站 | 久久精品中文字幕大胸 | 免费国产黄网站在线观看 | 亚洲另类伦春色综合小说 | 夜精品a片一区二区三区无码白浆 | 最近的中文字幕在线看视频 | 日本熟妇乱子伦xxxx | 欧美熟妇另类久久久久久多毛 | 欧美日韩视频无码一区二区三 | 天天躁日日躁狠狠躁免费麻豆 | 18禁黄网站男男禁片免费观看 | 日韩精品成人一区二区三区 | 亚洲精品无码人妻无码 | 欧美35页视频在线观看 | 精品人人妻人人澡人人爽人人 | 熟妇激情内射com | 性史性农村dvd毛片 | 国产在线精品一区二区高清不卡 | 国产av久久久久精东av | 波多野结衣高清一区二区三区 | 国产精品无码成人午夜电影 | 国产猛烈高潮尖叫视频免费 | 人妻夜夜爽天天爽三区 | 人人妻人人澡人人爽欧美一区九九 | 国产极品美女高潮无套在线观看 | а天堂中文在线官网 | 黑人玩弄人妻中文在线 | 水蜜桃av无码 | 蜜桃av抽搐高潮一区二区 | 成人女人看片免费视频放人 | 好男人www社区 | 日本在线高清不卡免费播放 | 国产av一区二区精品久久凹凸 | 鲁一鲁av2019在线 | 丰满人妻被黑人猛烈进入 | 久久久久av无码免费网 | 少妇愉情理伦片bd | 麻豆国产人妻欲求不满 | 成人aaa片一区国产精品 | 男女猛烈xx00免费视频试看 | 内射巨臀欧美在线视频 | 狠狠色噜噜狠狠狠7777奇米 | 乱码午夜-极国产极内射 | 欧美日韩综合一区二区三区 | 国产精品高潮呻吟av久久 | 一本大道久久东京热无码av | 久久亚洲国产成人精品性色 | 人妻天天爽夜夜爽一区二区 | 熟女体下毛毛黑森林 | 国产网红无码精品视频 | 大肉大捧一进一出好爽视频 | 欧美老人巨大xxxx做受 | 成人三级无码视频在线观看 | 正在播放东北夫妻内射 | 中文字幕av无码一区二区三区电影 | 精品国产麻豆免费人成网站 | 波多野结衣aⅴ在线 | 亚洲精品国偷拍自产在线观看蜜桃 | 四虎国产精品一区二区 | 夜夜高潮次次欢爽av女 | 55夜色66夜色国产精品视频 | 中文字幕av无码一区二区三区电影 | 人人妻人人澡人人爽欧美精品 | 老熟妇仑乱视频一区二区 | 18禁止看的免费污网站 | 亚洲一区二区三区在线观看网站 | 亚洲s码欧洲m码国产av | 国产乱人伦偷精品视频 | 久久久精品人妻久久影视 | 四虎国产精品一区二区 | 国产成人精品三级麻豆 | 无码av免费一区二区三区试看 | 亚洲欧洲日本综合aⅴ在线 | 好爽又高潮了毛片免费下载 | 久久精品女人的天堂av | 久久99精品国产麻豆 | 67194成是人免费无码 | 人妻少妇被猛烈进入中文字幕 | 99re在线播放 | 强开小婷嫩苞又嫩又紧视频 | 狠狠色丁香久久婷婷综合五月 | 久久午夜无码鲁丝片 | 99久久人妻精品免费二区 | 亚洲va欧美va天堂v国产综合 | 99久久精品国产一区二区蜜芽 | av小次郎收藏 | 免费视频欧美无人区码 | 又色又爽又黄的美女裸体网站 | 亚欧洲精品在线视频免费观看 | 欧美日韩一区二区三区自拍 | 国产精品理论片在线观看 | 亚洲乱亚洲乱妇50p | 亚洲s色大片在线观看 | 国内揄拍国内精品人妻 | 强开小婷嫩苞又嫩又紧视频 | 亚洲精品国产a久久久久久 | 国产精品美女久久久网av | 亚洲欧美国产精品专区久久 | 2019午夜福利不卡片在线 | 国产又爽又猛又粗的视频a片 | 乌克兰少妇性做爰 | 久久精品无码一区二区三区 | 88国产精品欧美一区二区三区 | 国产农村妇女高潮大叫 | 牲欲强的熟妇农村老妇女视频 | 中文字幕无码免费久久99 | 丰满少妇女裸体bbw | 亚洲国产一区二区三区在线观看 | 无码国产乱人伦偷精品视频 | 97资源共享在线视频 | 黄网在线观看免费网站 | 男人扒开女人内裤强吻桶进去 | 国产人妻精品一区二区三区 | 偷窥村妇洗澡毛毛多 | 色综合久久网 | 欧美老妇交乱视频在线观看 | 亚洲大尺度无码无码专区 | 亚洲精品国产品国语在线观看 | 亚洲国产高清在线观看视频 | 亚洲爆乳精品无码一区二区三区 | 台湾无码一区二区 | 兔费看少妇性l交大片免费 | 色偷偷人人澡人人爽人人模 | 精品偷拍一区二区三区在线看 | 综合激情五月综合激情五月激情1 | 午夜福利一区二区三区在线观看 | 伦伦影院午夜理论片 | 无码av免费一区二区三区试看 | 奇米影视7777久久精品 | 国产精品嫩草久久久久 | 我要看www免费看插插视频 | 无码av免费一区二区三区试看 | 久久久中文字幕日本无吗 | 亚洲天堂2017无码中文 | 高清国产亚洲精品自在久久 | 性色欲网站人妻丰满中文久久不卡 |