AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

分享我做的nginx+keepalived做的主主架构(一）

2017-11-08 1294
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
传统型负载均衡 CLB，每月750个小时 15LCU
推荐场景：
搭建高可用的微信/支付宝小程序服务
简介：

最近帮朋友设计他们公司的系统架构，这是第2次进行帮他设计了，第一个是把他的lanmp架构（所有的应用与服务、数据库都在一个服务器里）改成1+1模式（nginx+mysql），最近由于他公司的名气上升，每天的在线数在4000-6000左右，并发最多能到9000左右，现有的架构有一些支撑不了，所有我又重新的帮他设计了一下。

我新设计的架构为dns（轮询）+nginx+keepalived（主主模式，2台服务器）+web（应用服务器2台服务器）+mysql（采用drbd+hearbeat+mysql，2台服务器），总共6台服务器，系统均为rhel 5.4 x86_64。

此篇文章既可以是一个完整性的架构，也可以是nginx+keepalived单主、双主模式负载均衡，nginx的反向代理，msyql的drbd+heartbeat+msyql的高可用，以及通过nfs来实现web服务器间的数据共享，分开与结合都是一篇很有深度的文章（个人认为），所以我没有把这些用到的技术分开来写，通过一篇文章写能够给大家更好的理解，否则单个的描述可能会造成大家对单个技术能更好的理解，但对整体的不会有太好的了解（虽然我也想分开写，这样能多几个推荐）。

下面是我做的架构图：

网络通信的过程如下：
1、用户想进行浏览www.netnvo.com网站的内容，先进行本地dns查看，是否有此网站的ip，如果没有则去上级dns进行查找；
2、如果找到，则跳转到相应的ip上；
3、请求到达负载均衡层时，根据相应的策略把请求分发到web服务器里；
4、web服务器接收到请求，进行处理并发送读写操作请求给数据库；
5、数据库收到读写操作请求，完成此项操作并反馈给web服务器；
6、web服务器收到反馈并发送处理完成的数据到负载均衡里；
7、负载均衡收到数据并发送给用户；
8、用户收到了数据，以一定的方式进行查看（不限于浏览器）；
下面是我具体的安装过程
一、负载均衡层
1、在test1与test2里安装nginx
可以使用我之前发的文章“ 模块化的安装lnmp脚本”来进行自动化安装nginx，博客地址为：http://dl528888.blog.51cto.com/2382721/816542。
先进行下载lnmp脚本 

 
 
    

  
  
  1. [root@test1 tmp]# wget http://202.96.42.117/soft/install_lnmp.tar.gz 
    2.
先解压 

 
 
    

  
  
  1. [root@nginx1 tmp]# tar zxf install_lnmp.tar.gz  
    2. 

  
  
  2. [root@nginx1 tmp]# ll  
    3. 

  
  
  3. total 64456  
    4. 

  
  
  4. -rwxr-xr-x 1 root root    13767 Mar 25 01:23 install_lnmp.sh  
    5. 

  
  
  5. -rw-r--r-- 1 root root 65910919 Mar 25 01:24 install_lnmp.tar.gz  
    6. 

  
  
  6. drwxr-xr-x 5 root root     4096 Mar 23 09:54 soft  
    7.
然后在检测是否安装lnmp 

 
 
    

  
  
  1. [root@test1 tmp]# sh install_lnmp.sh install_check  
    2. 

  
  
  2. Sat Apr  7 03:29:46 MDT 2012 Start install!  
    3. 

  
  
  3. ========================== Check install ================================  
    4. 

  
  
  4. Error: /usr/local/nginx not found!!!  
    5. 

  
  
  5. Error: /usr/local/php not found!!!  
    6. 

  
  
  6. Error: /usr/local/mysql not found!!!  
    7. 

  
  
  7. ========================== Check install ================================  
    8. 

  
  
  8. Sorry,Failed to install LNMP!  
    9. 

  
  
  9. Please check errors and logs.  
    10. 

  
  
  10. Sat Apr  7 03:29:46 MDT 2012 Finish install!  
    11. 

  
  
  11. Total runtime: 0 Seconds  
    12.
从输出看到没有安装lnmp软件
那现在我们进行nginx安装，在安装之前，先进行依赖库的安装 

 
 
    

  
  
  1. [root@test1 tmp]# sh install_lnmp.sh init 
    2.
然后在安装nginx 

 
 
    

  
  
  1. [root@test1 tmp]# sh install_lnmp.sh install_nginx 
    2.
完成之后进行检测 

 
 
    

  
  
  1. [root@test1 tmp]#  sh install_lnmp.sh install_check  
    2. 

  
  
  2. Sat Apr  7 04:48:05 MDT 2012 Start install!  
    3. 

  
  
  3. ========================== Check install ================================  
    4. 

  
  
  4. /usr/local/nginx [found]  
    5. 

  
  
  5. Error: /usr/local/php not found!!!  
    6. 

  
  
  6. Error: /usr/local/mysql not found!!!  
    7. 

  
  
  7. ========================== Check install ================================  
    8. 

  
  
  8. Sorry,Failed to install LNMP!  
    9. 

  
  
  9. Please check errors and logs.  
    10. 

  
  
  10. Sat Apr  7 04:48:05 MDT 2012 Finish install!  
    11. 

  
  
  11. Total runtime: 0 Seconds  
    12.
可以发现nginx是安装完成 

 
 
    

  
  
  1. [root@test1 sbin]# curl -i 127.0.0.1  
    2. 

  
  
  2. HTTP/1.1 200 OK  
    3. 

  
  
  3. Server: YWS/1.0  
    4. 

  
  
  4. Date: Sat, 07 Apr 2012 10:08:39 GMT  
    5. 

  
  
  5. Content-Type: text/html  
    6. 

  
  
  6. Content-Length: 151  
    7. 

  
  
  7. Last-Modified: Sat, 07 Apr 2012 09:38:53 GMT  
    8. 

  
  
  8. Connection: keep-alive  
    9. 

  
  
  9. Accept-Ranges: bytes  
    10. 

  
  
  10.  
    11. 

  
  
  11. <html> 
    12. 

  
  
  12. <head> 
    13. 

  
  
  13. <title>Welcome to nginx!</title> 
    14. 

  
  
  14. </head> 
    15. 

  
  
  15. <body bgcolor="white" text="black"> 
    16. 

  
  
  16. <center><h1>Welcome to nginx!</h1></center> 
    17. 

  
  
  17. </body> 
    18. 

  
  
  18. </html> 
    19.
能打开nginx的首页了
下面是我为nginx负载均衡做的配置
nginx的配置为 
 


  
  
    

   
   
  1. user  www www;  
    2. 

   
   
  2.  
    3. 

   
   
  3. worker_processes 8;  
    4. 

   
   
  4.  
    5. 

   
   
  5. error_log  /usr/local/nginx/logs/nginx_error.log  crit;  
    6. 

   
   
  6.  
    7. 

   
   
  7. pid        /usr/local/nginx/nginx.pid;  
    8. 

   
   
  8.  
    9. 

   
   
  9. #Specifies the value for maximum file descriptors that can be opened by this process.   
    10. 

   
   
  10. worker_rlimit_nofile 65535;  
    11. 

   
   
  11.  
    12. 

   
   
  12. events   
    13. 

   
   
  13. {  
    14. 

   
   
  14.   use epoll;  
    15. 

   
   
  15.   worker_connections 65535;  
    16. 

   
   
  16. }  
    17. 

   
   
  17.  
    18. 

   
   
  18. http   
    19. 

   
   
  19. {  
    20. 

   
   
  20.   include       mime.types;  
    21. 

   
   
  21.   default_type  application/octet-stream;  
    22. 

   
   
  22.  
    23. 

   
   
  23.   #charset  gb2312;  
    24. 

   
   
  24.         
    25. 

   
   
  25.   server_names_hash_bucket_size 128;  
    26. 

   
   
  26.   client_header_buffer_size 32k;  
    27. 

   
   
  27.   large_client_header_buffers 4 32k;  
    28. 

   
   
  28.   client_max_body_size 8m;  
    29. 

   
   
  29.         
    30. 

   
   
  30.   sendfile on;  
    31. 

   
   
  31.   tcp_nopush     on;  
    32. 

   
   
  32.  
    33. 

   
   
  33.   keepalive_timeout 60;  
    34. 

   
   
  34.  
    35. 

   
   
  35.   tcp_nodelay on;  
    36. 

   
   
  36.  
    37. 

   
   
  37.   fastcgi_connect_timeout 300;  
    38. 

   
   
  38.   fastcgi_send_timeout 300;  
    39. 

   
   
  39.   fastcgi_read_timeout 300;  
    40. 

   
   
  40.   fastcgi_buffer_size 64k;  
    41. 

   
   
  41.   fastcgi_buffers 4 64k;  
    42. 

   
   
  42.   fastcgi_busy_buffers_size 128k;  
    43. 

   
   
  43.   fastcgi_temp_file_write_size 128k;  
    44. 

   
   
  44.  
    45. 

   
   
  45.   gzip on;  
    46. 

   
   
  46.   gzip_min_length  1k;  
    47. 

   
   
  47.   gzip_buffers     4 16k;  
    48. 

   
   
  48.   gzip_http_version 1.0;  
    49. 

   
   
  49.   gzip_comp_level 2;  
    50. 

   
   
  50.   gzip_types       text/plain application/x-javascript text/css application/xml;  
    51. 

   
   
  51.   gzip_vary on;  
    52. 

   
   
  52.  
    53. 

   
   
  53.   #limit_zone  crawler  $binary_remote_addr  10m;  
    54. 

   
   
  54.  
    55. 

   
   
  55.     upstream web1       ##定义负载均衡组为web1  
    56. 

   
   
  56. {  
    57. 

   
   
  57.         ip_hash;                  
    58. 

   
   
  58.         server 10.1.88.168:80;  
    59. 

   
   
  59.         server 10.1.88.177:80;  
    60. 

   
   
  60.  
    61. 

   
   
  61.  }  
    62. 

   
   
  62.   server  
    63. 

   
   
  63.   {  
    64. 

   
   
  64.     listen       80;  
    65. 

   
   
  65.     server_name  www.netnov.com;  
    66. 

   
   
  66.     location / {   
    67. 

   
   
  67.     root /data/www;   
    68. 

   
   
  68.     index index.php index.htm index.html;   
    69. 

   
   
  69.     proxy_redirect off;   
    70. 

   
   
  70.     proxy_set_header Host $host;   
    71. 

   
   
  71.     proxy_set_header X-Real-IP $remote_addr;   
    72. 

   
   
  72.     proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;   
    73. 

   
   
  73.     proxy_pass http://web1;   
    74. 

   
   
  74.     }   
    75. 

   
   
  75.     access_log  off;   
    76. 

   
   
  76.   }                               
    77. 

   
   
  77.     location ~ .*\.(php|php5)?$  
    78. 

   
   
  78.     {        
    79. 

   
   
  79.       #fastcgi_pass  unix:/tmp/php-cgi.sock;  
    80. 

   
   
  80.       fastcgi_pass  127.0.0.1:9000;  
    81. 

   
   
  81.       fastcgi_index index.php;  
    82. 

   
   
  82.       include fastcgi.conf;  
    83. 

   
   
  83.    }  
    84. 

   
   
  84.       
    85. 

   
   
  85.     location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$  
    86. 

   
   
  86.     {  
    87. 

   
   
  87.     expires      30d;  
    88. 

   
   
  88.     }  
    89. 

   
   
  89.     location ~ .*\.(js|css)?$  
    90. 

   
   
  90.     {  
    91. 

   
   
  91.       expires      1h;  
    92. 

   
   
  92.     }      
    93. 

   
   
  93.  
    94. 

   
   
  94.     location /                  ###当后端服务器遇到500、502、504、错误与超时，自动将请求转发给web1组的另一台服务器，达到故障转移  
    95. 

   
   
  95.     {  
    96. 

   
   
  96.     proxy_pass  http://web1;  
    97. 

   
   
  97.     proxy_next_upstream http_500 http_502 http_504 error timeout invalid_header;  
    98. 

   
   
  98.     include     /usr/local/nginx/conf/proxy.conf;  
    99. 

   
   
  99. }     
    100. 

   
   
  100.     log_format  access  '$remote_addr - $remote_user [$time_local] "$request" '  
    101. 

   
   
  101.               '$status $body_bytes_sent "$http_referer" '  
    102. 

   
   
  102.               '"$http_user_agent" $http_x_forwarded_for';  
    103. 

   
   
  103.     access_log  /usr/local/nginx/logs/access.log  access;  
    104. 

   
   
  104. }  
    105. 

   
   
  105.   server  
    106. 

   
   
  106.   {  
    107. 

   
   
  107.     listen  80;  
    108. 

   
   
  108.     server_name  status.netnov.com;  
    109. 

   
   
  109.  
    110. 

   
   
  110.     location / {  
    111. 

   
   
  111.     stub_status on;  
    112. 

   
   
  112.     access_log   off;  
    113. 

   
   
  113.     }  
    114. 

   
   
  114.   }  
    115. 

   
   
  115. }  
    116. 

   
   
  116.  
    117. 

   
   
  117.  
    118.
test2也跟test1一样安装，就不在进行重复演示了
2、安装 keepalived
先下载
master端的（也就是test1） 

 
 
    

  
  
  1. [root@test1 src]# wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz  
    2. 

  
  
  2. [root@test1 src]# tar zxvf keepalived-1.2.2.tar.gz  
    3. 

  
  
  3. [root@test1 src]# cd keepalived-1.2.2  
    4. 

  
  
  4. [root@test1 keepalived-1.2.2]# ./configure --prefix=/usr/local/keepalived  
    5. 

  
  
  5. [root@test1 keepalived-1.2.2]# make  
    6. 

  
  
  6. [root@test1 keepalived-1.2.2]# make install  
    7. 

  
  
  7. [root@test1 keepalived-1.2.2]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/  
    8. 

  
  
  8. [root@test1 keepalived-1.2.2]# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/  
    9. 

  
  
  9. [root@test1 keepalived-1.2.2]# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/  
    10. 

  
  
  10. [root@test1 keepalived-1.2.2]# mkdir /etc/keepalived  
    11. 

  
  
  11. [root@test1 tmp]# chkconfig --add keepalived  
    12. 

  
  
  12. [root@test1 tmp]# chmod 755 /etc/init.d/keepalived   
    13. 

  
  
  13. [root@test1 tmp]# chkconfig keepalived on  
    14. 

  
  
  14. [root@test1 tmp]#vim /etc/keepalived/keepalived.conf  
    15. 

  
  
  15. global_defs {  
    16. 

  
  
  16.  notification_email {  
    17. 

  
  
  17.  denglei@ctfo.com  
    18. 

  
  
  18. }  
    19. 

  
  
  19. notification_email_from root@test1.com  
    20. 

  
  
  20. smtp_server 127.0.0.1  
    21. 

  
  
  21. smtp_connect_timeout 30  
    22. 

  
  
  22. router_id LVS_DEVEL  
    23. 

  
  
  23. }  
    24. 

  
  
  24. vrrp_script chk_http_port {   
    25. 

  
  
  25.                 script "/tmp/monitor_nginx.sh"  
    26. 

  
  
  26.                 interval 2  
    27. 

  
  
  27.                 weight 2  
    28. 

  
  
  28. }   
    29. 

  
  
  29. vrrp_instance VI_1 {   
    30. 

  
  
  30.         state MASTER  
    31. 

  
  
  31.         interface eth0  
    32. 

  
  
  32.         virtual_router_id 51  
    33. 

  
  
  33.         priority 101  
    34. 

  
  
  34.         authentication {   
    35. 

  
  
  35.                      auth_type PASS  
    36. 

  
  
  36.                      auth_pass eric  
    37. 

  
  
  37.         }   
    38. 

  
  
  38.         track_script {   
    39. 

  
  
  39.                 chk_http_port  
    40. 

  
  
  40.         }   
    41. 

  
  
  41.         virtual_ipaddress {   
    42. 

  
  
  42.              10.1.88.200  
    43. 

  
  
  43.         }   
    44. 

  
  
  44. }  
    45.

下面是监控nginx的脚本


 
 
    

  
  
  1. [root@test1 tmp]# cat monitor_nginx.sh  
    2. 

  
  
  2. #!/bin/bash   
    3. 

  
  
  3. A=`ps -C nginx --no-header |wc -l`  
    4. 

  
  
  4. if [ $A -eq 0 ];then   
    5. 

  
  
  5.                 /usr/local/nginx/sbin/nginx  
    6. 

  
  
  6.                 sleep 3  
    7. 

  
  
  7.                 if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then  
    8. 

  
  
  8.                        killall keepalived  
    9. 

  
  
  9.                 fi  
    10. 

  
  
  10. fi  
    11. 

  
  
  11. [root@test1 tmp]#service keepalived restart  
    12.
BACKUP端的 

 
 
    

  
  
  1. [root@test2 src]# wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz  
    2. 

  
  
  2. [root@test2 src]# tar zxvf keepalived-1.2.2.tar.gz  
    3. 

  
  
  3. [root@test2 src]# cd keepalived-1.2.2  
    4. 

  
  
  4. [root@test2 keepalived-1.2.2]# ./configure --prefix=/usr/local/keepalived  
    5. 

  
  
  5. [root@test2 keepalived-1.2.2]# make  
    6. 

  
  
  6. [root@test2 keepalived-1.2.2]# make install  
    7. 

  
  
  7. [root@test2 keepalived-1.2.2]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/  
    8. 

  
  
  8. [root@test2 keepalived-1.2.2]# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/  
    9. 

  
  
  9. [root@test2 keepalived-1.2.2]# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/  
    10. 

  
  
  10. [root@test2 keepalived-1.2.2]# mkdir /etc/keepalived  
    11. 

  
  
  11. [root@test2 keepalived-1.2.2]# vim /etc/keepalived/keepalived.conf  
    12. 

  
  
  12. [root@test2 tmp]# chkconfig --add keepalived  
    13. 

  
  
  13. [root@test2 tmp]# chmod 755 /etc/init.d/keepalived   
    14. 

  
  
  14. [root@test2 tmp]# chkconfig keepalived on  
    15. 

  
  
  15. [root@test2 tmp]#vim /etc/keepalived/keepalived.conf  
    16. 

  
  
  16. global_defs {  
    17. 

  
  
  17.  notification_email {  
    18. 

  
  
  18.  denglei@ctfo.com  
    19. 

  
  
  19. }  
    20. 

  
  
  20. notification_email_from root@test2.com  
    21. 

  
  
  21. smtp_server 127.0.0.1  
    22. 

  
  
  22. smtp_connect_timeout 30  
    23. 

  
  
  23. router_id LVS_DEVEL  
    24. 

  
  
  24. }  
    25. 

  
  
  25. vrrp_script chk_http_port {   
    26. 

  
  
  26.                 script "/tmp/monitor_nginx.sh"  
    27. 

  
  
  27.                 interval 2  
    28. 

  
  
  28.                 weight 2  
    29. 

  
  
  29. }   
    30. 

  
  
  30. vrrp_instance VI_1 {   
    31. 

  
  
  31.         stateBACKUP  
    32. 

  
  
  32.         interface eth0  
    33. 

  
  
  33.         virtual_router_id 51  
    34. 

  
  
  34.         priority 100  
    35. 

  
  
  35.         authentication {   
    36. 

  
  
  36.                      auth_type PASS  
    37. 

  
  
  37.                      auth_pass eric  
    38. 

  
  
  38.         }   
    39. 

  
  
  39.         track_script {   
    40. 

  
  
  40.                 chk_http_port  
    41. 

  
  
  41.         }   
    42. 

  
  
  42.         virtual_ipaddress {   
    43. 

  
  
  43.              10.1.88.200  
    44. 

  
  
  44.         }   
    45. 

  
  
  45. }  
    46. 

  
  
  46. [root@test2 tmp]# cat monitor_nginx.sh  
    47. 

  
  
  47. #!/bin/bash   
    48. 

  
  
  48. A=`ps -C nginx --no-header |wc -l`  
    49. 

  
  
  49. if [ $A -eq 0 ];then   
    50. 

  
  
  50.                 /usr/local/nginx/sbin/nginx  
    51. 

  
  
  51.                 sleep 3  
    52. 

  
  
  52.                 if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then  
    53. 

  
  
  53.                        killall keepalived  
    54. 

  
  
  54.                 fi  
    55. 

  
  
  55. fi  
    56. 

  
  
  56.  
    57. 

  
  
  57. [root@test2 tmp]#service keepalived restart  
    58.

现在test1与test2的keepalived都安装完成，是单主模式的负载均衡，由于我想把网站做成负载均衡双主模式，所以我在test1与test2的keepalived.conf里做了修改：

test1里的


 
 
    

  
  
  1. global_defs {  
    2. 

  
  
  2.  notification_email {  
    3. 

  
  
  3.  denglei@ctfo.com  
    4. 

  
  
  4. }  
    5. 

  
  
  5. notification_email_from root@test1.com  
    6. 

  
  
  6. smtp_server 127.0.0.1  
    7. 

  
  
  7. smtp_connect_timeout 30  
    8. 

  
  
  8. router_id LVS_DEVEL  
    9. 

  
  
  9. }  
    10. 

  
  
  10. vrrp_script chk_http_port {   
    11. 

  
  
  11.                 script "/tmp/monitor_nginx.sh"  
    12. 

  
  
  12.                 interval 2  
    13. 

  
  
  13.                 weight 2  
    14. 

  
  
  14. }   
    15. 

  
  
  15. vrrp_instance VI_1 {   
    16. 

  
  
  16.         state MASTER  
    17. 

  
  
  17.         interface eth0  
    18. 

  
  
  18.         virtual_router_id 51  
    19. 

  
  
  19.         priority 101  
    20. 

  
  
  20.         authentication {   
    21. 

  
  
  21.                      auth_type PASS  
    22. 

  
  
  22.                      auth_pass eric  
    23. 

  
  
  23.         }   
    24. 

  
  
  24.         track_script {   
    25. 

  
  
  25.                 chk_http_port  
    26. 

  
  
  26.         }   
    27. 

  
  
  27.         virtual_ipaddress {   
    28. 

  
  
  28.              10.1.88.200  
    29. 

  
  
  29.         }   
    30. 

  
  
  30. }  
    31. 

  
  
  31. vrrp_instance VI_2 {   
    32. 

  
  
  32.         state BACKUP  
    33. 

  
  
  33.         interface eth0  
    34. 

  
  
  34.         virtual_router_id 52  
    35. 

  
  
  35.         priority 90  
    36. 

  
  
  36.         authentication {   
    37. 

  
  
  37.                      auth_type PASS  
    38. 

  
  
  38.                      auth_pass eric  
    39. 

  
  
  39.         }   
    40. 

  
  
  40.         track_script {   
    41. 

  
  
  41.                 chk_http_port  
    42. 

  
  
  42.         }   
    43. 

  
  
  43.         virtual_ipaddress {   
    44. 

  
  
  44.              10.1.88.201  
    45. 

  
  
  45.         }   
    46. 

  
  
  46. }  
    47.
test2里的 

 
 
    

  
  
  1. global_defs {  
    2. 

  
  
  2.  notification_email {  
    3. 

  
  
  3.  denglei@ctfo.com  
    4. 

  
  
  4. }  
    5. 

  
  
  5. notification_email_from root@test1.com  
    6. 

  
  
  6. smtp_server 127.0.0.1  
    7. 

  
  
  7. smtp_connect_timeout 30  
    8. 

  
  
  8. router_id LVS_DEVEL  
    9. 

  
  
  9. }  
    10. 

  
  
  10. vrrp_script chk_http_port {   
    11. 

  
  
  11.                 script "/tmp/monitor_nginx.sh"  
    12. 

  
  
  12.                 interval 2  
    13. 

  
  
  13.                 weight 2  
    14. 

  
  
  14. }   
    15. 

  
  
  15. vrrp_instance VI_1 {   
    16. 

  
  
  16.         state BACKUP  
    17. 

  
  
  17.         interface eth0  
    18. 

  
  
  18.         virtual_router_id 51  
    19. 

  
  
  19.         priority 90  
    20. 

  
  
  20.         authentication {   
    21. 

  
  
  21.                      auth_type PASS  
    22. 

  
  
  22.                      auth_pass eric  
    23. 

  
  
  23.         }   
    24. 

  
  
  24.         track_script {   
    25. 

  
  
  25.                 chk_http_port  
    26. 

  
  
  26.         }   
    27. 

  
  
  27.         virtual_ipaddress {   
    28. 

  
  
  28.              10.1.88.200  
    29. 

  
  
  29.         }   
    30. 

  
  
  30. }  
    31. 

  
  
  31. vrrp_instance VI_2 {   
    32. 

  
  
  32.         state MASTER  
    33. 

  
  
  33.         interface eth0  
    34. 

  
  
  34.         virtual_router_id 52  
    35. 

  
  
  35.         priority 101  
    36. 

  
  
  36.         authentication {   
    37. 

  
  
  37.                      auth_type PASS  
    38. 

  
  
  38.                      auth_pass eric  
    39. 

  
  
  39.         }   
    40. 

  
  
  40.         track_script {   
    41. 

  
  
  41.                 chk_http_port  
    42. 

  
  
  42.         }   
    43. 

  
  
  43.         virtual_ipaddress {   
    44. 

  
  
  44.              10.1.88.201  
    45. 

  
  
  45.         }   
    46. 

  
  
  46. }  
    47.
这样主主模式的负载均衡就部署完成
二、 web层的部署
1、安装 nginx+php(fastcgi)
可以使用源码安装，也可以使用我的 lnmp脚本进行安装
先下载模块化安装lnmp脚本 

 
 
    

  
  
  1. [root@test4 tmp]# wget http://202.96.42.117/soft/install_lnmp.tar.gz 
    2.
然后解压 

 
 
    

  
  
  1. [root@test4 tmp]# tar zxf install_lnmp.tar.gz 
    2.
然后安装nginx 

 
 
    

  
  
  1. [root@test4 tmp]# sh install_lnmp.sh install_nginx  
    2.
安装完成在进行php的安装 

 
 
    

  
  
  1. [root@test4 tmp]# sh install_lnmp.sh install_php 
    2.
都安装完成之后，进行检查 

 
 
    

  
  
  1.  [root@test4 tmp]#  sh install_lnmp.sh install_check  
    2. 

  
  
  2. Sat Apr  7 04:48:05 MDT 2012 Start install!  
    3. 

  
  
  3. ========================== Check install ================================  
    4. 

  
  
  4. /usr/local/nginx [found]  
    5. 

  
  
  5. /usr/local/php  [found]  
    6. 

  
  
  6. Error: /usr/local/mysql not found!!!  
    7. 

  
  
  7. ========================== Check install ================================  
    8. 

  
  
  8. Sorry,Failed to install LNMP!  
    9. 

  
  
  9. Please check errors and logs.  
    10. 

  
  
  10. Sat Apr  7 04:55:05 MDT 2012 Finish install!  
    11. 

  
  
  11. Total runtime: 0 Seconds  
    12.
可以看到nginx与php都安装完成
现在开始安装数据库层
三、数据库层
安装drbd
1、修改hosts文件
test6的 

 
 
    

  
  
  1. [root@test6 /]# cat /etc/hosts  
    2. 

  
  
  2. # Do not remove the following line, or various programs  
    3. 

  
  
  3. # that require network functionality will fail.  
    4. 

  
  
  4. 127.0.0.1   localhost.localdomain localhost  
    5. 

  
  
  5. ::1     localhost6.localdomain6 localhost6  
    6. 

  
  
  6. 10.1.88.175 test6  
    7. 

  
  
  7. 10.1.88.179 test7  
    8.

test7的 

 
 
    

  
  
  1. [root@test7 /]# cat /etc/hosts  
    2. 

  
  
  2. # Do not remove the following line, or various programs  
    3. 

  
  
  3. # that require network functionality will fail.  
    4. 

  
  
  4. 127.0.0.1   localhost.localdomain localhost  
    5. 

  
  
  5. ::1     localhost6.localdomain6 localhost6  
    6. 

  
  
  6. 10.1.88.175 test6  
    7. 

  
  
  7. 10.1.88.179 test7  
    8. 
 
 




 
 
    

  
  
  1. [root@test6 ~]# yum install -y drbd83 kmod-drbd83 heartbeat*  
    2. 

  
  
  2. [root@test6 ~]# rpm -qa|grep heartbeat  
    3. 

  
  
  3. heartbeat-pils-2.1.3-3.el5.centos  
    4. 

  
  
  4. heartbeat-stonith-2.1.3-3.el5.centos  
    5. 

  
  
  5. heartbeat-gui-2.1.3-3.el5.centos  
    6. 

  
  
  6. heartbeat-devel-2.1.3-3.el5.centos  
    7. 

  
  
  7. heartbeat-ldirectord-2.1.3-3.el5.centos  
    8. 

  
  
  8.  
    9.
加载模块 

 
 
    

  
  
  1. [root@test6 ~]# modprobe drbd 
    2.
在test6与test7都查看是否加载成功 

 
 
    

  
  
  1. [root@test6~]# lsmod |grep drbd  
    2. 

  
  
  2. drbd                  298760  3  
    3. 

  
  
  3. [root@test7~]# lsmod |grep drbd  
    4. 

  
  
  4. drbd                  298760  5  
    5. 

  
  
  5.  
    6. 

  
  
  6. [root@test6/]# cat /etc/drbd.conf  
    7. 

  
  
  7. #  
    8. 

  
  
  8. # please have a a look at the example configuration file in  
    9. 

  
  
  9. # /usr/share/doc/drbd83/drbd.conf  
    10. 

  
  
  10. #  
    11. 

  
  
  11.  
    12. 

  
  
  12. #  
    13. 

  
  
  13. # please have a a look at the example configuration file in  
    14. 

  
  
  14. # /usr/share/doc/drbd83/drbd.conf  
    15. 

  
  
  15. global {  
    16. 

  
  
  16.     # minor-count 64;  
    17. 

  
  
  17.     # dialog-refresh 5; # 5 seconds  
    18. 

  
  
  18.     # disable-ip-verification;  
    19. 

  
  
  19. usage-count no;     
    20. 

  
  
  20. }  
    21. 

  
  
  21.  
    22. 

  
  
  22. common {  
    23. 

  
  
  23.   syncer { rate 100M; }  
    24. 

  
  
  24. }  
    25. 

  
  
  25.  
    26. 

  
  
  26. resource db {  
    27. 

  
  
  27.   protocol      C;  
    28. 

  
  
  28.   handlers {  
    29. 

  
  
  29.     pri-on-incon-degr "echo o > /proc/sysrq-trigger ; halt -f";  
    30. 

  
  
  30.     pri-lost-after-sb "echo o > /proc/sysrq-trigger ; halt -f";  
    31. 

  
  
  31.     local-io-error "echo o > /proc/sysrq-trigger ; halt -f";  
    32. 

  
  
  32.     fence-peer "/usr/lib64/heartbeat/drbd-peer-outdater -t 5";  
    33. 

  
  
  33.     pri-lost "echo pri-lost. Have a look at the log files. | mail -s 'DRBD Alert' denglei@ctfo.com";  
    34. 

  
  
  34.     split-brain "/usr/lib/drbd/notify-split-brain.sh denglei@ctfo.com";  
    35. 

  
  
  35.     out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh denglei@ctfo.com";  
    36. 

  
  
  36.   }  
    37. 

  
  
  37.  
    38. 

  
  
  38.   net {  
    39. 

  
  
  39.     # timeout           60;  
    40. 

  
  
  40.     # connect-int       10;  
    41. 

  
  
  41.     # ping-int          10;  
    42. 

  
  
  42.     # max-buffers     2048;  
    43. 

  
  
  43.     # max-epoch-size  2048;  
    44. 

  
  
  44.     cram-hmac-alg "sha1";  
    45. 

  
  
  45. shared-secret "MySQL-HA";  
    46. 

  
  
  46.   }  
    47. 

  
  
  47.  
    48. 

  
  
  48.   disk {  
    49. 

  
  
  49.     on-io-error detach;  
    50. 

  
  
  50. fencing resource-only;  
    51. 

  
  
  51.   }  
    52. 

  
  
  52.  
    53. 

  
  
  53.   startup {  
    54. 

  
  
  54.     wfc-timeout 120;  
    55. 

  
  
  55.     degr-wfc-timeout 120;  
    56. 

  
  
  56.   }  
    57. 

  
  
  57.  
    58. 

  
  
  58.   device        /dev/drbd1;  
    59. 

  
  
  59.    
    60. 

  
  
  60.   on test6 {  
    61. 

  
  
  61. disk        /dev/sda2;  
    62. 

  
  
  62. address     10.1.88.175:7788;  
    63. 

  
  
  63.     meta-disk   internal;  
    64. 

  
  
  64.   }  
    65. 

  
  
  65.   on test7 {  
    66. 

  
  
  66. disk        /dev/sda6;  
    67. 

  
  
  67. address     10.1.88.179:7788;  
    68. 

  
  
  68.     meta-disk   internal;  
    69. 

  
  
  69.   }  
    70. 

  
  
  70.  }
    71.
把配置文件另传给test7一份 

 
 
    

  
  
  1. [root@test6 ~]# scp /etc/drbd.conf 10.1.88.179:/etc/  
    2. 

  
  
  2. root@10.1.88.179's password:   
    3. 

  
  
  3. drbd.conf                                                                 100%  687     0.7KB/s   00:00    
    4. 

  
  
  4. 初始化meta-data area：  
    5. 

  
  
  5. [root@test6 ~]# drbdadm create-md db  
    6. 

  
  
  6. md_offset 2730786816  
    7. 

  
  
  7. al_offset 2730754048  
    8. 

  
  
  8. bm_offset 2730668032  
    9. 

  
  
  9.  
    10. 

  
  
  10. Found ext3 filesystem  
    11. 

  
  
  11.      2666788 kB data area apparently used  
    12. 

  
  
  12.      2666668 kB left usable by current configuration  
    13. 

  
  
  13.  
    14. 

  
  
  14. Device size would be truncated, which  
    15. 

  
  
  15. would corrupt data and result in  
    16. 

  
  
  16. 'access beyond end of device' errors.  
    17. 

  
  
  17. You need to either  
    18. 

  
  
  18.    * use external meta data (recommended)  
    19. 

  
  
  19.    * shrink that filesystem first  
    20. 

  
  
  20.    * zero out the device (destroy the filesystem)  
    21. 

  
  
  21. Operation refused.  
    22. 

  
  
  22.  
    23. 

  
  
  23. Command 'drbdmeta 1 v08 /dev/sda2 internal create-md' terminated with exit code 40  
    24. 

  
  
  24. drbdadm create-md db: exited with code 40  
    25.
出现这个问题使用  dd 指令将一些资料塞到 /dev/sda2后再执行 drbdadm create-md db（db是drbd.conf里设置的资源名称） 指令即可顺利执行 

 
 
    

  
  
  1. [root@test6 ~]# drbdadm create-md db  
    2. 

  
  
  2. Writing meta data...  
    3. 

  
  
  3. initializing activity log  
    4. 

  
  
  4. NOT initialized bitmap  
    5. 

  
  
  5. New drbd meta data block successfully created.  
    6. 

  
  
  6. success  
    7.
成功的完成了初始化meta-data area，在test7里进行初始化 

 
 
    

  
  
  1. [root@test7 /]# drbdadm create-md db  
    2. 

  
  
  2.   --==  Thank you for participating in the global usage survey  ==--  
    3. 

  
  
  3. The server's response is:  
    4. 

  
  
  4.  
    5. 

  
  
  5. you are the 2845th user to install this version  
    6. 

  
  
  6. md_offset 2730754048  
    7. 

  
  
  7. al_offset 2730721280  
    8. 

  
  
  8. bm_offset 2730635264  
    9. 

  
  
  9.  
    10. 

  
  
  10. Found some data 
    11. 

  
  
  11.  
    12. 

  
  
  12.  ==> This might destroy existing data! <==  
    13. 

  
  
  13.  
    14. 

  
  
  14. Do you want to proceed?  
    15. 

  
  
  15. [need to type 'yes' to confirm] yes  
    16. 

  
  
  16.  
    17. 

  
  
  17. You want me to create a v08 style flexible-size internal meta data block.  
    18. 

  
  
  18. There appears to be a v08 flexible-size internal meta data block  
    19. 

  
  
  19. already in place on /dev/sda6 at byte offset 2730754048  
    20. 

  
  
  20. Do you really want to overwrite the existing v08 meta-data?  
    21. 

  
  
  21. [need to type 'yes' to confirm] yes  
    22. 

  
  
  22.  
    23. 

  
  
  23. Writing meta data...  
    24. 

  
  
  24. initializing activity log  
    25. 

  
  
  25. NOT initialized bitmap  
    26. 

  
  
  26. New drbd meta data block successfully created.  
    27.
然后在test6与test7里都启动drbd 

 
 
    

  
  
  1. [root@test6 ~]# /etc/init.d/drbd start  
    2. 

  
  
  2. Starting DRBD resources: [ d(db) s(db) n(db) ]........  
    3. 

  
  
  3. [root@test7 /]# /etc/init.d/drbd start  
    4. 

  
  
  4. Starting DRBD resources: [ d(db) s(db) n(db) ].  
    5.
通过端口查看drbd是否启动 

 
 
    

  
  
  1. [root@test6 ~]# netstat -antl|grep 7789  
    2. 

  
  
  2. tcp        0      0 10.1.88.175:7789            10.1.88.179:50990           ESTABLISHED   
    3. 

  
  
  3. tcp        0      0 10.1.88.175:40323           10.1.88.179:7789            ESTABLISHED  
    4. 

  
  
  4. [root@test7 /]# netstat -antl|grep 7789  
    5. 

  
  
  5. tcp        0      0 10.1.88.179:7789            10.1.88.175:40323           ESTABLISHED   
    6. 

  
  
  6. tcp        0      0 10.1.88.179:50990           10.1.88.175:7789            ESTABLISHED  
    7.
查看test6与test7的drbd状态 

 
 
    

  
  
  1. [root@test6 ~]# cat /proc/drbd   
    2. 

  
  
  2. version: 8.3.12 (api:88/proto:86-96)  
    3. 

  
  
  3. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    4. 

  
  
  4.  
    5. 

  
  
  5.  1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----  
    6. 

  
  
  6.     ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:2666636  
    7. 

  
  
  7. [root@test7 /]# cat /proc/drbd   
    8. 

  
  
  8. version: 8.3.12 (api:88/proto:86-96)  
    9. 

  
  
  9. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    10. 

  
  
  10. 1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----  
    11. 

  
  
  11.     ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:2666636  
    12.
对输出的含义解释如下：
ro表示角色信息，第一次启动drbd时，两个drbd节点默认都处于Secondary状态，
ds是磁盘状态信息，“Inconsistent/Inconsisten”，即为“不一致/不一致”状态，表示两个节点的磁盘数据处于不一致状态。
Ns表示网络发送的数据包信息。
Dw是磁盘写信息
Dr是磁盘读信息
途中中显示了drbd两台主机都是"备机"状态.DRBD无法判断哪一方为主机,以哪一方的磁盘数据作为标准数据.所以,我们需要初始化，比如我选择test6作为主机 

 
 
    

  
  
  1. [root@test6 ~]# drbdsetup /dev/drbd1 primary -o 
    2.
此命令只在主机里输入
然后在查看test6与test7的drbd状态 

 
 
    

  
  
  1. [root@test6 ~]# cat /proc/drbd   
    2. 

  
  
  2. version: 8.3.12 (api:88/proto:86-96)  
    3. 

  
  
  3. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    4. 

  
  
  4.  
    5. 

  
  
  5.  1: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----  
    6. 

  
  
  6.     ns:29696 nr:0 dw:0 dr:29696 al:0 bm:1 lo:0 pe:7 ua:0 ap:0 ep:1 wo:b oos:2637836  
    7. 

  
  
  7.     [>....................] sync'ed:  1.3% (2637836/2666636)K  
    8. 

  
  
  8.     finish: 0:03:00 speed: 14,400 (14,400) K/sec  
    9. 

  
  
  9. [root@test7 /]# cat /proc/drbd   
    10. 

  
  
  10. version: 8.3.12 (api:88/proto:86-96)  
    11. 

  
  
  11. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    12. 

  
  
  12. 1: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r-----  
    13. 

  
  
  13.     ns:0 nr:1328128 dw:1328128 dr:0 al:0 bm:81 lo:0 pe:8 ua:0 ap:0 ep:1 wo:b oos:1338508  
    14. 

  
  
  14.     [=========>..........] sync'ed: 50.0% (1338508/2666636)K  
    15. 

  
  
  15.     finish: 0:02:10 speed: 10,224 (10,216) want: 10,240 K/sec  
    16.

从test6的drbd状态看出：“ro状态现在变为“Primary/Secondary”，“ds”状态也变为“UpToDate/Inconsistent”，也就是“实时/不一致”状态，现在数据正在主备两个主机的磁盘间进行同步，且同步进度为1.3%，同步速度每秒14M左右。
等一会在查看drbd的状态：


 
 
    

  
  
  1. [root@test6 /]# cat /proc/drbd   
    2. 

  
  
  2. version: 8.3.12 (api:88/proto:86-96)  
    3. 

  
  
  3. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    4. 

  
  
  4.  
    5. 

  
  
  5.  1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----  
    6. 

  
  
  6.     ns:2666636 nr:0 dw:0 dr:2666636 al:0 bm:163 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0  
    7. 

  
  
  7. [root@test7 /]# cat /proc/drbd   
    8. 

  
  
  8. version: 8.3.12 (api:88/proto:86-96)  
    9. 

  
  
  9. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    10. 

  
  
  10. 1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----  
    11. 

  
  
  11.     ns:0 nr:2666636 dw:2666636 dr:0 al:0 bm:163 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0  
    12.
从test6与test7的drbd输出可知，磁盘状态都是"实时",表示数据同步完成了.现在把主机的drbd挂载到一个目录上进行使用.备机的DRBD设备无法被挂载,因为它是用来接收主机数据的,由drbd负责操作，也就是说如果test6为主机时，可以用/dev/drbd1挂载到一个目录，然后你可以进入那个目录里进行各种操作，test7为备机，那么test7就不能把/dev/drbd1挂载到一个目录，必须等得test7为主机的时候，才能把/dev/drbd1挂载到一个目录。
在挂载/dev/drbd1的时候，需要先给/dev/drbd1格式化文件系统 

 
 
    

  
  
  1. [root@test6 /]# mkfs.ext3 /dev/drbd1  
    2. 

  
  
  2. mke2fs 1.39 (29-May-2006)  
    3. 

  
  
  3. Filesystem label=  
    4. 

  
  
  4. OS type: Linux  
    5. 

  
  
  5. Block size=4096 (log=2)  
    6. 

  
  
  6. Fragment size=4096 (log=2)  
    7. 

  
  
  7. 333984 inodes, 666659 blocks  
    8. 

  
  
  8. 33332 blocks (5.00%) reserved for the super user  
    9. 

  
  
  9. First data block=0 
    10. 

  
  
  10. Maximum filesystem blocks=683671552 
    11. 

  
  
  11. 21 block groups  
    12. 

  
  
  12. 32768 blocks per group, 32768 fragments per group  
    13. 

  
  
  13. 15904 inodes per group  
    14. 

  
  
  14. Superblock backups stored on blocks:   
    15. 

  
  
  15.     32768, 98304, 163840, 229376, 294912  
    16. 

  
  
  16.  
    17. 

  
  
  17. Writing inode tables: done                              
    18. 

  
  
  18. Creating journal (16384 blocks): done  
    19. 

  
  
  19. Writing superblocks and filesystem accounting information: done  
    20. 

  
  
  20.  
    21. 

  
  
  21. This filesystem will be automatically checked every 35 mounts or  
    22. 

  
  
  22. 180 days, whichever comes first.  Use tune2fs -c or -i to override.  
    23.
然后把/dev/drbd1挂载到/mnt目录下（这个目录可以随便指定） 

 
 
    

  
  
  1. [root@test6 /]# mount /dev/drbd1 /mnt 
    2.
然后进入目录查看内容 

 
 
    

  
  
  1. [root@test6 /]# cd /mnt/  
    2. 

  
  
  2. [root@test6 mnt]# ll  
    3. 

  
  
  3. total 16  
    4. 

  
  
  4. drwx------ 2 root root 16384 Mar  8 22:28 lost+found  
    5.
然后我们可以在mnt里创建个文件，看看是否能保存到备机test7的drbd里 

 
 
    

  
  
  1. [root@test6 mnt]# touch create_by_test6  
    2. 

  
  
  2. [root@test6 mnt]# ll  
    3. 

  
  
  3. total 16  
    4. 

  
  
  4. -rw-r--r-- 1 root root     0 Mar  8 22:32 create_by_test6  
    5. 

  
  
  5. drwx------ 2 root root 16384 Mar  8 22:28 lost+found  
    6.
然后到备机test7里查看是否有这个文件，这个操作也是drbd的主备机切换,你需要将drbd的主备机互换一下.如果不执行这个操作，你到备机test7里查看会发现/mnt目录里什么都没有 

 
 
    

  
  
  1. [root@test7 /]# cd /mnt/  
    2. 

  
  
  2. [root@test7 mnt]# ll  
    3. 

  
  
  3. total 0  
    4.
在主机test6上,先要卸载掉drbd设备，或者卸载/dev/drbd1挂载的/mnt目录
需要先退出mnt目录，然后在执行卸载，否则会出现umount: /mnt: device is busy 

 
 
    

  
  
  1. [root@test6 mnt]# cd ..  
    2. 

  
  
  2. [root@test6 /]# umount /mnt  
    3.
然后使用drbdadm secondary db把主机变为备机 

 
 
    

  
  
  1. [root@test6 /]# drbdadm secondary db  
    2. 

  
  
  2. [root@test6 /]# cat /proc/drbd   
    3. 

  
  
  3. version: 8.3.12 (api:88/proto:86-96)  
    4. 

  
  
  4. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    5. 

  
  
  5.  
    6. 

  
  
  6.  1: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----  
    7. 

  
  
  7.     ns:2775056 nr:0 dw:108420 dr:2666773 al:38 bm:163 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0  
    8.
现在test6变成了备机，我们接下来到test7里操作，使用drbdadm primary db，使test7变成主机 

 
 
    

  
  
  1. [root@test7 /]# drbdadm primary db  
    2. 

  
  
  2. [root@test7 /]# cat /proc/drbd   
    3. 

  
  
  3. version: 8.3.12 (api:88/proto:86-96)  
    4. 

  
  
  4. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    5. 

  
  
  5. 1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----  
    6. 

  
  
  6.     ns:0 nr:2775056 dw:2775056 dr:0 al:0 bm:163 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0  
    7.
从test7的drbd输出可以看到，test7成为了主机
然后把drbd挂载到mnt目录下，查看是否有test6里建立的文件 

 
 
    

  
  
  1. [root@test7 /]# mount /dev/drbd1 /mnt  
    2. 

  
  
  2. [root@test7 /]# cd /mnt  
    3. 

  
  
  3. [root@test7 mnt]# ll  
    4. 

  
  
  4. total 16  
    5. 

  
  
  5. -rw-r--r-- 1 root root     0 Mar  8 22:32 create_by_test6  
    6. 

  
  
  6. drwx------ 2 root root 16384 Mar  8 22:28 lost+found  
    7.
可以看出，test7成为主机时，收到了之前主机test6建立的文件夹。
现在drbd安装完成，我们继续安装heartbeat与mysql
 
2、安装 heartbeat与mysql
前文已经yum安装了heartbeat所以现在就不安装了
1、查看heartbeat的配置文件ha.cf 

 
 
    

  
  
  1. [root@test6 ~]# grep -v "^#" /etc/ha.d/ha.cf   
    2. 

  
  
  2. debugfile /var/log/ha-debug                  #错误的日志  
    3. 

  
  
  3. logfile /var/log/ha-log                      #日志  
    4. 

  
  
  4. logfacility local0                           #这个是设置heartbeat的日志，这里是用的系统日志  
    5. 

  
  
  5. keepalive 2                                  #心跳的频率  
    6. 

  
  
  6. deadtime 10                                  #死亡时间，如果其他节点10s回应，则认为死亡  
    7. 

  
  
  7. warntime 5                                   #如果死亡之后，5s还没有连接则把警告信息写入日志里  
    8. 

  
  
  8. initdead 120                                 #在其他节点死掉之后，系统启动前需要等待的时间，一般为deadtime的两倍  
    9. 

  
  
  9. udpport 694                                  #用udp协议的694端口通信  
    10. 

  
  
  10. ucast eth0 10.1.88.179                       #另外一个节点的ip  
    11. 

  
  
  11. auto_failback off                            #设置当死亡节点恢复正常之后是否重新启用；容易发生数据不一致的情况，必须项，不然后面hb_standby命令无法使用；  
    12. 

  
  
  12. node    test6                                #节点名（通过uname -n查询）  
    13. 

  
  
  13. node    test7                                #节点名（通过uname -n查询）  
    14. 

  
  
  14. ping 10.1.88.254                             #ping网关查看网络情况（当网络或者heartbeat失效是使用）  
    15. 

  
  
  15. respawn hacluster /usr/lib/heartbeat/ipfail  #这里是配置ip绑定和切换的功能， ipfail就是控制ip切换的程序  
    16. 

  
  
  16.  
    17. 

  
  
  17. apiauth ipfail gid=haclient uid=hacluster    #控制ip切换的时候所使用的用户  
    18.
2、设置节点之间的通信密钥 

 
 
    

  
  
  1. [root@test6 ~]# grep -v "^#" /etc/ha.d/authkeys   
    2. 

  
  
  2. auth 1  
    3. 

  
  
  3. 1 crc  
    4.
3、使用heartbeat的haresources来定义资源 

 
 
    

  
  
  1. [root@test6 ~]# grep -v "^#" /etc/ha.d/haresources   
    2. 

  
  
  2.  
    3. 

  
  
  3. test6 IPaddr::10.1.88.199/24/eth0:1 mysqld_umount mysqld  
    4.
解释：
1） test6做为默认的drbd的primary机器（如果想指定哪个主机为drbd的primary则这里输入那台主机的uname -n的名字）
2） Ipaddr为/etc/ha.d/resource.d目录里面的一个可执行文件。resource.d里面的所有文件都是可执行的，如果不行，执行下面的指令
#chmod 755 -R /etc/ha.d/resource.d
3) 10.1.88.199/24/eth0:1是指定的 heartbeat的VIP
4) mysqld_umount 定义的脚本
5） mysqld:这个也是/etc/ha.d/resource.d目录下的内容，就是mysql的启动程序。如果没有，可以执行下面指令
#ln -s /etc/init.d/mysqld /etc/ha.d/resource.d/mysqld
 
三、安装mysql
可以使用源码安装，也可以使用yum安装，下面我使用的是源码安装（生产环境一定要是有最新稳定版的源码安装）
先下载模块化安装lnmp脚本 

 
 
    

  
  
  1. [root@test6 tmp]# wget http://202.96.42.117/soft/install_lnmp.tar.gz 
    2.
然后解压 

 
 
    

  
  
  1. [root@test6 tmp]# tar zxf install_lnmp.tar.gz 
    2.
然后安装nginx 

 
 
    

  
  
  1. [root@test6 tmp]# sh install_lnmp.sh install_mysql 
    2.
test7也是一样
在启动heartbeat 

 
 
    

  
  
  1. [root@test6 /]# service heartbeat start  
    2. 

  
  
  2. logd is already running  
    3. 

  
  
  3. Starting High-Availability services:   
    4. 

  
  
  4. 2012/03/14_21:36:50 INFO:  Resource is stopped  
    5. 

  
  
  5.                                                            [FAILED]  
    6. 

  
  
  6. heartbeat[6579]: 2012/03/14_21:36:50 ERROR: Client child command [/usr/lib/heartbeat/ipfail] is not executable  
    7. 

  
  
  7. heartbeat[6579]: 2012/03/14_21:36:50 ERROR: Heartbeat not started: configuration error.  
    8. 

  
  
  8. heartbeat[6579]: 2012/03/14_21:36:50 ERROR: Configuration error, heartbeat not started.  
    9.
如果发生这个问题，先查看你的系统是32还是64位的，如果是64位的，则在ha.cf
里respawn hacluster /usr/lib/heartbeat/ipfail吧这个lib改成lib64；32位的不变。
 
启动之后，进入mysql，建立数据库db，然后建立表t，插入数据 

 
 
    

  
  
  1. [root@test6 resource.d]# mysql  
    2. 

  
  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
    3. 

  
  
  3. Your MySQL connection id is 2  
    4. 

  
  
  4. Server version: 5.0.95 Source distribution  
    5. 

  
  
  5.  
    6. 

  
  
  6. Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.  
    7. 

  
  
  7.  
    8. 

  
  
  8. Oracle is a registered trademark of Oracle Corporation and/or its  
    9. 

  
  
  9. affiliates. Other names may be trademarks of their respective  
    10. 

  
  
  10. owners.  
    11. 

  
  
  11.  
    12. 

  
  
  12. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.  
    13. 

  
  
  13.  
    14. 

  
  
  14. mysql> show databases;  
    15. 

  
  
  15. +--------------------+  
    16. 

  
  
  16. | Database           |  
    17. 

  
  
  17. +--------------------+  
    18. 

  
  
  18. | information_schema |   
    19. 

  
  
  19. | 2051               |   
    20. 

  
  
  20. | lost+found         |   
    21. 

  
  
  21. | mysql              |   
    22. 

  
  
  22. | test               |   
    23. 

  
  
  23. +--------------------+  
    24. 

  
  
  24. 5 rows in set (0.04 sec)  
    25. 

  
  
  25.  
    26. 

  
  
  26. mysql> create database db;  
    27. 

  
  
  27. Query OK, 1 row affected (0.01 sec)  
    28. 

  
  
  28.  
    29. 

  
  
  29. mysql> use db  
    30. 

  
  
  30. Database changed  
    31. 

  
  
  31. mysql> create table t (id int(10),name char(10));  
    32. 

  
  
  32. Query OK, 0 rows affected (0.05 sec)  
    33. 

  
  
  33.  
    34. 

  
  
  34. mysql> insert into t values(001,"test1"),(002,"test2");  
    35. 

  
  
  35. Query OK, 2 rows affected (0.00 sec)  
    36. 

  
  
  36. Records: 2  Duplicates: 0  Warnings: 0  
    37. 

  
  
  37.  
    38. 

  
  
  38. mysql> select * from t;  
    39. 

  
  
  39. +------+----------+  
    40. 

  
  
  40. | id   | name     |  
    41. 

  
  
  41. +------+----------+  
    42. 

  
  
  42. |    1 | test1|   
    43. 

  
  
  43. |    2 | test2 |   
    44. 

  
  
  44. +------+----------+  
    45. 

  
  
  45. 2 rows in set (0.00 sec)  
    46. 

  
  
  46.  
    47. 

  
  
  47. mysql> exit  
    48. 

  
  
  48. Bye  
    49.
之后停止heartbeat，查看其它节点（test7）里是否有mysql的数据 

 
 
    

  
  
  1. [root@test6 /]# service heartbeat stop 
    2.
drbd已经变为从了，drbd1已经从database里卸载了 

 
 
    

  
  
  1. [root@test6 /]# cat /proc/drbd   
    2. 

  
  
  2. version: 8.3.12 (api:88/proto:86-96)  
    3. 

  
  
  3. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    4. 

  
  
  4.  
    5. 

  
  
  5.  1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----  
    6. 

  
  
  6.     ns:712 nr:316 dw:972 dr:6142 al:8 bm:3 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0  
    7. 

  
  
  7. [root@test6 /]# df -h  
    8. 

  
  
  8. Filesystem            Size  Used Avail Use% Mounted on  
    9. 

  
  
  9. /dev/sda3             375G  2.9G  353G   1% /  
    10. 

  
  
  10. /dev/sda1             122M   18M   98M  16% /boot  
    11. 

  
  
  11. tmpfs                 2.0G     0  2.0G   0% /dev/shm  
    12.
在test7里查看drbd是否为主，drbd1是否装载了database 

 
 
    

  
  
  1. [root@test7 /]# cat /proc/drbd   
    2. 

  
  
  2. version: 8.3.12 (api:88/proto:86-96)  
    3. 

  
  
  3. GIT-hash: e2a8ef4656be026bbae540305fcb998a5991090f build by mockbuild@builder10.centos.org, 2012-01-28 13:52:25  
    4. 

  
  
  4.  
    5. 

  
  
  5.  1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----  
    6. 

  
  
  6.     ns:316 nr:712 dw:1028 dr:3174 al:5 bm:3 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0  
    7. 

  
  
  7. [root@test7 /]# df -h  
    8. 

  
  
  8. Filesystem            Size  Used Avail Use% Mounted on  
    9. 

  
  
  9. /dev/sda2             349G  3.9G  327G   2% /  
    10. 

  
  
  10. /dev/sda8             122M   18M   98M  16% /boot  
    11. 

  
  
  11. tmpfs                 2.0G     0  2.0G   0% /dev/shm  
    12. 

  
  
  12. /dev/drbd1            2.6G   89M  2.3G   4% /database  
    13.
从上面可以看到，test7已经变为主，drbd1已经挂载到了database了
进入mysql里查看db数据库、t表是否已交传过来 

 
 
    

  
  
  1. [root@test7 /]# mysql  
    2. 

  
  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
    3. 

  
  
  3. Your MySQL connection id is 2  
    4. 

  
  
  4. Server version: 5.0.95 Source distribution  
    5. 

  
  
  5.  
    6. 

  
  
  6. Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.  
    7. 

  
  
  7.  
    8. 

  
  
  8. Oracle is a registered trademark of Oracle Corporation and/or its  
    9. 

  
  
  9. affiliates. Other names may be trademarks of their respective  
    10. 

  
  
  10. owners.  
    11. 

  
  
  11.  
    12. 

  
  
  12. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.  
    13. 

  
  
  13.  
    14. 

  
  
  14. mysql> show databases;  
    15. 

  
  
  15. +--------------------+  
    16. 

  
  
  16. | Database           |  
    17. 

  
  
  17. +--------------------+  
    18. 

  
  
  18. | information_schema |   
    19. 

  
  
  19. | 2051               |   
    20. 

  
  
  20. | db                 |   
    21. 

  
  
  21. | lost+found         |   
    22. 

  
  
  22. | mysql              |   
    23. 

  
  
  23. | test               |   
    24. 

  
  
  24. +--------------------+  
    25. 

  
  
  25. 6 rows in set (0.04 sec)  
    26. 

  
  
  26.  
    27. 

  
  
  27. mysql> use db;  
    28. 

  
  
  28. Reading table information for completion of table and column names  
    29. 

  
  
  29. You can turn off this feature to get a quicker startup with -A  
    30. 

  
  
  30.  
    31. 

  
  
  31. Database changed  
    32. 

  
  
  32. mysql> select * from t;  
    33. 

  
  
  33. +------+----------+  
    34. 

  
  
  34. | id   | name     |  
    35. 

  
  
  35. +------+----------+  
    36. 

  
  
  36. |    1 | test1  |   
    37. 

  
  
  37. |    2 | test2 |   
    38. 

  
  
  38. +------+----------+  
    39. 

  
  
  39. 2 rows in set (0.00 sec)  
    40.
可以看到mysql已经收到了数据。这样我们的drbd+heartbeat+mysql已经实现了高可用的mysql数据库了。
 注意：由于本文内容过多，超出了8万字限制，所以分出2章来描述，下面是第二章的地址：http://dl528888.blog.51cto.com/2382721/835339




 本文转自 reinxu 51CTO博客，原文链接：http://blog.51cto.com/dl528888/830807，如需转载请自行联系原作者


文章标签：
云数据库 RDS MySQL 版
系统运维管理
负载均衡
日志服务
应用服务中间件
nginx
关系型数据库
负载均衡
网络协议
关键词：
Nginx架构
架构nginx
Nginx keepalived
keepalived架构
架构keepalived
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
技术小胖子
目录
相关文章
GG2020gg
|
6月前
|
运维 应用服务中间件 Linux
keepalived详解（三）——keepalived与Nginx配合实战
keepalived详解（三）——keepalived与Nginx配合实战
GG2020gg
196 1
pbeskoyq7ffm4
|
3月前
|
Java 应用服务中间件 Shell
Nginx+Keepalived+Tomcat 实现Web高可用集群
Nginx+Keepalived+Tomcat 实现Web高可用集群
pbeskoyq7ffm4
107 0
蓝易云
|
12天前
|
负载均衡 应用服务中间件 nginx
基于Nginx和Consul构建自动发现的Docker服务架构——非常之详细
通过使用Nginx和Consul构建自动发现的Docker服务架构，可以显著提高服务的可用性、扩展性和管理效率。Consul实现了服务的自动注册与发现，而Nginx则通过动态配置实现了高效的反向代理与负载均衡。这种架构非常适合需要高可用性和弹性扩展的分布式系统。
蓝易云
18 4
蓝易云
|
13天前
|
负载均衡 应用服务中间件 nginx
基于Nginx和Consul构建自动发现的Docker服务架构——非常之详细
通过使用Nginx和Consul构建自动发现的Docker服务架构，可以显著提高服务的可用性、扩展性和管理效率。Consul实现了服务的自动注册与发现，而Nginx则通过动态配置实现了高效的反向代理与负载均衡。这种架构非常适合需要高可用性和弹性扩展的分布式系统。
蓝易云
28 3
糜终
|
1月前
|
Unix 应用服务中间件 Linux
Nginx入门--初识Nginx的架构
Nginx入门--初识Nginx的架构
糜终
38 0
toddli
|
3月前
|
负载均衡 应用服务中间件 网络安全
Django后端架构开发：Nginx服务优化实践
Django后端架构开发：Nginx服务优化实践
toddli
57 2
蓝易云
|
3月前
|
运维 负载均衡 监控
Nginx加Keepalived实现高可用
使用Nginx和Keepalived来实现高可用性的方案，对于确保关键服务的稳定性和可靠性来说是非常有效的。此配置涉及多个步骤，包括各个服务的安装、设置及测试，目标是在主服务器故障时能无缝切换，以确保服务的持续可用。正确的配置和充分的测试是实现高可用性的保证，这也要求管理员对这些工具和它们背后的原理有深入的了解。
蓝易云
71 1
萝卜丝丸子
|
4月前
|
监控 应用服务中间件 nginx
高并发架构设计三大利器：缓存、限流和降级问题之Nginx的并发连接数计数的问题如何解决
高并发架构设计三大利器：缓存、限流和降级问题之Nginx的并发连接数计数的问题如何解决
萝卜丝丸子
33 0
萝卜丝丸子
|
4月前
|
应用服务中间件 nginx 缓存
高并发架构设计三大利器：缓存、限流和降级问题之Nginx作为前置网关进行限流问题如何解决
高并发架构设计三大利器：缓存、限流和降级问题之Nginx作为前置网关进行限流问题如何解决
萝卜丝丸子
62 0
土木林森
|
6月前
|
负载均衡 网络协议 应用服务中间件
【亮剑】在Linux中构建高可用性和高性能网络服务的负载均衡工具HAProxy、Nginx和Keepalived。
【4月更文挑战第30天】本文介绍了在Linux中构建高可用性和高性能网络服务的负载均衡工具HAProxy、Nginx和Keepalived。HAProxy是一个高性能的开源TCP和HTTP负载均衡器，适合处理大量并发连接；Nginx是一个多功能Web服务器和反向代理，支持HTTP、HTTPS和TCP负载均衡，同时提供缓存和SSL功能；Keepalived用于监控和故障切换，通过VRRP实现IP热备份，保证服务连续性。文中详细阐述了如何配置这三个工具实现负载均衡，包括安装、配置文件修改和启动服务，为构建可靠的负载均衡系统提供了指导。
土木林森
153 0

热门文章

最新文章

  • 1
    最新发布！阿里云卓越架构框架重磅升级
  • 2
    日交易笔百万级，Ping++的大数据平台架构
  • 3
    知乎基于 Apache Doris 的 DMP 平台架构建设实践｜万字长文详解
  • 4
    探究架构之 - 45张图玩转Kong Gateway，建议收藏系列 （一）
  • 5
    转发-基于ASP.NET MVC 4/5 Razor的模块化/插件式架构实现
  • 6
    我的架构经验系列文章 - 后端架构 - 设计层面
  • 7
    Dubbo架构介绍
  • 8
    《数据虚拟化：商务智能系统的数据架构与管理》一 2.3　管理层次与决策制定
  • 9
    【Springcloud Alibaba微服务分布式架构 | Spring Cloud】之学习笔记（八）Config服务配置+bus消息总线+stream消息驱动+Sleuth链路追踪
  • 10
    2011年下半年11月份系统架构设计师上午试题答案之一
  • 1
    中间件Nginx性能瓶颈
    194
  • 2
    Linux学习之Ubuntu 20中OpenResty的nginx目录里内容和配置文件
    73
  • 3
    cmd 杀掉 nginx后台进程 命令杀掉nginx后台 nginx 常用命令
    387
  • 4
    深入理解 Nginx 与 Kong 的配置与实践
    119
  • 5
    Nginx——一个域名下部署多个Vue项目
    278
  • 6
    学习aop以及nginx
    30
  • 7
    Nginx性能调优5招35式不可不知的策略实战
    134
  • 8
    Nginx如何反向代理后端服务？
    82
  • 9
    nginx和apache的区别
    93
  • 10
    Nginx反向代理优化
    103

    • 相关课程

    更多
  • Nginx企业级Web服务实战
  • Linux Web服务器Nginx搭建与配置
  • MySQL企业常见架构与调优经验分享
  • 企业Web常用架构LAMP-LNMP实战
  • 企业级互联网分布式系统应用架构学习
  • 高校精品课-上海交通大学 -企业级应用体系架构

    • 相关电子书

    更多
  • 《Nginx 代理系统常用手册》
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • CentOS Nginx PHP JAVA多语言镜像使用手册

    • 相关实验场景

    更多
  • 每个IT人都想学的“Web应用上云经典架构”实战
  • MySQL引擎及架构优化
  • 基于数据湖架构的网站访问行为分析
  • 使用SLB+2ECS+NAS，部署电商web网站的高可用架构
  • 使用EDA架构部署在线外卖订单系统
  • 部署高可用架构
    • 下一篇
    DataWorks售前咨询