Apache+varnish(高性能开源HTTP加速器)搭建负载均衡集群

简介:

实验环境:RHEL6.5

                实验环境4台

                真机进行访问测试     willis.example.com         172.25.254.6

                虚拟机1(缓存端)   varnish.example.com       172.25.254.8

                虚拟机2(服务器端1) web1.example.com     172.25.254.10

                虚拟机3(服务器端2) web2.example.com     172.25.254.20

                两台服务器主要用于负载均衡实验。

实验内容:1.服务器端安装Apache

                 2.代理端(缓存端)安装配置varnish

                 3.缓存无法同步问题

                 4.虚拟主机

                 5.网页重写

                 6.负载均衡器

安装包:varnish-3.0.5-1.el6.x86_64.rpm

             varnish-libs-3.0.5-1.el6.x86_64.rpm


1.服务器端安装Apache

    1.1 服务器端1

[root@web1 ~]# yum install httpd -y 

[root@web1 ~]# vim /var/www/html/index.html

                         web1's page    

[root@web1 ~]# /etc/init.d/httpd start

   1.2服务器端2

[root@web2 ~]# yum install httpd -y 

[root@web2 ~]# vim /var/www/html/index.html

                         web2's page    

[root@web2 ~]# /etc/init.d/httpd start


2.代理端(缓存端)安装配置varnish

[root@varnish mnt]# ls

        varnish-3.0.5-1.el6.x86_64.rpm  varnish-libs-3.0.5-1.el6.x86_64.rpm

[root@varnish mnt]# yum install * -y

[root@varnish mnt]# vim /etc/sysconfig/varnis

       VARNISH_LISTEN_PORT=80 ##设定varnish的端口为80

[root@varnish mnt]# vim /etc/varnish/default.vcl 

        backend web1 {

         .host = "172.25.254.10";      ##指定apache所在主机ip(本次实验服务器1/2端都可以)

          .port = "80";                ##apache端口

        }

[root@varnish mnt]# /etc/init.d/varnish start

        Starting Varnish Cache:                                    [  OK  ]

[root@varnish mnt]# vim /etc/varnish/default.vcl   ##设置缓存命中信息

sub vcl_deliver{

    if(obj.hits>0){

        set resp.http.X-Cache="HIT from willis cache";  ##缓存命中

        }

     else{

        set resp.http.X-Cache="MISS from willis cache";  ##缓存未命中

        }

    return(deliver);

    }

[root@varnish mnt]# service varnish reload

Loading vcl from /etc/varnish/default.vcl

Current running config name is boot

Using new config name reload_2016-09-15T05:19:54

VCL compiled.

available       0 boot

active          0 reload_2016-09-15T05:19:54

Done


3.缓存无法同步问题

    3.1 缓存端,访问缓存不过期页面无法刷新

[root@varnish ~]# curl http://172.25.254.8     

web1's page

[root@varnish ~]# curl -I http://172.25.254.8

HTTP/1.1 200 OK

Server: Apache/2.2.15 (Red Hat)

Last-Modified: Wed, 14 Sep 2016 21:02:59 GMT

ETag: "1fcb4-c-53c7e0dd4191f"

Content-Type: text/html; charset=UTF-8

Content-Length: 12

Accept-Ranges: bytes

Date: Wed, 14 Sep 2016 21:43:54 GMT

X-Varnish: 1470288177 1470288175

Age: 95

Via: 1.1 varnish

Connection: keep-alive

X-Cache: HIT from willis cache

[root@varnish ~]# curl -I http://172.25.254.8

HTTP/1.1 200 OK

Server: Apache/2.2.15 (Red Hat)

Last-Modified: Wed, 14 Sep 2016 21:02:59 GMT

ETag: "1fcb4-c-53c7e0dd4191f"

Content-Type: text/html; charset=UTF-8

Content-Length: 12

Accept-Ranges: bytes

Date: Wed, 14 Sep 2016 21:43:59 GMT

X-Varnish: 1470288178 1470288175

Age: 100

Via: 1.1 varnish

Connection: keep-alive

X-Cache: HIT from willis cache


 3.2 通过 varnishadm 手动清除缓存

# varnishadm ban.url .*$   #清除所有

# varnishadm ban.url /index.html  #清除 index.html 页面缓存

# varnishadm ban.url /admin/$ #清除 admin 目录缓存

[root@varnish mnt]# curl -I  http://172.25.254.8

HTTP/1.1 200 OK

Server: Apache/2.2.15 (Red Hat)

Last-Modified: Wed, 14 Sep 2016 21:02:59 GMT

ETag: "1fcb4-c-53c7e0dd4191f"

Content-Type: text/html; charset=UTF-8

Content-Length: 12

Accept-Ranges: bytes

Date: Wed, 14 Sep 2016 21:52:42 GMT

X-Varnish: 1470288192 1470288185

Age: 51

Via: 1.1 varnish

Connection: keep-alive

X-Cache: HIT from willis cache

[root@varnish mnt]# varnishadm ban.url /index.html

[root@varnish mnt]# curl -I  http://172.25.254.8

HTTP/1.1 200 OK

Server: Apache/2.2.15 (Red Hat)

Last-Modified: Wed, 14 Sep 2016 21:02:59 GMT

ETag: "1fcb4-c-53c7e0dd4191f"

Content-Type: text/html; charset=UTF-8

Content-Length: 12

Accept-Ranges: bytes

Date: Wed, 14 Sep 2016 21:53:24 GMT

X-Varnish: 1470288193 1470288185

Age: 93

Via: 1.1 varnish

Connection: keep-alive

X-Cache: HIT from willis cache


4.虚拟主机

    4.1服务端1设置

[root@web1 ~]# vim /etc/httpd/conf/httpd.conf 

<VirtualHost *:80>

    ServerAdmin /www/willis.com/html

    DocumentRoot www.willis.com

</VirtualHost>

<VirtualHost *:80>

    ServerAdmin /www/linux.com/html

    DocumentRoot www.linux.com

</VirtualHost>

[root@web1 ~]# mkdir -p /www/willis.com/html

[root@web1 ~]# mkdir -p /www/linux.com/html

[root@web1 ~]# echo "web1 willis's page ">/www/willis.com/html/index.html

[root@web1 ~]# echo "web1 linux's page ">/www/linux.com/html/index.html

[root@web1 ~]# /etc/init.d/httpd restart

    4.2 服务端2设置

[root@web2 ~]# vim /etc/httpd/conf/httpd.conf 

<VirtualHost *:80>

    ServerAdmin /www/willis.com/html

    DocumentRoot www.willis.com

</VirtualHost>

<VirtualHost *:80>

    ServerAdmin /www/linux.com/html

    DocumentRoot www.linux.com

</VirtualHost>

[root@web2 ~]# mkdir -p /www/willis.com/html

[root@web2 ~]# mkdir -p /www/linux.com/html

[root@web2 ~]# echo "web2 willis's page ">/www/willis.com/html/index.html

[root@web2 ~]# echo "web2 linux's page ">/www/linux.com/html/index.html

[root@web2 ~]# /etc/init.d/httpd restart

    4.3访问端测试

[root@willis ~]# vim /etc/hosts

172.25.254.8      www.willis.com

172.25.254.8     www.linux.com

  ###注意,前面指定 .host = "172.25.254.10",所以访问结果为服务器1端的网页内容  


wKioL1faU-KyTHLYAAAhZPMhP5k541.png

wKioL1faU-WyeXl8AAAhKRDWon0175.png



5.网页重写

[root@varnish mnt]# vim /etc/varnish/default.vcl 

backend web1 {

  .host = "172.25.254.10";

  .port = "80";

}

backend web2 {

   .host="172.25.254.20";

   .port="80";

}

sub vcl_recv { ##网页缓存       

   if (req.http.host ~ "^(www.)?willis.com" ) {      ##访问中是否带www

        set req.http.host = "www.willis.com";        ##都定向到www上

        set req.backend = web1;                  ##访问web1

        }

        elsif (req.http.host ~ "^(www.)?linux.com" ) {

        set req.http.host = "www.linux.com";

        set req.backend = web1;

        }

        else {error 404 "westos cache";

        }

}

[root@varnish mnt]# /etc/init.d/varnish restart

    访问端测试

   访问 willis.com自动跳转成www.willis.com

   访问 linux.com自动跳转成www.linux.com


wKioL1faU-KyTHLYAAAhZPMhP5k541.png

wKioL1faU-WyeXl8AAAhKRDWon0175.png



6.负载均衡器

已经提前配好好两台服务器,本实验只需配置缓存端

[root@varnish mnt]# vim /etc/varnish/default.vcl 

backend web1 {

  .host = "172.25.254.10";

  .port = "80";

}

backend web2 {

   .host="172.25.254.20";

   .port="80";

}

director willislb round-robin {

        { .backend = web1; }

        { .backend = web2; }

}

sub vcl_recv {

        if (req.http.host ~ "^(www.)?westos.com" ) {

        set req.http.host = "www.westos.com";

        set req.backend = willislb;                 ##修改

       return (pass);                                ##方便测试,不缓存

        }

        elsif (req.http.host ~ "^(www.)?linux.com" ) {

        set req.http.host = "www.linux.com";

        set req.backend = willislb;                 ##修改

      return (pass);                                 ##方便测试,不缓存

        }

        else {error 404 "westos cache";

        }

}


访问端测试:

linux.com或者willis.com  网页重写,刷新可看到内容的变化


wKiom1faUtjwuC9YAAAh4KO8gYo192.png

刷新:

wKiom1faUt3j1db6AAAioPWradI001.png


wKioL1faUt_iMNYyAAAhPqa139Y330.png

刷新:

wKioL1faUt_CkmwuAAAhKRDWon0258.png



本文转自willis_sun 51CTO博客,原文链接:http://blog.51cto.com/willis/1852967,如需转载请自行联系原作者

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
相关文章
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
Dubbo 安全 应用服务中间件
Apache Dubbo 正式发布 HTTP/3 版本 RPC 协议,弱网效率提升 6 倍
在 Apache Dubbo 3.3.0 版本之后,官方推出了全新升级的 Triple X 协议,全面支持 HTTP/1、HTTP/2 和 HTTP/3 协议。本文将围绕 Triple 协议对 HTTP/3 的支持进行详细阐述,包括其设计目标、实际应用案例、性能测试结果以及源码架构分析等内容。
1311 129
|
安全 网络协议 Ubuntu
【常见开源库的二次开发】HTTP之libcurl库——libcurl使用(二)
【常见开源库的二次开发】HTTP之libcurl库——libcurl使用(二)
4377 3
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
SQL 存储 数据处理
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
Apache Doris 物化视图进行了支持。**早期版本中,Doris 支持同步物化视图;从 2.1 版本开始,正式引入异步物化视图,[并在 3.0 版本中完善了这一功能](https://www.selectdb.com/blog/1058)。**
1332 1
|
存储 数据挖掘 数据处理
Apache Paimon 是一款高性能的数据湖框架,支持流式和批处理,适用于实时数据分析
【10月更文挑战第8天】随着数据湖技术的发展,越来越多企业开始利用这一技术优化数据处理。Apache Paimon 是一款高性能的数据湖框架,支持流式和批处理,适用于实时数据分析。本文分享了巴别时代在构建基于 Paimon 的 Streaming Lakehouse 的探索和实践经验,包括示例代码和实际应用中的优势与挑战。
940 1
|
负载均衡 算法 关系型数据库
MySQL集群如何实现负载均衡?
【8月更文挑战第16天】MySQL集群如何实现负载均衡?
1079 6
|
负载均衡 算法 应用服务中间件
负载均衡技术在Web服务器集群中的应用
【8月更文第28天】随着互联网的发展和用户对Web服务需求的增长,单台服务器很难满足大规模访问的需求。为了提高系统的稳定性和扩展性,通常会采用Web服务器集群的方式。在这种架构中,负载均衡器扮演着至关重要的角色,它能够合理地分配客户端请求到不同的后端服务器上,从而实现资源的最优利用。
575 2
|
负载均衡 Kubernetes 网络协议
如何在集群的负载均衡过程保留请求源IP
本文探讨了在Kubernetes (k8s)集群中如何确保服务获取到请求的源IP。通常,源IP可能会因网络地址转换(NAT)和代理服务器而丢失。为保留源IP,文章建议在代理服务器层添加HTTP头`X-REAL-IP`字段。在K8s中,通过设置`externalTrafficPolicy: Local`可保留源IP,但这会牺牲负载均衡。使用Ingress时,可通过配置Ingress Controller的`use-forwarded-headers`并调整ConfigMap来同时保留源IP和实现负载均衡。文章适用于对网络和K8s感兴趣的读者。
650 3

推荐镜像

更多