Nginx集成Lua实现根据POST请求报文内容自定义负载策略

简介: 上游服务调用下游服务的接口,部分接口业务高峰期请求量大,下游服务器压力很大,会影响到其它接口的访问。如果通过增加下游服务器横向扩容会增加成本,且在业务高峰期还是有可能影响其他接口。所以需要使用Lua配置一种可以根据报文内容进行负载的策略(调用接口的URL是固定的,下游服务通过解析报文调用对应接口)。

Nginx集成Lua实现根据POST请求报文内容自定义负载策略

需求概要

如下图,上游服务调用下游服务的接口,部分接口业务高峰期请求量大,下游服务器压力很大,会影响到其它接口的访问。如果通过增加下游服务器横向扩容会增加成本,且在业务高峰期还是有可能影响其他接口。所以需要使用Lua配置一种可以根据报文内容进行负载的策略(调用接口的URL是固定的,下游服务通过解析报文调用对应接口)。

基于Lua解析POST请求报文自定义Nginx负载策略

Nginx集成Lua单元

1.资源准备

2.安装luajit

1)解压luajit2-2.1.tar.gz

执行命令:tar -zxvf luajit2-2.1.tar.gz

2)编译安装

执行命令:

cd luajit2-2.1-20210510

make && make install

export LUAJIT_LIB=/usr/local/lib
export LUAJIT_INC=/usr/local/include/luajit-2.1

3.安装Nginx

1)解压相关资源

执行命令:

tar -zxvf lua-nginx-module-0.10.10.tar.gz

tar -zxvf nginx-1.18.0.tar.gz

tar -zxvf ngx_devel_kit-0.3.1.tar.gz

2)编译安装

执行命令:

cd nginx-1.18.0/

image-20210928164632999

执行下面命令前,先配置好最后两行add-module的ngx_devel_kit-0.3.1、lua-nginx-module-0.10.10的正确路径。

执行命令:

./configure \
--user=nobody                          \
--group=nobody                         \
--prefix=/etc/nginx                   \
--sbin-path=/usr/sbin/nginx           \
--conf-path=/etc/nginx/nginx.conf     \
--pid-path=/var/run/nginx.pid         \
--lock-path=/var/run/nginx.lock       \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module        \
--with-http_stub_status_module        \
--with-http_ssl_module                \
--with-pcre                           \
--with-file-aio                       \
--with-http_realip_module             \
--without-http_scgi_module            \
--without-http_uwsgi_module           \
--without-http_fastcgi_module ${NGINX_DEBUG:+--debug} \
--with-ld-opt="-Wl,-rpath,/usr/local/lib" \
--add-module=/home/nginx_with_lua/ngx_devel_kit-0.3.1 \
--add-module=/home/nginx_with_lua/lua-nginx-module-0.10.10

执行:make && make install

4.验证Lua

1)修改Nginx配置文件

执行命令:

vi /etc/nginx/nginx.conf

添加如下内容:

server {
    listen       80;
    server_name  localhost;

    location /hello_lua {
         default_type 'text/plain';
         content_by_lua 'ngx.say("hello, lua!")';
    }
}

执行命令:

nginx -s reload

如下图,在浏览器输入地址返回“hello,lua”后,则Lua单元安装成功。

image-20210928170640477

实现Lua解析POST请求报文

http {
    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    keepalive_timeout 65;

    upstream tom1 {
        #配置业务高峰期承担主要业务的服务器列表
        server 192.168.64.4:8081;
        server 192.168.64.5:8081;
        server 192.168.64.6:8081;
    }
    upstream tom2 {
        #配置业务高峰期承担次要业务的服务器列表
        server 192.168.64.6:8082;
    }
    server {
        listen 80;
        server_name localhost;
        location /hello {
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Url-Scheme $scheme;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header Host $http_host;
            proxy_redirect off;

            if ($request_method = POST ) {
                set $upstream '';
                #access_by_lua用于请求访问阶段处理,用于访问控制
                access_by_lua '
                #读取请求报文
                ngx.req.read_body()
                local data = ngx.req.get_body_data()
                #判断报文中是否含有WMA2000字段
                local match1 = ngx.re.match(ngx.var.request_body, "WMA2000")
                #判断报文中是否含有WMA2001字段
                local match2 = ngx.re.match(ngx.var.request_body, "WMA2001")
                #如果POST报文内容中含有WMA2000,则将请求发往tom1负载列表
                if match1 then
                #使用tom1负载列表
                ngx.var.upstream = "tom1"
                end
                #如果POST报文内容中含有WMA2001,则将请求发往tom2负载列表
                if match2 then
                #使用tom2负载列表
                ngx.var.upstream = "tom2"
                end
                ';
                proxy_pass http://$upstream;
            }
        }
    }
}

经验证当POST请求报文带有“WMA2000”字段时,会负载到tom1列表中的服务器。当POST请求报文带有“WMA2001”字段时会负载到tom2列表中的服务器。


欢迎大家留言交流!

相关文章
|
14天前
|
缓存 负载均衡 应用服务中间件
Nginx负载聚能
Nginx负载均衡是提高Web服务性能和可靠性的重要手段。通过合理配置负载均衡策略、健康检查、缓存和超时设置,可以有效提升系统的处理能力和用户体验。
36 1
|
3月前
|
负载均衡 应用服务中间件 数据库
Nginx负载过高,加机器就能解决吗?
一个架构难题的剖析:A机器顶不住,加B机器就能解决吗?
89 7
|
2月前
|
Web App开发 网络安全 数据安全/隐私保护
Lua中实现HTTP请求的User-Agent自定义
Lua中实现HTTP请求的User-Agent自定义
|
4月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
1001 7
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
4月前
|
网络协议
Lua中实现异步HTTP请求的方法
Lua中实现异步HTTP请求的方法
|
4月前
|
存储 数据可视化 JavaScript
可视化集成API接口请求+变量绑定+源码输出
可视化集成API接口请求+变量绑定+源码输出
119 4
|
5月前
|
存储 JSON Ubuntu
如何使用 Lua 脚本进行更复杂的网络请求,比如 POST 请求?
如何使用 Lua 脚本进行更复杂的网络请求,比如 POST 请求?
|
6月前
|
域名解析 网络协议 API
【API管理 APIM】APIM集成内部VNet时,常遇见的关于自定义DNS服务问题。
【API管理 APIM】APIM集成内部VNet时,常遇见的关于自定义DNS服务问题。
|
7月前
|
负载均衡 网络协议 应用服务中间件
Nginx负载配置
Nginx负载配置
98 8
|
7月前
|
SQL DataWorks 关系型数据库
DataWorks产品使用合集之数据集成时源头提供数据库自定义函数调用返回数据,数据源端是否可以写自定义SQL实现
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

热门文章

最新文章