一个高性能的web服务是如何搭建的?

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一个高性能的web服务是如何搭建的?

阅读文本大概需要 8 分钟。

640.jpg

用过 Flask 框架的朋友都知道,Flask 自带的 wsgi 性能低下,不支持高并发。

只适合你开发调试的时候用,所以在线上一般都使用 Nginx + gunicorn 才能获得更强的性能和更高的安全性!

gunicorn 是一个 python Wsgi http server,只支持在 Unix 系统上运行,下面我们来熟悉一下以 gunicorn 的配置与使用。

一、gunicorn 的安装

注意 gunicorn 不能在 windows 环境下使用

pip install gunicorn

比如有以下一个 app 的 py 文件

1from flask import Flask  
 2
 3app = Flask(__name__)  
 4
 5
 6@app.route('/')  
 7def index():  
 8    return 'hello world!' 
 9
10if __name__ == '__main__':  
11    app.run()

那么我们在 flask 的项目的目录下如何使用 gunicorn 来启动呢?

命令如下:

1gunicorn -w 4 -b 0.0.0.0:8000 app:app

其中:

第一个 app 指的是 app.py 文件;

第二个指的是第三行代码 flask 应用的名字。

二、gunicorn 的参数详解

通过 gunicorn -h 我们可以看到 gunicorn 有非常多的配置项,我将他们的参数配置项都列出来了,供大家参考:

1-c CONFIG : CONFIG,配置文件的路径,通过配置文件启动;生产环境使用;
 2
 3-b ADDRESS : ADDRESS,ip加端口,绑定运行的主机;
 4
 5-w INT,  --workers INT:用于处理工作进程的数量,为正整数,默认为1;
 6
 7-k STRTING, --worker-class STRTING:要使用的工作模式,默认为sync异步,可以下载eventlet和gevent并指定
 8--threads INT:处理请求的工作线程数,使用指定数量的线程运行每个worker。为正整数,默认为1。
 9
10--worker-connections INT:最大客户端并发数量,默认情况下这个值为1000。
11
12--backlog int:未决连接的最大数量,即等待服务的客户的数量。默认2048个,一般不修改;
13
14-p FILE, --pid FILE:设置pid文件的文件名,如果不设置将不会创建pid文件
15
16--access-logfile FILE : 要写入的访问日志目录
17
18--access-logformat STRING:要写入的访问日志格式
19
20--error-logfile FILE, --log-file FILE :  要写入错误日志的文件目录。
21
22--log-level LEVEL :  错误日志输出等级。
23
24--limit-request-line INT : HTTP请求头的行数的最大大小,此参数用于限制HTTP请求行的允许大小,默认情况下,这个值为4094。值是0~8190的数字。
25
26--limit-request-fields INT : 限制HTTP请求中请求头字段的数量。此字段用于限制请求头字段的数量以防止DDOS攻击,默认情况下,这个值为100,这个值不能超过32768
27
28--limit-request-field-size INT : 限制HTTP请求中请求头的大小,默认情况下这个值为8190字节。值是一个整数或者0,当该值为0时,表示将对请求头大小不做限制
29
30-t INT, --timeout INT:超过这么多秒后工作将被杀掉,并重新启动。一般设定为30秒;
31
32--daemon:是否以守护进程启动,默认false;
33
34--chdir :在加载应用程序之前切换目录;
35
36--graceful-timeout INT:默认情况下,这个值为30,在超时(从接收到重启信号开始)之后仍然活着的工作将被强行杀死;一般使用默认;
37
38--keep-alive INT:在keep-alive连接上等待请求的秒数,默认情况下值为2。一般设定在1~5秒之间。
39
40--reload:默认为False。此设置用于开发,每当应用程序发生更改时,都会导致工作重新启动。
41
42--spew:打印服务器执行过的每一条语句,默认False。此选择为原子性的,即要么全部打印,要么全部不打印;
43
44--check-config :显示现在的配置,默认值为False,即显示。
45
46-e ENV,  --env ENV: 设置环境变量;
47

是不是觉得 gunicorn 的参数很多?在部署的时候如果输入这么大一串命令,我相信就算是对参数很熟悉的人,也有可能会输错!

那么,有没有更方便的方法呢?当然!那就是用以配置文件的方式启动。

三、以配置文件的方式启动

一般这个配置文件名是 gunicorn.conf.py 或者 config.py。其中部分代码如下:

1# 并行工作进程数
 2workers = 4
 3
 4# 指定每个工作者的线程数
 5threads = 2
 6
 7# 端口 5000
 8bind = '0.0.0.0:5000'
 9
10# 设置守护进程,将进程交给supervisor管理
11daemon = 'false'
12
13# 工作模式协程
14worker_class = 'gevent'
15
16# 设置最大并发量
17worker_connections = 2000
18
19# 设置进程文件目录
20pidfile = '/var/run/gunicorn.pid'
21
22# 设置访问日志和错误信息日志路径
23accesslog = "log/access.log"
24errorlog = "log/debug.log"
25loglevel = "debug"
26
27# 设置日志记录水平
28loglevel = 'warning'

代码里面的注释都很详细了,但是还是有几点需要说明的:

1.日志

配置文件中指定了日志文件的输出目录,需要注意的是:

  • 需要log目录存在,如果不存在,启动会报错
  • accesslog 是访问日志,可以通过 access_log_format 设置访问日志格式
  • loglevel 用于控制 errorlog 的信息级别

不过更建议使用 logging 模块来管理日志

2. workers

  • worker_class 是指开启的每个工作进程的模式类型,默认为 sync 模式,这个使用 gevent 模式,gevent 是 python 的一个高并发库
  • workers 是并行工作进程数 ,在上述配置文件中,取的是服务器的 CPU的数量。
  • 需要注意的是,这个数字不是越大越好,因为我们还要注意部署机器的性能,不能无限制多开。一般是根据服务器的 CPU核心数来确定的!
  • workers = multiprocessing * cpu_count() * 2 + 1

配置文件搞定之后,启动命令就很简单了。启动 gunicorn 命令如下:

1gunicorn -c gunicorn.conf app:app


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
13天前
|
XML JSON 数据安全/隐私保护
Web服务
【10月更文挑战第18天】Web服务
38 9
|
13天前
|
XML JSON 安全
Web服务是通过标准化的通信协议和数据格式
【10月更文挑战第18天】Web服务是通过标准化的通信协议和数据格式
133 69
|
2天前
|
XML 安全 PHP
PHP与SOAP Web服务开发:基础与进阶教程
本文介绍了PHP与SOAP Web服务的基础和进阶知识,涵盖SOAP的基本概念、PHP中的SoapServer和SoapClient类的使用方法,以及服务端和客户端的开发示例。此外,还探讨了安全性、性能优化等高级主题,帮助开发者掌握更高效的Web服务开发技巧。
|
13天前
|
XML JSON 安全
定义Web服务
【10月更文挑战第18天】定义Web服务
44 12
|
28天前
|
前端开发 Java API
JAVA Web 服务及底层框架原理
【10月更文挑战第1天】Java Web 服务是基于 Java 编程语言用于开发分布式网络应用程序的一种技术。它通常运行在 Web 服务器上,并通过 HTTP 协议与客户端进行通信。
20 1
|
29天前
|
应用服务中间件 网络安全 nginx
nginx作为web服务以及nginx.conf详解
nginx作为web服务以及nginx.conf详解
|
20天前
|
XML 关系型数据库 MySQL
Web Services 服务 是不是过时了?创建 Web Services 服务实例
本文讨论了WebServices(基于SOAP协议)与WebAPI(基于RESTful)在开发中的应用,回顾了WebServices的历史特点,比较了两者在技术栈、轻量化和适用场景的差异,并分享了使用VB.net开发WebServices的具体配置步骤和疑问。
17 0
|
30天前
|
云安全 SQL 安全
数字时代下的Web应用程序安全:漏洞扫描服务的功能与优势
在当今这个数字化时代,Web应用程序不仅是企业与用户之间互动的桥梁,更是企业展示服务、传递价值的核心平台。然而,随着技术的不断进步,Web应用程序的复杂性也在不断增加,这为恶意攻击者提供了可乘之机。安全漏洞的频发,如SQL注入、跨站脚本攻击(XSS)、跨站请求伪造(CSRF)等,严重威胁着企业的数据安全、服务稳定性乃至经济利益。在这样的背景下,漏洞扫描服务作为一道重要的安全防线,显得尤为重要。本文将深入探讨漏洞扫描服务在面对Web应用程序安全问题时,所具备的功能优势。
|
3月前
|
Rust 安全 开发者
惊爆!Xamarin 携手机器学习,开启智能应用新纪元,个性化体验与跨平台优势完美融合大揭秘!
【8月更文挑战第31天】随着互联网的发展,Web应用对性能和安全性要求不断提高。Rust凭借卓越的性能、内存安全及丰富生态,成为构建高性能Web服务器的理想选择。本文通过一个简单示例,展示如何使用Rust和Actix-web框架搭建基本Web服务器,从创建项目到运行服务器全程指导,帮助读者领略Rust在Web后端开发中的强大能力。通过实践,读者可以体验到Rust在性能和安全性方面的优势,以及其在Web开发领域的巨大潜力。
38 0
|
3月前
|
Java 缓存 数据库连接
揭秘!Struts 2性能翻倍的秘诀:不可思议的优化技巧大公开
【8月更文挑战第31天】《Struts 2性能优化技巧》介绍了提升Struts 2 Web应用响应速度的关键策略,包括减少配置开销、优化Action处理、合理使用拦截器、精简标签库使用、改进数据访问方式、利用缓存机制以及浏览器与网络层面的优化。通过实施这些技巧,如懒加载配置、异步请求处理、高效数据库连接管理和启用GZIP压缩等,可显著提高应用性能,为用户提供更快的体验。性能优化需根据实际场景持续调整。
70 0