Python编程:使用supervisor管理Django-Celery进程

简介: Python编程:使用supervisor管理Django-Celery进程

supervisor 进程管理工具

安装

python2

pip install supervisor

配置

$ mkdir config
# 生成配置文件
$ echo_supervisord_conf > config/supervisord.conf

修改配置文件 config/supervisord.conf

1、开启web管理界面:inet_http_server

2、开启管理:supervisorctl.serverurl

3、开启配置文件:include

[include]
files = *.ini

新建日志 logs文件夹

配置3个进程管理文件

1、supervisor_celery_worker.ini

[program:celery-worker]
command=python manage.py celery worker -l INFO
directory=celery_learn/celery_project
environment=PATH="/.virtualenvs/py3/bin"
stdout_logfile=celery_learn/celery_project/logs/celery.worker.log
stderr_logfile=celery_learn/celery_project/logs/celery.worker.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs=60
priority=998

2、supervisor_celery_beat.ini

[program:celery-worker]
command=python manage.py celery beat -l INFO
directory=celery_learn/celery_project
environment=PATH="/.virtualenvs/py3/bin"
stdout_logfile=celery_learn/celery_project/logs/celery.beat.log
stderr_logfile=celery_learn/celery_project/logs/celery.beat.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs=60
priority=997

3、supervisor_celery_flower.ini

[program:celery-worker]
command=python manage.py celery flower
directory=celery_learn/celery_project
environment=PATH="/.virtualenvs/py3/bin"
stdout_logfile=celery_learn/celery_project/logs/celery.flower.log
stderr_logfile=celery_learn/celery_project/logs/celery.flower.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs=60
priority=996

启动

supervisord -c config/supervisord.conf

管理工具

> supervisorctl
> help
> update   # 更新配置文件

管理界面

http://127.0.0.1:9001/

配置参数参考:

http://www.supervisord.org/configuration.html#program-x-section-settings

相关文章
|
2月前
|
Python
Python编程:运算符详解
本文全面详解Python各类运算符,涵盖算术、比较、逻辑、赋值、位、身份、成员运算符及优先级规则,结合实例代码与运行结果,助你深入掌握Python运算符的使用方法与应用场景。
211 3
|
2月前
|
数据处理 Python
Python编程:类型转换与输入输出
本教程介绍Python中输入输出与类型转换的基础知识,涵盖input()和print()的使用,int()、float()等类型转换方法,并通过综合示例演示数据处理、错误处理及格式化输出,助你掌握核心编程技能。
479 3
|
2月前
|
并行计算 安全 计算机视觉
Python多进程编程:用multiprocessing突破GIL限制
Python中GIL限制多线程性能,尤其在CPU密集型任务中。`multiprocessing`模块通过创建独立进程,绕过GIL,实现真正的并行计算。它支持进程池、队列、管道、共享内存和同步机制,适用于科学计算、图像处理等场景。相比多线程,多进程更适合利用多核优势,虽有较高内存开销,但能显著提升性能。合理使用进程池与通信机制,可最大化效率。
295 3
|
2月前
|
Java 调度 数据库
Python threading模块:多线程编程的实战指南
本文深入讲解Python多线程编程,涵盖threading模块的核心用法:线程创建、生命周期、同步机制(锁、信号量、条件变量)、线程通信(队列)、守护线程与线程池应用。结合实战案例,如多线程下载器,帮助开发者提升程序并发性能,适用于I/O密集型任务处理。
302 0
|
9月前
|
Linux 数据库 Perl
【YashanDB 知识库】如何避免 yasdb 进程被 Linux OOM Killer 杀掉
本文来自YashanDB官网,探讨Linux系统中OOM Killer对数据库服务器的影响及解决方法。当内存接近耗尽时,OOM Killer会杀死占用最多内存的进程,这可能导致数据库主进程被误杀。为避免此问题,可采取两种方法:一是在OS层面关闭OOM Killer,通过修改`/etc/sysctl.conf`文件并重启生效;二是豁免数据库进程,由数据库实例用户借助`sudo`权限调整`oom_score_adj`值。这些措施有助于保护数据库进程免受系统内存管理机制的影响。
|
监控 Linux 应用服务中间件
探索Linux中的`ps`命令:进程监控与分析的利器
探索Linux中的`ps`命令:进程监控与分析的利器
420 13
|
9月前
|
Linux Shell
Linux 进程前台后台切换与作业控制
进程前台/后台切换及作业控制简介: 在 Shell 中,启动的程序默认为前台进程,会占用终端直到执行完毕。例如,执行 `./shella.sh` 时,终端会被占用。为避免不便,可将命令放到后台运行,如 `./shella.sh &`,此时终端命令行立即返回,可继续输入其他命令。 常用作业控制命令: - `fg %1`:将后台作业切换到前台。 - `Ctrl + Z`:暂停前台作业并放到后台。 - `bg %1`:让暂停的后台作业继续执行。 - `kill %1`:终止后台作业。 优先级调整:
731 5
|
运维 关系型数据库 MySQL
掌握taskset:优化你的Linux进程,提升系统性能
在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
掌握taskset:优化你的Linux进程,提升系统性能
|
弹性计算 Linux 区块链
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
503 4
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
|
算法 Linux 调度
探索进程调度:Linux内核中的完全公平调度器
【8月更文挑战第2天】在操作系统的心脏——内核中,进程调度算法扮演着至关重要的角色。本文将深入探讨Linux内核中的完全公平调度器(Completely Fair Scheduler, CFS),一个旨在提供公平时间分配给所有进程的调度器。我们将通过代码示例,理解CFS如何管理运行队列、选择下一个运行进程以及如何对实时负载进行响应。文章将揭示CFS的设计哲学,并展示其如何在现代多任务计算环境中实现高效的资源分配。

推荐镜像

更多