凌晨 2 点 15 分,手机震动声刺破寂静。监控大屏上,订单系统的 QPS 曲线像断了线的风筝,直直撞向红色警戒线。
"又崩了?"我揉了揉眼睛,看清屏幕上跳动的数字——每秒请求量突破 8000,而我们的系统容量设计上限是 1200。这已经是本月第三次在高峰期宕机。
我叫老王,在一家中型贸易公司做了 5 年系统架构。没错,就是那种"什么都得自己来"的全栈选手。我们公司主营跨境电商代采业务,核心系统是基于 1688 平台打造的代采系统,负责帮客户从 1688 采购并转运到海外。
那天晚上,我对着监控面板上不断闪烁的错误日志,心里只有一个念头:这套架构撑不过双十一了。
从"能跑就行"到"系统性崩塌"
说起来,这套 1688 代采系统最初是 2019 年用 Django 写的单体应用。那时候一天几百单,代码跑得还算流畅,我们甚至引以为豪——"轻量、高效、运维成本低"。
但业务发展从不打招呼。2023 年开始,月订单量从 1 万飙升到 8 万,单机服务的内存从 16G 吃到 32G,又吃到 64G。数据库连接池不够用了,我们调;Nginx 配置太小了,我们扩;磁盘空间报警了,我们加。
头痛医头、脚痛医脚的结果是:系统越来越脆弱。
就像那天凌晨一样。当买家同时下单、1688 商品接口响应变慢、我们的请求队列开始堆积、Redis 缓存被打爆、最终 MySQL 连接耗尽——整个系统像多米诺骨牌一样,一个环节崩塌,全线瘫痪。
我意识到,不是参数不够,而是架构从根子上就不对。
第一次架构重构:加了 RabbitMQ,然后呢?
第一次"正经"重构发生在 2023 年 5 月。我引入 RabbitMQ 做异步解耦,把订单确认、库存锁减、物流通知这些操作从同步链路拆出来。
# 订单处理函数改造后
def create_order(order_data):
# 1. 快速响应,先把订单写入本地队列
order_id = save_order_locally(order_data)
# 2. 投递到消息队列
rabbitmq_channel.basic_publish(
exchange='order_exchange',
routing_key='order.created',
body=json.dumps({
'order_id': order_id, 'data': order_data})
)
# 3. 立即返回,给用户"下单成功"的体验
return {
'order_id': order_id, 'status': 'processing'}
改动后的效果确实明显:用户下单后等待时间从 8 秒降到 1 秒,系统的吞吐量提升了一倍。
但问题只是被推迟了,没有被解决。
8 月的一天,我发现消息队列的堆积开始严重——消费端处理速度跟不上。更要命的是,当 1688 平台接口出现波动时,我们不知道哪些订单已经处理、哪些还在队列里,数据一致性开始出现漏洞。
第二次重构:用阿里云产品体系"重新思考"架构
痛定思痛,我决定做一次彻底的架构改造。这次,我认真研究了一圈阿里云的产品体系,发现了几个之前没想到的解法。
第一步:引入消息队列的"Plus 版"
之前的 RabbitMQ 是自己在服务器上搭的,运维成本高,还经常因为机器规格问题出现各种奇怪故障。我改用了阿里云的消息队列 RocketMQ 版。
区别在哪?托管式运维,我不用再半夜爬起来重启队列服务了。更重要的是,它的死信队列和延迟消息功能,正好解决了我"订单超时未支付"这类场景的痛点。
# 使用 RocketMQ 延迟消息处理超时订单
def schedule_timeout_check(order_id, delay_seconds=900):
rocketmq_client.send_message(
topic='order 延时处理',
tags='timeout_check',
keys=f'order_{order_id}',
body=json.dumps({
'order_id': order_id}),
start_deliver_time=int(time.time() * 1000) + delay_seconds * 1000
)
第二步:给数据库"减负"
MySQL 承担了太多职责:订单存储、库存扣减、用户查询、报表统计...我开始把一些"重活"拆分出去。
- 日志和行为数据:迁移到阿里云日志服务 SLS,用 SQL 做分析
- 热点商品缓存:用阿里云 Redis 企业版,分担查询压力
- 大批量报表:跑定时任务到 MaxCompute,数据报表秒级生成
# 库存查询改造
def get_inventory(sku_id):
# 先查 Redis 热点缓存
cache_key = f'inventory:{sku_id}'
cached = redis_client.get(cache_key)
if cached:
return json.loads(cached)
# 缓存未命中,查数据库并回填
inventory = db.query('SELECT stock FROM inventory WHERE sku_id=%s', sku_id)
redis_client.setex(cache_key, 300, json.dumps(inventory)) # 5 分钟过期
return inventory
第三步:打造"流量护城河"
这是最关键的一步。我用阿里云 API 网关做统一入口,在接入层部署了流控规则和熔断策略。
# 流控规则配置
- 接口: /api/orders/create
- 每秒限流: 2000 QPS
- 触发阈值: 响应时间 > 2 秒 或 错误率 > 5%
- 熔断动作: 返回友好提示"系统繁忙,请稍后再试"
这样一来,即使 1688 平台接口出现抖动,我们的系统也不会被流量击穿。不是硬扛,而是疏导。
现在的 1688 代采系统:能扛住双十一了吗?
2024 年的双十一,我们的系统平稳度过。峰值 QPS 达到 15000,是去年同期的 12 倍,但系统响应时间始终稳定在 200ms 以内。
更让我欣慰的是运维体验:半夜报警少了,周末能陪家人了,监控大屏上的曲线终于变成了"正常波动"而不是"惊魂时刻"。
回顾这段架构演进,我最深的体会是:业务早期可以"能用就行",但当规模上来后,必须用体系化的思路做架构。选对工具、搭好框架,比堆机器、加人力有效得多。
当然,这条路上还有不少坑要填——比如最近让我头疼的 1688 平台接口限流问题。但至少现在,我知道该用什么姿势去面对了。
关于作者:专注跨境代购系统开发,taocarts 代购系统提供代购源码、代购网站搭建、1688代购系统、跨境代购解决方案。欢迎交流。