每秒30W次的点赞业务,怎么优化?

简介: 30WQPS的点赞计数业务,如何设计?

image.png

继续答星球水友提问,30WQPS的点赞计数业务,如何设计? 可以看到,这个业务的特点是:(1)吞吐量超高(2)能够接受一定数据不一致画外音:计数有微小不准确,不是大问题。 先用最朴素的思想,只考虑点赞计数,可以怎么做?有几点是最容易想到的:(1)肯定不能数据库抗实时读写流量;(2)redis天然支持固化,可以用高可用redis集群来做固化存储(3)也可以用MySQL来做固化存储redis做缓存,读写操作都落缓存,异步线程定期刷DB(4)架一层计数服务,将计数与业务逻辑解耦; 此时MySQL核心数据结构是:

t_count(msg_id, praise_count)

  此时redis的KV设计也不难:

key:msg_id

value:praise_count
image.png

似乎很容易就搞定了:(1)服务可以水平扩展;(2)数据量增加时,数据库可以水平扩展;(3)读写量增加时,缓存也可以水平扩展; 计数系统的难点,还在于业务扩展性问题,以及效率问题。 以微博为例:
image.png

(1)用户微博首页,有多条消息list<msg_id>,这是一种扩展(2)同一条消息msg_id,不止有点赞计数,还有阅读计数,转发计数,评论计数,这也是一种扩展 假如用最朴素的方式实现,多条消息多个计数的获取伪代码如下:

// (1)获取首页所有消息msg_id

list<msg_id> = getHomePageMsg(uid);

// (2)对于首页的所有消息要拉取多个计数

for( msg_id in list<msg_id>){

         //(3.1)获取阅读计数

         getReadCount(msg_id); 

         //(3.2)获取转发计数

         getForwordCount(msg_id);

         //(3.3)获取评论计数

         getCommentCount(msg_id);

         //(3.4)获取赞计数

         getPraiseCount(msg_id);

}

  由于同一个msg_id多了几种业务计数, redis的key需要带上业务flag ,升级为:

msg_id:read

msg_id:forword

msg_id:comment

msg_id:praise

用来区分共一个msg_id的四种不同业务计数,redis不能支持key的模糊操作,必须访问四次reids。   假设首页有100条消息,这个方案总结为: (1)for循环每一条消息,100条消息100次; (2)每条消息4次RPC获取计数接口调用; (3)每次调用服务要访问reids,拼装key获取count; 画外音:这种方案的扩展性和效率是非常低的。   那如何进行优化呢?   首先看下数据库层面元数据扩展,常见的扩展方式是, 增加列 ,记录更多的业务计数。
image.png

如上图所示,由一列点赞计数,扩充为四列阅读、转发、评论、点赞计数。

  增加列这种业务计数扩展方式的缺点是: 每次要扩充业务计数时,总是需要修改表结构 ,增加列,很烦。   有没有不需要变更表结构的扩展方式呢? 行扩展 是一种扩展性更好的方式。
image.png

表结构固化为:

t_count(msg_id, count_key, count_value)

当要扩充业务计数时,增加一行就行,不需要修改表结构。 画外音:很多配置业务,会使用这种方案,方便增加配置。   增加行这种业务计数扩展方式的缺点是: 表数据行数会增加 ,但这不是主要矛盾,数据库水平扩展能很轻松解决数据量大的问题。   接下来看下redis批量获取计数的优化方案。
image.png

原始方案,通过拼装key来区分同一个msg_id的不同业务计数。

  可以升级为,同一个value来存储多个计数。
image.png

如上图所示,

同一个msg_id的四个计数 ,存储在一个value里,从而避免多次redis访问。
画外音:通过value来扩展,是不是很巧妙?   总结 计数业务,在数据量大,并发量大的时候,要考虑的一些技术点: (1)用缓存抗读写; (2)服务化,计数系统与业务系统解耦; (3)水平切分扩展吞吐量、数据量、读写量; (4)要考虑扩展性,数据库层面常见的优化有:列扩展,行扩展两种方式; (5)要考虑批量操作,缓存层面常见的优化有:一个value存储多个业务计数;   计数系统优化先聊到这里,希望大家有收获。

欢迎大家继续提问,有问必答。

本文转自“架构师之路”公众号,58沈剑提供。

目录
相关文章
|
Go 开发者
Go语言并发模型概览:CSP模型解析
【2月更文挑战第17天】Go语言以其强大的并发处理能力在编程领域崭露头角。其中,CSP(Communicating Sequential Processes)模型作为Go语言并发模型的核心之一,在并发编程中发挥着至关重要的作用。本文将深入解析CSP模型的基本原理及其在Go语言中的应用,帮助读者更好地理解Go语言的并发编程特性。
|
Arthas 测试技术 网络安全
The telnet port 3658 is used by process
是否在本地使用Arthas的时候,遇到The telnet port 3658 is used by process 34725 instead of target process 44848, you will connect to an unexpected process的异常,其实解决方法很简单。
2602 0
The telnet port 3658 is used by process
|
7月前
|
关系型数据库 OLAP 数据库
免费试用|Vibe Coding正当时,AnalyticDB Supabase极速开发爆款应用
云原生数据仓库AnalyticDB PostgreSQL版重磅推出Supabase托管版本
|
NoSQL Java 关系型数据库
这个评论系统设计碉堡了
先赞后看,南哥助你Java进阶一大半官网给出了Facebook评论系统的高级设计图,Facebook的评论竟然是支持实时刷新的。也就是说用户不用刷新帖子,只要帖子有新的评论就会自动推送到用户端,这里Facebook使用的便是每天在全球有设备在使用的WebSocket技术。我是南哥,一个Java学习与进阶的领路人。相信对你通关面试、拿下Offer进入心心念念的公司有所帮助。
727 5
这个评论系统设计碉堡了
|
存储 缓存 NoSQL
深入理解分布式缓存——使用Spring Boot+Redis实现分布式缓存解决方案
在微服务飞速发展的今天,在高并发的分布式的系统中,缓存是提升系统性能的重要手段。没有缓存对后端请求的拦截,大量的请求将直接落到系统的底层数据库。系统是很难撑住高并发的冲击,下面就以Redis为例来聊聊分布式系统中关于缓存的设计以及过程中遇到的一些问题。
11178 58
深入理解分布式缓存——使用Spring Boot+Redis实现分布式缓存解决方案
|
存储 缓存 前端开发
git常用命令和参数有哪些?【git看这一篇就够了】
git常用命令和参数有哪些?【git看这一篇就够了】
437 1
|
存储 缓存 Java
面试必杀技,讲一讲Spring中的循环依赖
纠正业界对循环依赖的几个错误认知,明确三级缓存的真正作用
29592 18
|
canal 缓存 NoSQL
关于项目点赞问题的高并发解决
采用的技术方案是redis解决的
852 0
|
前端开发
【前端】解决: Property 'inline' does not exist on type 'ClassAttributes<HTMLElement> & HTMLAttribut...
【前端】解决: Property 'inline' does not exist on type 'ClassAttributes<HTMLElement> & HTMLAttribut...
438 0
|
Java 应用服务中间件 API
高性能分布式API网关Kong1
高性能分布式API网关Kong1
1966 3