Springboot 整合 WebSocket ,使用STOMP协议+Redis 解决负载场景问题(二)

简介: Springboot 整合 WebSocket ,使用STOMP协议+Redis 解决负载场景问题(二)

前言



上一篇,简单给大家整合了一下websocket,使用stomp方式。


这篇,就是考虑到单体的服务使用websocket ,按照上一篇的整合,确实没问题。


但是如果一旦是负载多台服务的时候,那么就会出现丢失问题。


什么?没有想过这个问题?


没关系,看图学东西:


一贯作风,我瞎画了一张简图,大致讲一下前后端使用websocket通讯的场面。


image.png


简析:



后端某个服务起了,整合了websocket作为 server,开放了一些节点endpoints ;


前端服务也起了,也整合了websocket作为 client,连接server的websocket ;


后端server 将每个 前端client 连接的 websocket session 都存起来, 确保 知道谁是谁。


这样在server给client推送消息的时候,能保证推送,数据不丢失。


websocket session map  是存在于 后端服务 的内存里面的 ,单一台后端 server,貌似没啥大问题。


ok,我们简单也了解了一下大致的场面,接下来继续看图 ,多台websocket server 负载场景:

image.png简析:


现在作为同一个后端微服务,整合websocket,起了两台。


如上图所示,如果 红色的client 跟 websocket打交道的时候,连接的是上面的 浅蓝色websocket server;


浅蓝色websocket server 推送消息给  红色的client ,通讯没问题。


因为websocket server 的本地服务session map里面存放着 红色client的连接websocket session;


消息丢失情况出现:


我们负载了两台websocket server ,如果触发 websocket server 给红色client继续推送通知消息, nginx/网关 根据我们往常的负载均衡配置规则,分发到了 绿色的 websocket server。


此时,绿色的 websocket server 的本地服务session map里面 并没有  红色client的连接websocket session ,所以会导致  通知消息 丢失 。


解决方案:


既然问题出现了,那么我们就解决它,本篇就是介绍怎么通过 整合消息中间件去解决这个消息丢失的问题。


我们采取的方案 是 将整合websocket 的 server服务 (多台) 都整合 redis作为消息中间件;


在websocket  server 推送消息给websocket  client时, 先把消息丢到 redis里面 。


然后所有的websocket  server (不管多少台服务) 都会订阅此主题,获取到需要推送的数据,接下来 再推送给到对应的 destination 节点 (这时候只有真正与当前client有连接关系的 server扶服务才能推送成功,其余都没有推送)。


做个简图:image.png也许很多人看到这心里面多多少少有些疑惑, 其实根本原因就是 多台 server 没办法共享 连接session,如果能把session 保持起来共享,岂不是解决了?


是的,思路是对的,可惜的是 websocekt session 是没有实现序列化接口的,无法使用类似redis去存储起来,然后反序列化获取。(但是其实可以通过redis存储相关websocket sessionkey 与节点的IP地址、端口,强行把请求再次分发到正确的websocket server上面去。但是个人感觉这种方式不是很好,所以本文还是介绍redis的订阅/推送方式来解决这个问题)


话不多说,进入代码环节。


正文



基于上一篇的基础,开始魔改把redis加入进来。


image.png


贴代码:


pom.xml :


    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.68</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-websocket</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>


application.yml :


server:
  port: 9908
spring:
  redis:
    host: 127.0.0.1
    port: 6379
    password: 123456


RedisConfig.java :

 

import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.stomp.stomptest.listener.RedisListener;
import org.springframework.cache.annotation.CachingConfigurerSupport;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.listener.PatternTopic;
import org.springframework.data.redis.listener.RedisMessageListenerContainer;
import org.springframework.data.redis.listener.adapter.MessageListenerAdapter;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
/**
 * @Author JCccc
 * @Description   redis配置
 * @Date 2021/6/30 8:53
 */
@Configuration
@EnableCaching
public class RedisConfig extends CachingConfigurerSupport {
    @Bean
    @Primary
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {
        RedisTemplate<String, Object> template = new RedisTemplate<>();
        template.setConnectionFactory(factory);
        Jackson2JsonRedisSerializer jacksonSeial = new Jackson2JsonRedisSerializer(Object.class);
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();
        ObjectMapper om = new ObjectMapper();
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        jacksonSeial.setObjectMapper(om);
        template.setValueSerializer(jacksonSeial);
        template.setKeySerializer(stringRedisSerializer);
        template.setHashKeySerializer(stringRedisSerializer);
        template.setHashValueSerializer(jacksonSeial);
        template.afterPropertiesSet();
        return template;
    }
    @Bean
    RedisMessageListenerContainer container(RedisConnectionFactory connectionFactory,
                                            MessageListenerAdapter topicAdapter) {
        RedisMessageListenerContainer container = new RedisMessageListenerContainer();
        container.setConnectionFactory(connectionFactory);
        //订阅了主题 webSocketMsgPush
        container.addMessageListener(topicAdapter, new PatternTopic("webSocketMsgPush"));
        return container;
    }
    /**
     * 消息监听器适配器,绑定消息处理器
     *
     * @return
     */
    @Bean
    MessageListenerAdapter topicAdapter() {
        return new MessageListenerAdapter(new RedisListener());
    }
}


简析:


image.png


WebSocketConfig.java :


import org.springframework.context.annotation.Configuration;
import org.springframework.messaging.simp.config.MessageBrokerRegistry;
import org.springframework.scheduling.concurrent.ThreadPoolTaskScheduler;
import org.springframework.web.socket.config.annotation.EnableWebSocketMessageBroker;
import org.springframework.web.socket.config.annotation.StompEndpointRegistry;
import org.springframework.web.socket.config.annotation.WebSocketMessageBrokerConfigurer;
import org.springframework.web.socket.config.annotation.WebSocketTransportRegistration;
/**
 * @Author JCccc
 * @Description   EnableWebSocketMessageBroker-注解开启STOMP协议来传输基于代理的消息,此时控制器支持使用@MessageMapping
 * @Date 2021/6/30 8:53
 */
@Configuration
@EnableWebSocketMessageBroker
public class WebSocketConfig implements WebSocketMessageBrokerConfigurer {
    private static long HEART_BEAT = 10000;
    @Override
    public void configureMessageBroker(MessageBrokerRegistry config) {
        ThreadPoolTaskScheduler te = new ThreadPoolTaskScheduler();
        te.setPoolSize(1);
        te.setThreadNamePrefix("wss-heartbeat-thread-");
        te.initialize();
        config.enableSimpleBroker("/user", "/topic").setHeartbeatValue(new long[]{HEART_BEAT, HEART_BEAT}).setTaskScheduler(te);
    }
    /**
     * 开放节点
     * @param registry
     */
    @Override
    public void registerStompEndpoints(StompEndpointRegistry registry) {
        //注册两个STOMP的endpoint,分别用于广播和点对点
        //广播
        registry.addEndpoint("/publicServer").withSockJS();
        //点对点
        registry.addEndpoint("/privateServer").withSockJS();
    }
    @Override
    public void configureWebSocketTransport(WebSocketTransportRegistration registration) {
        registration.setMessageSizeLimit(500 * 1024 * 1024);
        registration.setSendBufferSizeLimit(1024 * 1024 * 1024);
        registration.setSendTimeLimit(200000);
    }
}


InjectServiceUtil.java :


import com.stomp.stomptest.producer.PushMessage;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import javax.annotation.PostConstruct;
/**
 * @Author JCccc
 * @Description   pushMessage (单例)
 * @Date 2021/6/30 8:53
 */
@Component
public class InjectServiceUtil {
    @Autowired
    private PushMessage pushMessage;
    @PostConstruct
    public void init(){
        InjectServiceUtil.getInstance().pushMessage = this.pushMessage;
    }
    /**
     *  实现单例 start
     */
    private static class SingletonHolder {
        private static final InjectServiceUtil INSTANCE = new InjectServiceUtil();
    }
    private InjectServiceUtil (){}
    public static final InjectServiceUtil getInstance() {
        return SingletonHolder.INSTANCE;
    }
    /**
     *  实现单例 end
     */
    public PushMessage pushMessage(){
        return InjectServiceUtil.getInstance().pushMessage;
    }
}


RedisListener.java :


import org.springframework.data.redis.connection.Message;
import org.springframework.data.redis.connection.MessageListener;
/**
 * @Author JCccc
 * @Description   redis监听消息
 * @Date 2021/6/30 8:53
 */
public class RedisListener implements MessageListener {
    @Override
    public void onMessage(Message message, byte[] bytes) {
        System.out.println("步骤1.监听到需要进行负载转发的消息:" + message.toString());
        InjectServiceUtil.getInstance().pushMessage().send(message.toString());
    }
}


简析:


image.png


Message.java :


/**
 * @Author JCccc
 * @Description
 * @Date 2021/8/20 9:26
 */
public class Message {
    /**
     * 消息编码
     */
    private String code;
    /**
     * 来自(保证唯一)
     */
    private String form;
    /**
     * 去自(保证唯一)
     */
    private String to;
    /**
     * 内容
     */
    private String content;
    public String getCode() {
        return code;
    }
    public void setCode(String code) {
        this.code = code;
    }
    public String getForm() {
        return form;
    }
    public void setForm(String form) {
        this.form = form;
    }
    public String getTo() {
        return to;
    }
    public void setTo(String to) {
        this.to = to;
    }
    public String getContent() {
        return content;
    }
    public void setContent(String content) {
        this.content = content;
    }
}


PushMessage.java  :


import com.alibaba.fastjson.JSON;
import com.stomp.stomptest.pojo.Message;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.messaging.simp.SimpMessagingTemplate;
import org.springframework.stereotype.Service;
/**
 * @Author JCccc
 * @Description   消息发送
 * @Date 2021/6/30 8:53
 */
@Service
public class PushMessage {
    @Autowired
    private SimpMessagingTemplate template;
    public void send(String msgJson){
        System.out.println("步骤2.即将推送给websocket server:");
        Message message = JSON.parseObject(msgJson, Message.class);
        System.out.println("步骤2.1 消息发给:"+message.getTo());
        System.out.println("步骤2.2 发送内容是:"+message.getContent());
        template.convertAndSendToUser(message.getTo(), "/message", message.getContent());
        System.out.println("----------消息发送完毕----------");
        //广播
       // template.convertAndSend("/topic/public",chatMessage);
    }
}


最后是 TestController.java (测试接口。模拟触发系统推送消息):


@Controller
public class TestController {
    @Autowired
    public SimpMessagingTemplate template;
    @ResponseBody
    @RequestMapping("/pushToOneTest")
    public String sendMessage(@RequestBody Message message) {
        String messageJson = JSON.toJSONString(message);
        System.out.println("!!!系统准备做消息推送!!!");
        stringRedisTemplate.convertAndSend("webSocketMsgPush",messageJson);
        return "发送成功";
    }
}


ok,项目跑起来,调用一下测试接口,看看整个流程:


可以看到消息正常推送:


image.png


看下代码里面打印的信息(大家初学的可以之间打debug看下流程会更好):


image.png


可以看到,这种场景,不管负载了多少台, 消息都先到 redis里面去。


每一台server都通过redisListener 监听主题,获取到相关 消息 , 然后才开始使用本地的websocket session 去找到各自服务器内是否存在当前用户的连接数据,然后推送出去。


那些找不到的无法进行推送出去,虽然黯然失色罢了,但是 我们的负载问题解决了。


恭喜我们自己。


ok,该篇就到这。


最后还有就是之前的一篇,使用rabbitmq作为消息代理的:


《Springboot 整合Websocket+Stomp协议+RabbitMQ做消息代理 实例教程》

相关文章
|
9月前
|
监控 负载均衡 安全
WebSocket网络编程深度实践:从协议原理到生产级应用
蒋星熠Jaxonic,技术宇宙中的星际旅人,以代码为舟、算法为帆,探索实时通信的无限可能。本文深入解析WebSocket协议原理、工程实践与架构设计,涵盖握手机制、心跳保活、集群部署、安全防护等核心内容,结合代码示例与架构图,助你构建稳定高效的实时应用,在二进制星河中谱写极客诗篇。
WebSocket网络编程深度实践:从协议原理到生产级应用
|
9月前
|
NoSQL Java 网络安全
SpringBoot启动时连接Redis报错:ERR This instance has cluster support disabled - 如何解决?
通过以上步骤一般可以解决由于配置不匹配造成的连接错误。在调试问题时,一定要确保服务端和客户端的Redis配置保持同步一致。这能够确保SpringBoot应用顺利连接到正确配置的Redis服务,无论是单机模式还是集群模式。
727 5
|
10月前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
865 0
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
弹性计算 JavaScript Ubuntu
WebSocket协议相关的测试命令工具使用简介
本文介绍了针对WebSocket的测试工具wscat和websocat的基本使用方法,以及通过curl命令测试HTTP/HTTPS协议的方式。对于WebSocket,直接使用curl测试较为复杂,推荐使用wscat或websocat。文中详细说明了这两种工具的安装步骤、常用参数及连接示例,例如在ECS上开启8080端口监听并进行消息收发测试。此外,还提供了curl命令的手动设置头部信息以模拟WebSocket握手的示例,但指出curl仅能作为客户端测试工具,无法模拟服务器。
3982 5
|
机器学习/深度学习 数据采集 人机交互
springboot+redis互联网医院智能导诊系统源码,基于医疗大模型、知识图谱、人机交互方式实现
智能导诊系统基于医疗大模型、知识图谱与人机交互技术,解决患者“知症不知病”“挂错号”等问题。通过多模态交互(语音、文字、图片等)收集病情信息,结合医学知识图谱和深度推理,实现精准的科室推荐和分级诊疗引导。系统支持基于规则模板和数据模型两种开发原理:前者依赖人工设定症状-科室规则,后者通过机器学习或深度学习分析问诊数据。其特点包括快速病情收集、智能病症关联推理、最佳就医推荐、分级导流以及与院内平台联动,提升患者就诊效率和服务体验。技术架构采用 SpringBoot+Redis+MyBatis Plus+MySQL+RocketMQ,确保高效稳定运行。
898 0
|
NoSQL 算法 安全
redis分布式锁在高并发场景下的方案设计与性能提升
本文探讨了Redis分布式锁在主从架构下失效的问题及其解决方案。首先通过CAP理论分析,Redis遵循AP原则,导致锁可能失效。针对此问题,提出两种解决方案:Zookeeper分布式锁(追求CP一致性)和Redlock算法(基于多个Redis实例提升可靠性)。文章还讨论了可能遇到的“坑”,如加从节点引发超卖问题、建议Redis节点数为奇数以及持久化策略对锁的影响。最后,从性能优化角度出发,介绍了减少锁粒度和分段锁的策略,并结合实际场景(如下单重复提交、支付与取消订单冲突)展示了分布式锁的应用方法。
1009 3
SpringBoot快速搭建WebSocket服务端和客户端
由于工作需要,研究了SpringBoot搭建WebSocket双向通信的过程,其他的教程看了许多,感觉讲得太复杂,很容易弄乱,这里我只展示快速搭建过程。
2986 1
|
网络协议 Java 开发工具
全平台开源即时通讯IM框架MobileIMSDK:7端+TCP/UDP/WebSocket协议,鸿蒙NEXT端已发布,5.7K Stars
全平台开源即时通讯IM框架MobileIMSDK:7端+TCP/UDP/WebSocket协议,鸿蒙NEXT端已发布,5.7K Stars
805 1
|
存储 人工智能 NoSQL
SpringBoot整合Redis、ApacheSolr和SpringSession
本文介绍了如何使用SpringBoot整合Redis、ApacheSolr和SpringSession。SpringBoot以其便捷的配置方式受到开发者青睐,通过引入对应的starter依赖,可轻松实现功能整合。对于Redis,可通过配置RedisSentinel实现高可用;SpringSession则提供集群Session管理,支持多种存储方式如Redis;整合ApacheSolr时,借助Zookeeper搭建SolrCloud提高可用性。文中详细说明了各组件的配置步骤与代码示例,方便开发者快速上手。
268 11
|
存储 NoSQL Java
从扣减库存场景来讲讲redis分布式锁中的那些“坑”
本文从一个简单的库存扣减场景出发,深入分析了高并发下的超卖问题,并逐步优化解决方案。首先通过本地锁解决单机并发问题,但集群环境下失效;接着引入Redis分布式锁,利用SETNX命令实现加锁,但仍存在死锁、锁过期等隐患。文章详细探讨了通过设置唯一标识、续命机制等方法完善锁的可靠性,并最终引出Redisson工具,其内置的锁续命和原子性操作极大简化了分布式锁的实现。最后,作者剖析了Redisson源码,揭示其实现原理,并预告后续关于主从架构下分布式锁的应用与性能优化内容。
629 0

热门文章

最新文章