软件求生_个人页

2024年07月

• 07.22 15:33:36
  发布了视频 2024-07-22 15:33:36

  不再困惑！一文搞懂TCP与UDP的所有区别

  不再困惑！一文搞懂TCP与UDP的所有区别

  
• 07.22 15:14:42
  发表了文章 2024-07-22 15:14:42

  从零开始掌握HTTP协议：全面详解1.0、1.1和2.0

  大家好！我是小米，今天带大家深入探讨互联网基础——HTTP协议。从HTTP/1.0到HTTP/1.1，再到HTTP/2.0，它们是如何发展的，解决了哪些问题，有哪些显着区别？通过这这篇文章，你将全面了解这些协议的变革和优化，掌握关键技术点，提升开发效率。快来一起学习吧！
• 07.20 13:39:46
  发表了文章 2024-07-20 13:39:46

  网络必修课：以太网报文格式详解

  嗨，大家好！今天，我要带大家深入了解以太网报文格式，这是现代网络通信的重要基础。无论你是网络工程师、开发者，还是对技术感兴趣的朋友，这篇文章都将为你揭开以太网的神秘面纱，让你更好地理解和应用这一关键技术。准备好了吗？让我们开始吧！
• 07.19 10:45:05
  发表了文章 2024-07-19 10:45:05

  UDP报文结构详解：一篇文章带你搞懂

  **UDP报文格式简述：**包含源端口、目的端口、长度和检验和4个字段，用于传输层无连接通信。IP报文格式关键点：版本、首部长度、服务类型、总长度、标识、TTL和首部检验和，确保数据在网络中的路由与可靠性。了解这些基础对于网络协议学习至关重要。
• 07.18 10:18:01
  发表了文章 2024-07-18 10:18:01

  TCP报文格式全解析：网络小白变高手的必读指南

  **TCP报文格式详解摘要** 探索TCP，传输层的关键协议，提供可靠数据传输。报文含源/目的端口（标识应用），32位序号（跟踪字节顺序），确认序号（确认接收），4位首部长度，6位标志（URG, ACK, PSH, RST, SYN, FIN），窗口大小（流量控制），检验和（数据完整性），紧急指针（优先数据）及可变长选项（如MSS, 时间戳）。了解这些字段，能更好地理解TCP连接的建立、管理和数据交换。
• 07.17 10:15:49
  发表了文章 2024-07-17 10:15:49

  为什么会TCP粘包？读完这篇你就懂了

  TCP粘包是网络编程中的问题，因TCP的Nagle算法和数据缓存机制导致。发送方发送的小数据包可能被合并，接收方如果读取速度慢也可能合并数据包。解决方法包括：发送定长包、包尾加特殊标记（如FTP的`\r\n`）或包头携带包体长度。理解原因并选择合适方案能确保数据正确解析。
• 07.16 10:35:09
  发表了文章 2024-07-16 10:35:09

  提高网络稳定性的关键：TCP滑动窗口与拥塞控制解析

  **TCP可靠传输与拥塞控制概要：** 小米讲解TCP如何确保数据可靠性。TCP通过分割数据、编号段、校验和、流量控制（滑动窗口）和拥塞控制（慢开始、拥塞避免、快重传、快恢复）保证数据安全传输。拥塞控制动态调整窗口大小，防止网络过载，提升效率。当连续收到3个相同ACK时执行快重传，快恢复避免剧烈波动。关注“软件求生”获取更多技术内容。

  
• 07.15 14:08:18
  发布了视频 2024-07-15 14:08:18

  一次读懂网络分层：应用层到物理层全解析

  一次读懂网络分层：应用层到物理层全解析

  
• 07.15 13:56:39
  发表了文章 2024-07-15 13:56:39

  不再困惑！一文搞懂TCP与UDP的所有区别

  **TCP与UDP是网络协议，TCP提供可靠连接（面向连接、顺序传输、错误检查），适合HTTP、FTP、SMTP等需要数据完整性的应用。UDP则是无连接、快速但不可靠，常用于DNS、RIP、SNMP等实时或效率优先的场景。**
• 07.13 13:27:01
  发表了文章 2024-07-13 13:27:01

  一次读懂网络分层：应用层到物理层全解析

  **网络五层模型简介：** 探索网络服务的分层结构，从应用层开始，包括HTTP（网页传输）、SMTP（邮件）、DNS（域名解析）和FTP（文件传输）协议。传输层涉及TCP（可靠数据传输）和UDP（高效但不可靠）。网络层由IP（路由数据包）、ICMP（错误报告）和路由器构成。数据链路层处理MAC地址和帧传输，物理层规定了电缆、连接器和信号标准。了解这些基础，有助于深入理解网络运作机制。
• 07.12 10:13:12
  发布了视频 2024-07-12 10:13:12

  为什么TCP需要三次握手？一文讲透！

  为什么TCP需要三次握手？一文讲透！

  
• 07.12 09:52:18
  发表了文章 2024-07-12 09:52:18

  学习网络的第一步：全面解析OSI与TCP/IP模型

  **网络基础知识概览：** 探索网络通信的关键模型——OSI七层模型和TCP/IP五层模型。OSI模型（物理、数据链路、网络、传输、会话、表示、应用层）提供理论框架，而TCP/IP模型（物理、数据链路、网络、传输、应用层）更为实际，合并了会话、表示和应用层。两者帮助理解数据在网络中的传输过程，为网络设计和管理提供理论支持。了解这些模型，如同在复杂的网络世界中持有了地图。
• 07.11 14:10:43
  发表了文章 2024-07-11 14:10:43

  TCP四次挥手：为什么四次？原理大揭密！

  **TCP四次挥手详解**：客户端发送FIN进入FIN-WAIT-1，服务器回ACK进CLOSE-WAIT；服务器发送FIN，客户端回ACK进TIME-WAIT，等待2MSL确保数据传输完毕，防止新旧连接混淆。四次挥手确保双方完全关闭连接，解决数据丢失问题。过多TIME-WAIT可通过负载均衡、优化关闭顺序或调整系统参数缓解。关注“软件求生”获取更多技术内容！
• 07.10 16:00:37
  发表了文章 2024-07-10 16:00:37

  为什么TCP需要三次握手？一文讲透！

  **TCP三次握手摘要** TCP三次握手是建立可靠TCP连接的过程，包括： 1. 客户端发送SYN包，进入SYN_SENT状态。 2. 服务端回应SYN和ACK包，进入SYN_RCVD状态。 3. 客户端再次发送ACK包，双方进入ESTABLISHED状态，连接建立。 三次握手确保双方都能发送和接收数据，防止失效请求导致的资源浪费，并同步序列号以确保可靠性。
• 07.09 09:42:34
  发表了文章 2024-07-09 09:42:34

  Kafka日志处理：深入了解偏移量查找与切分文件

  **摘要：** 本文介绍了如何在Kafka中查找偏移量为23的消息，涉及ConcurrentSkipListMap的查询、索引文件的二分查找及日志分段的物理位置搜索。还探讨了Kafka日志分段的切分策略，包括大小、时间、索引大小和偏移量达到特定阈值时的切分条件。理解这些对于优化Kafka的性能和管理日志至关重要。
• 07.08 11:12:30
  发表了文章 2024-07-08 11:12:30

  从零开始掌握Kafka Rebalance和分区分配

  **Kafka Rebalance详解：**当消费者组成员、订阅主题或分区变化时，集群需重新分配任务。涉及关键点：成员增减、主题数量及分区数变更。Rebalance包括Leader选举、RangeAssignor算法的分区分配，以及创建、删除、修改和查询Topic的基本操作。了解这些有助于优化Kafka集群管理。关注“软件求生”获取更多技术内容！
• 07.07 22:27:36
  发表了文章 2024-07-07 22:27:36

  Kafka内幕：详解Leader选举与副本同步的那些事儿

  大家好，我是小米，今天给大家带来一篇关于 Kafka 核心机制的深度解析文章。本文将详细讲解 Kafka 的 Leader 选举、副本消息同步以及相关概念 LEO 和 HW，帮助大家更好地理解和应用 Kafka，提升处理分布式系统的能力。快来一起学习吧！
• 07.05 09:59:33
  发表了文章 2024-07-05 09:59:33

  彻底搞懂Kafka生产消费流程，这篇文章就够了！

  ```markdown 🚀 Kafka 生产消费流程揭秘：Producer 创建守护线程Sender，消息经拦截器→序列化器→分区器→缓冲区。批量发送基于batch.size或linger.ms条件。acks参数控制可靠性，从0（最快但不可靠）到all（最可靠）。消息重试和元数据返回确保不丢失。关注“软件求生”公众号，探索更多技术！ ```
• 07.04 14:09:28
  发表了文章 2024-07-04 14:09:28

  深入Kafka：如何保证数据一致性与可靠性？

  **Kafka一致性详解：** 讲解了幂等性如何通过ProducerID和SequenceNumber确保消息唯一，防止重复处理，维持数据一致性。Kafka利用Zookeeper进行控制器和分区Leader选举，应对节点变动，防止脑裂，确保高可用性。实例中，电商平台用Kafka处理订单，保证每个订单仅处理一次，即使在异常情况下。关注微信公众号“软件求生”获取更多技术内容。
• 07.03 01:35:20
  发表了文章 2024-07-03 01:35:20

  Kafka高可用性指南：提高数据一致性和集群容错能力！

  **Kafka高可用性概览** - 创建Topic时设置`--replication-factor 3`确保数据冗余和高可用。 - 分配角色：Leader处理读写，Follower同步数据，简化管理和客户端逻辑。 - ISR（In-Sync Replicas）保持与Leader同步的副本列表，确保数据一致性和可靠性。 - 设置`acks=all`保证消息被所有副本确认，防止数据丢失，增强一致性。 - 通过这些机制，Kafka实现了分布式环境中的数据可靠性、一致性及服务的高可用性。
• 07.02 10:27:14
  发表了文章 2024-07-02 10:27:14

  kafka线上问题：rebalance

  小米探讨了Kafka消费组重平衡问题，这是大数据领域的一大挑战，特别是在大规模集群中。重平衡因组成员增减、主题数量变化或分区数变化触发，可能使Kafka短暂不可用，影响TPS。解决办法包括调整超时时间、心跳频率和拉取间隔以减少重平衡频率和影响。了解触发原因和机制，以及实施优化策略，对于提升Kafka集群的稳定性和性能至关重要。

  
• 07.01 13:54:26
  发布了视频 2024-07-01 13:54:26

  大数据时代，如何保证消息的顺序性？

  大数据时代，如何保证消息的顺序性？

  
• 07.01 11:24:02
  发表了文章 2024-07-01 11:24:02

  深度揭秘！Kafka和ZooKeeper之间的相爱相杀

  **摘要：** 本文介绍了Kafka和ZooKeeper的角色及其关系。Kafka是分布式流处理平台，用于实时数据管道和流应用；ZooKeeper是分布式协调服务，处理同步和集群协调。在Kafka中，ZooKeeper存储元数据，管理集群成员，选举Controller。随着KIP-500提案，Kafka计划移除对ZooKeeper的依赖，转向基于Raft的共识机制，以简化架构、提高性能和一致性。此外，文章提到了etcd作为基于Raft的元数据存储系统的应用。本文旨在帮助读者理解ZooKeeper在Kafka面试中的重要性，并了解Kafka的未来发展方向。

2024年06月

• 06.29 12:55:36
  发表了文章 2024-06-29 12:55:36

  Kafka面试必备：深度解析Replica副本的作用与机制

  **Kafka的Replica副本是保证数据可靠性的关键机制。每个Partition有Leader和Follower副本，Leader处理读写请求及管理同步，Follower被动同步并准备成为新Leader。从Kafka 2.4开始，Follower在完全同步时也可提供读服务，提升性能。数据一致性通过高水位机制和Leader Epoch机制保证，后者更精确地判断和恢复数据一致性，增强系统容错能力。**
• 06.28 09:55:09
  发表了文章 2024-06-28 09:55:09

  深入解析：Kafka 为何不支持全面读写分离？

  **Kafka 2.4 引入了有限的读写分离，允许Follower处理只读请求，以缓解Leader压力。但这不适用于所有场景，特别是实时数据流和日志分析，因高一致性需求及PULL同步方式导致的复制延迟，可能影响数据实时性和一致性。在设计系统时需考虑具体业务需求。**
• 06.27 09:46:20
  发表了文章 2024-06-27 09:46:20

  大数据时代，如何保证消息的顺序性？

  本文介绍了两种保证消息顺序消费的方法。首先是单 Topic、单 Partition、单 Consumer、单线程消费，虽然简单但吞吐量低，适用于顺序性要求极高的小规模场景。其次，文章提出了单 Key 顺序消费方案，通过路由消息到对应 Key 的内存队列，多线程并行消费来兼顾顺序性和吞吐量，适用于多数需要单 Key 顺序性的系统，如电商订单处理。该方案强调了负载均衡、线程管理和内存管理的关键技术，并提供了消息路由和消费的示意图。
• 06.26 09:51:37
  发表了文章 2024-06-26 09:51:37

  【线上】如何解决积压消费？

  小米，技术分享达人，讲解如何解决分布式系统中消息积压问题。三个步骤包括：1) 修复并扩容consumer以增强消费能力；2) 写程序将Topic消息均匀分发到临时Topic；3) 启动多台consumer并行消费不同临时Topic。优化涉及修复bug、批量与并行消费、缓存优化，以及使用负载均衡和自动化工具确保高可用性。
• 06.25 10:11:06
  发表了文章 2024-06-25 10:11:06

  避免消息积压的终极指南：四个关键技巧

  本文作者小米分享了避免消息积压的四个策略：1) 提高消费并行度，可通过增加消费者实例和利用分区机制；2) 批量消费，利用消息中间件的批量API或自定义批量处理逻辑；3) 减少组件IO交互次数，如使用本地缓存和合并IO操作；4) 优先级消费，设置消息优先级并使用优先级队列。通过这些方法，可以优化消息处理效率，防止消息积压，确保关键业务的顺利进行。
• 06.24 14:18:40
  发表了文章 2024-06-24 14:18:40

  如何打造高可用消息队列？一文读懂关键技术

  本文由程序员小米分享如何设计高性能、高可用的消息队列。内容涵盖一致性（生产者确认、消费者幂等性、Broker同步）、可用性（数据不丢不重、持久化策略）、分区容错（选举机制、多副本同步）、海量数据处理（消息积压、Topic性能优化）及性能优化（时间轮、零拷贝、IO多路复用、顺序读写、压缩批处理）等方面，旨在确保分布式系统中消息的可靠性、一致性和高性能。
• 06.22 15:38:44
  发表了文章 2024-06-22 15:38:44

  高性能、高可靠性！Kafka的技术优势与应用场景全解析

  **Kafka** 是一款高吞吐、高性能的消息系统，擅长日志收集、消息传递和用户活动跟踪。其优点包括：零拷贝技术提高传输效率，顺序读写优化磁盘性能，持久化保障数据安全，分布式架构支持扩展，以及客户端状态维护确保可靠性。在实际应用中，Kafka常用于日志聚合、解耦生产者与消费者，以及实时用户行为分析。
• 06.21 09:42:16
  发表了文章 2024-06-21 09:42:16

  高效处理大数据：Kafka的13个核心概念详解

  大家好，我是小米！今天我将为大家深入解析Kafka的核心概念，包括消息、批次、主题、分区、副本、生产者、消费者、消费组等内容。通过这篇文章，你将全面了解Kafka的工作机制和应用场景，为你的大数据处理提供有力支持。准备好了吗？让我们开始吧！
• 06.20 10:50:24
  发表了文章 2024-06-20 10:50:24

  一文读懂Kafka API：Producer、Consumer和Streams全解析

  大家好，今天我们将深入探讨Kafka的三大核心API。通过这篇文章，你将了解如何使用Producer API发布记录流，利用Consumer API订阅和处理数据，以及通过Streams API实现复杂的流处理。一起开启Kafka的探索之旅吧！
• 06.19 09:55:26
  发表了文章 2024-06-19 09:55:26

  避免Tomcat调试信息泄露的最佳实践

  小米分享了团队解决网站敏感信息泄露问题的经历。在处理运行时错误时，Tomcat显示的调试信息可能泄露。尝试过使用Spring Boot的`ErrorAttributes`接口和修改Tomcat默认错误页面均未成功。最终，他们通过自定义错误页面并配置`application.yml`来隐藏敏感信息，成功解决了问题。这个方法推荐给其他开发者作为避免调试信息泄露的安全实践。

  
• 06.18 10:41:32
  发布了视频 2024-06-18 10:41:32

  【建议收藏】高并发下的分布式事务：如何选择最优方案？

  【建议收藏】高并发下的分布式事务：如何选择最优方案？

  
• 06.18 10:08:34
  发表了文章 2024-06-18 10:08:34

  揭秘Kafka：大数据和流计算领域的高可用利器

  **Kafka是分布式流处理平台，以高效、可伸缩和消息持久化著称。其高可用性通过分区和副本机制实现：每个分区有Leader和Follower副本，Leader处理请求，Follower同步数据。当Leader故障时，ZooKeeper协助选举新Leader，确保服务连续。Kafka适用于大数据处理、流计算和日志分析，但异步处理可能导致延迟，不适合极高实时性场景，并且管理和配置复杂。**
• 06.17 10:42:57
  发表了文章 2024-06-17 10:42:57

  RocketMQ：揭秘电商巨头背后的消息队列秘密

  **RocketMQ概览：**高性能分布式消息队列，适用于有序消息、事务处理、流计算、消息推送、日志处理及Binlog分发。在双11等高流量场景下证明了其性能、稳定性和低延迟。Java开发，利于扩展，性能超RabbitMQ，支持死信队列，但可能有集成兼容性问题。适合Java开发者，为电商等场景优化，每秒处理大量消息。

  
• 06.16 13:05:58
  发表了文章 2024-06-16 13:05:58

  RabbitMQ揭秘：轻量级消息队列的优缺点全解析

  **RabbitMQ简介** RabbitMQ是源自电信行业的消息中间件，支持AMQP协议，提供轻量、快速且易于部署的解决方案。它拥有灵活的路由配置，广泛的语言支持，适用于异步处理、负载均衡、日志收集和微服务通信等场景。然而，当面临大量消息堆积或高吞吐量需求时，性能可能会下降，并且扩展和开发成本相对较高。
• 06.14 10:03:25
  发表了文章 2024-06-14 10:03:25

  【建议收藏】技术人必看：如何选择适合你公司的消息队列工具

  本文介绍了消息队列在系统架构中的三大作用：异步处理、削峰填谷和解耦，并通过实例详细阐述了每种作用的优势。文中推荐了三款消息队列工具：RabbitMQ适合中小型公司，因其开源和社区活跃；RocketMQ适合大型公司，因其强大的二次开发能力；而在大数据领域，Kafka是实时计算和日志采集的标准选择。作者小米鼓励读者根据自身需求选择合适的消息队列，并邀请大家探讨技术话题。
• 06.13 09:50:36
  发表了文章 2024-06-13 09:50:36

  大厂面试必备：如何轻松实现分布式Session管理？

  这篇文章介绍三种分布式Session的实现方案：基于JWT的Token、基于Tomcat的Redis和基于Spring的Redis。JWT方案通过生成Token存储用户信息，实现无状态、可扩展的会话管理，但可能增加请求负载且数据安全性较低。Tomcat与Redis结合，通过配置Tomcat和Redis，实现Session集中管理和高性能存储，但配置相对复杂。Spring整合Redis适用于SpringBoot和SpringCloud项目，集成方便，扩展性强，但同样依赖外部Redis服务。每种方法有其优缺点，适用场景不同。作者小米是一个技术爱好者，欢迎关注其微信公众号“软件求生”获取更多技术内容
• 06.12 09:43:09
  发表了文章 2024-06-12 09:43:09

  【建议收藏】高并发下的分布式事务：如何选择最优方案？

  本文介绍了分布式事务的三种常见解决方案。在分布式系统中，事务处理变得复杂，需确保ACID特性。TCC（Try-Confirm-Cancel）方案适用于严格资金要求的场景，如银行转账，通过预留、确认和取消步骤确保一致性。可靠消息最终一致性方案适合一致性要求较低的场景，如电商积分处理，通过消息中间件实现最终一致性。最大努力通知方案则用于允许不一致的场景，如数据分析，通过重复通知尽可能达成一致性。选择合适的方案取决于具体应用场景。
• 06.11 13:59:35
  发表了文章 2024-06-11 13:59:35

  轻量级分布式事务实现：掌握最大努力通知方案

  本文介绍了分布式事务的重要概念，特别是最大努力通知方案。最大努力通知是一种基于消息通知的分布式事务处理方式，通过异步通知确保最终一致性。方案包括事务消息发送、消息中间件持久化和最大努力通知三个步骤。虽然它实现简单、性能高且灵活，但可能无法保证强一致性，且存在重试和人工干预的成本。文中还提供了一个电商订单与库存系统同步的案例，并分析了该方案的优缺点。
• 06.09 11:40:52
  发表了文章 2024-06-09 11:40:52

  分布式事务大揭秘：使用MQ实现最终一致性

  本文由小米分享，介绍分布式事务中的MQ最终一致性实现，以RocketMQ为例。RocketMQ的事务消息机制包括准备消息、本地事务执行、确认/回滚消息及事务状态检查四个步骤。这种机制通过消息队列协调多系统操作，确保数据最终一致。MQ最终一致性具有系统解耦、提高可用性和灵活事务管理等优点，广泛应用于分布式系统中。文章还讨论了RocketMQ的事务消息处理流程和失败情况下的处理策略，帮助读者理解如何在实际应用中解决分布式事务问题。
• 06.07 09:54:32
  发表了文章 2024-06-07 09:54:32

  简单高效！本地消息表助你轻松实现分布式事务

  本文由小米分享，介绍如何使用本地消息表解决分布式事务问题。分布式事务在微服务架构中变得复杂，本地消息表提供了一种简单高效的方法。它通过在同一事务中处理业务操作和消息记录，然后异步发送消息，确保数据一致性。文章详细阐述了本地消息表的原理、实现步骤、优势及不足，强调了其实现的简单性、高性能和高可靠性，但也指出其潜在的开发复杂度和延迟性问题。
• 06.06 10:10:01
  发布了视频 2024-06-06 10:10:01

  主备切换大揭秘：保证系统永不停机的秘密

  主备切换大揭秘：保证系统永不停机的秘密

  
• 06.06 09:56:19
  发表了文章 2024-06-06 09:56:19

  读《淘宝技术这10年》：从进化中感受技术的美与挑战

  小米，一位29岁的程序员，分享了阅读《淘宝技术这10年》的感悟。书中学到，好的架构和功能是通过不断实践和进化而来的，而非一开始就能设计完美。强调了回归测试、数据存储与访问优化、慎用新技术、用户体验和成本控制的重要性。同时，提倡借鉴优秀案例，追求高性能、高可用和低成本，并鼓励主动解决问题和担当。书中理念对架构设计和开发工作提供了有价值的启示。
• 06.05 10:08:06
  发布了视频 2024-06-05 10:08:06

  探索分布式系统演进之路：从负载均衡到微服务架构

  探索分布式系统演进之路：从负载均衡到微服务架构

  
• 06.05 09:49:22
  发表了文章 2024-06-05 09:49:22

  长事务管理不再难：Saga模式全面解析

  本文介绍了分布式事务中的Saga模式，它用于解决微服务架构下的事务管理问题。Saga通过一系列本地事务和补偿操作确保最终一致性，分为编排和协同两种模式。文章重点讲解了编排模式，其中 Saga 协调者负责事务的执行和失败后的补偿。Saga 模式适用于业务流程明确且需要严格补偿的场景，能有效管理长事务，但实现上可能增加复杂性，并存在一致性延迟。文章还讨论了其优缺点和适用场景，强调了在面对分布式事务挑战时，Saga 模式的价值和潜力。
• 06.04 10:13:36
  发布了视频 2024-06-04 10:13:36

  Redis经典问题：数据并发竞争

  Redis经典问题：数据并发竞争

  
• 06.04 09:58:39
  发表了文章 2024-06-04 09:58:39

  如何用TCC方案轻松实现分布式事务一致性

  TCC（Try-Confirm-Cancel）是一种分布式事务解决方案，将事务拆分为尝试、确认和取消三步，确保在分布式系统中实现操作的原子性。它旨在处理分布式环境中的数据一致性问题，通过预检查和资源预留来降低失败风险。TCC方案具有高可靠性和灵活性，但也增加了系统复杂性并可能导致性能影响。它需要为每个服务实现Try、Confirm和Cancel接口，并在回滚时确保资源正确释放。虽然有挑战，TCC在复杂的分布式系统中仍被广泛应用。
• 06.03 10:51:56
  发布了视频 2024-06-03 10:51:56

  Redis经典问题：数据不一致

  Redis经典问题：数据不一致