软件求生_个人页

2024年08月

• 08.13 10:10:33
  发表了文章 2024-08-13 10:10:33

  仅用10MB内存，你能从100亿个数中找到中位数吗？

  大家好，我是小米，一名热爱技术分享的程序员。今天探讨如何在内存有限（仅10MB）时找到100亿个整数的中位数。面对庞大的数据量（约400GB）及内存限制，我们将采用分治策略：先依据整数的最高二进制位将数据分为非负数与负数两个文件，逐步缩小范围直至能在内存中处理。当内存充足时，可直接加载所有数据并排序找到中位数。这一问题不仅考验算法能力，也是处理大数据时资源管理的关键。
• 08.12 11:20:11
  发表了文章 2024-08-12 11:20:11

  从海量数据中挖出TOP100热词，这个算法太绝了！

  小米，一位热爱技术的29岁程序员，今天探讨如何在海量搜索词汇中找出最热的TOP100词汇。面对包含数百亿词汇的大文件，小米介绍了一种实用的方法：通过哈希分流将大文件拆分成小文件，接着利用哈希表统计词频，并运用小根堆选出每个小文件的TOP100词汇。最后通过外排序或再次使用小根堆选出全局TOP100。此外还提出了并行处理、内存优化及数据压缩等优化手段。这一系列技巧能有效应对大数据处理挑战。
• 08.09 10:34:41
  发布了视频 2024-08-09 10:34:41

  一步步揭秘：浏览器输入URL后的那些事儿

  一步步揭秘：浏览器输入URL后的那些事儿

  
• 08.09 10:06:02
  发表了文章 2024-08-09 10:06:02

  极限挑战：40亿个非负整数中找到没有出现的数（bit数组）

  大家好！我是小米，一名热衷于技术分享的29岁程序员。今天探讨的问题是在40亿个非负整数中找到未出现的数字。直接使用哈希表因内存限制而不可行。本文提出了一种解决方案——利用bit数组。通过标记出现过的数字，最终找出未被标记的位置所对应的数字即为答案。对于更严格的内存限制（如10MB），文章还介绍了分块处理的方法，先统计每个区间的数字数量，找到计数不足的区间后再精确处理。这种算法不仅展示了巧妙利用有限资源的能力，也为实际工程问题提供了解决思路。希望各位读者能从中受益，享受编程带来的乐趣！
• 08.08 16:55:26
  发表了文章 2024-08-08 16:55:26

  小米教你：2GB内存搞定20亿数据的高效算法

  你好，我是小米。本文介绍如何在2GB内存中找出20亿个整数里出现次数最多的数。通过将数据用哈希函数分至16个小文件，每份独立计数后选出频次最高的数，最终比对得出结果。这种方法有效解决大数据下的内存限制问题，并可应用于更广泛的场景。欢迎关注我的公众号“软件求生”，获取更多技术分享！
• 08.07 10:09:09
  发表了文章 2024-08-07 10:09:09

  布隆过滤器揭秘：让URL黑名单存储从640GB缩小到35.88GB！

  嗨，我是小米，热衷技术分享。今天探讨利用布隆过滤器处理100亿URL黑名单的高效存储与查询问题。传统散列表需640GB内存，而布隆过滤器仅占35.88GB，误判率0.01%，极大节省资源。通过计算位数组长度与哈希函数数量，实现高效查询。我还将分享其实现代码。希望对你有所帮助！
• 08.06 09:59:47
  发表了文章 2024-08-06 09:59:47

  深入剖析操作系统死锁：不可不知的四大条件！

  大家好，我是小米。今天探讨操作系统中的死锁问题——两个或更多进程因争夺资源陷入相互等待的状态。死锁有四个必要条件：互斥、请求与保持、非剥夺及循环等待。解决策略包括：使用乐观锁破坏互斥条件；资源一次性分配避免请求与保持；允许资源剥夺；以及采用资源有序分配法消除循环等待。通过这些方法，可以有效预防和解决死锁，提升系统稳定性和效率。希望本文能帮助你更好地理解并处理死锁问题！
• 08.05 10:50:03
  发布了视频 2024-08-05 10:50:03

  重定向和转发到底有啥区别？看这篇就够了！

  重定向和转发到底有啥区别？看这篇就够了！

  
• 08.05 10:37:46
  发表了文章 2024-08-05 10:37:46

  理解操作系统内存管理：页面置换算法全解析

  大家好，我是小米，热爱分享技术的大哥哥！今天聊的是操作系统中的页面置换算法。它解决的是内存满载时，如何选择合适的页面移出以腾出空间的问题。主要有三种算法：FIFO（先进先出），简单但性能不佳；LRU（最近最久未使用），考虑时间局部性，性能较好但实现较复杂；OPT（最佳置换），理论上最优但无法实际应用。这些算法各有千秋，在实际应用中需根据场景选择最合适的方案。希望这能帮大家更好地理解内存管理的核心机制！
• 08.02 10:32:21
  发布了视频 2024-08-02 10:32:21

  HTTP和HTTPS的区别，你真的了解吗？

  HTTP和HTTPS的区别，你真的了解吗？

  
• 08.02 10:06:18
  发表了文章 2024-08-02 10:06:18

  探索操作系统的核心：用户态与核心态的深度解析

  本文介绍了操作系统中用户态与核心态的概念，两者分别代表程序执行的不同权限级别。用户态限制应用程序访问敏感资源以确保安全，而核心态赋予操作系统完全控制权以管理硬件和内存。文章详细解释了这两种状态的重要性、区别以及如何在二者之间进行切换，包括通过系统调用、异常和中断等方式。理解这些概念对于确保系统的稳定性和安全性至关重要。
• 08.01 17:07:23
  发布了视频 2024-08-01 17:07:23

  从零开始掌握HTTP协议：全面详解1.0、1.1和2.0

  从零开始掌握HTTP协议：全面详解1.0、1.1和2.0

  
• 08.01 11:40:51
  发表了文章 2024-08-01 11:40:51

  从零开始掌握进程间通信：管道、信号、消息队列、共享内存大揭秘

  在操作系统中，进程间通信（IPC）是至关重要的，它提供了多种机制来实现不同进程间的数据交换和同步。本篇文章将详细介绍几种常见的IPC方式，包括管道、信号、消息队列、共享内存、信号量和套接字，帮助你深入理解并合理应用这些通信方式，提高系统性能与可靠性。

2024年07月

• 07.31 09:50:47
  发表了文章 2024-07-31 09:50:47

  如何区分进程、线程和协程？看这篇就够了！

  以下是内容摘要，已简化并保持在240字符以内： 嗨，我是小米！今天聊聊进程、线程和协程： - **进程**：资源分配基本单位，独立且隔离。 - **线程**：进程内执行单元，轻量级且共享资源。 - **协程**：比线程更轻量，适合I/O密集型任务。 每种都有独特特点和适用场景，选择合适可优化性能。希望对你有所帮助！更多内容，请关注我的公众号“软件求生”。
• 07.30 10:50:54
  发布了视频 2024-07-30 10:50:54

  网络必修课：以太网报文格式详解

  网络必修课：以太网报文格式详解

  
• 07.30 10:36:20
  发表了文章 2024-07-30 10:36:20

  一步步揭秘：浏览器输入URL后的那些事儿

  大家好，我是小米！你有没有好奇过，当你在浏览器输入一个网址并按下回车键后，到底发生了什么神奇的过程？从DNS解析到TCP连接，从发送HTTP请求到浏览器渲染，本文将带你深入了解这个复杂而又迷人的过程，让我们一起探索吧！
• 07.29 14:40:02
  发表了文章 2024-07-29 14:40:02

  Cookie和Session的区别，99%的程序员都不知道的细节！

  大家好，我是小米，在Web开发中，Cookie和Session是两种重要的状态管理工具。它们有着不同的存储位置、安全性和应用场景。本篇文章将详细解析它们的区别和应用，让你在开发过程中能够更加游刃有余。让我们一起深入了解吧！
• 07.28 14:20:26
  发表了文章 2024-07-28 14:20:26

  重定向和转发到底有啥区别？看这篇就够了！

  在Web开发中，重定向和转发是常见操作，但它们有何不同？本文将详细解析重定向与转发的原理、区别及实际应用，帮助你在开发中更好地选择和使用这两种技术。
• 07.26 11:34:42
  发布了视频 2024-07-26 11:34:42

  UDP报文结构详解：一篇文章带你搞懂

  UDP报文结构详解：一篇文章带你搞懂

  
• 07.26 10:19:23
  发表了文章 2024-07-26 10:19:23

  HTTP状态码大全：如何读懂服务器的语言？

  大家好，我是小米，今天我们来聊聊HTTP协议中的GET和POST请求。它们在数据传输方式、安全性和应用场景上有不同特点。本文将详细解析它们的区别和特点，帮助你更好地理解和运用这两种请求方式。让我们一起学习吧！
• 07.25 10:26:10
  发布了视频 2024-07-25 10:26:10

  TCP报文格式全解析：网络小白变高手的必读指南

  TCP报文格式全解析：网络小白变高手的必读指南

  
• 07.25 09:53:44
  发表了文章 2024-07-25 09:53:44

  开发者必读：GET和POST请求的终极对比

  大家好，我是小米，今天我们来聊聊HTTP协议中的GET和POST请求。它们在数据传输方式、安全性和应用场景上有不同特点。本文将详细解析它们的区别和特点，帮助你更好地理解和运用这两种请求方式。让我们一起学习吧！
• 07.23 10:49:36
  发布了视频 2024-07-23 10:49:36

  为什么会TCP粘包？读完这篇你就懂了

  为什么会TCP粘包？读完这篇你就懂了

  
• 07.23 10:32:58
  发表了文章 2024-07-23 10:32:58

  HTTP和HTTPS的区别，你真的了解吗？

  大家好，我是你们的技术小伙伴小米！今天我们来聊聊HTTP和HTTPS的区别以及HTTPS链接的建立过程，同时了解两种常见的加密算法——对称加密和非对称加密。通过这篇文章，你将深入理解这些网络基础知识，为网站安全保驾护航！
• 07.22 15:33:36
  发布了视频 2024-07-22 15:33:36

  不再困惑！一文搞懂TCP与UDP的所有区别

  不再困惑！一文搞懂TCP与UDP的所有区别

  
• 07.22 15:14:42
  发表了文章 2024-07-22 15:14:42

  从零开始掌握HTTP协议：全面详解1.0、1.1和2.0

  大家好！我是小米，今天带大家深入探讨互联网基础——HTTP协议。从HTTP/1.0到HTTP/1.1，再到HTTP/2.0，它们是如何发展的，解决了哪些问题，有哪些显着区别？通过这这篇文章，你将全面了解这些协议的变革和优化，掌握关键技术点，提升开发效率。快来一起学习吧！
• 07.20 13:39:46
  发表了文章 2024-07-20 13:39:46

  网络必修课：以太网报文格式详解

  嗨，大家好！今天，我要带大家深入了解以太网报文格式，这是现代网络通信的重要基础。无论你是网络工程师、开发者，还是对技术感兴趣的朋友，这篇文章都将为你揭开以太网的神秘面纱，让你更好地理解和应用这一关键技术。准备好了吗？让我们开始吧！
• 07.19 10:45:05
  发表了文章 2024-07-19 10:45:05

  UDP报文结构详解：一篇文章带你搞懂

  **UDP报文格式简述：**包含源端口、目的端口、长度和检验和4个字段，用于传输层无连接通信。IP报文格式关键点：版本、首部长度、服务类型、总长度、标识、TTL和首部检验和，确保数据在网络中的路由与可靠性。了解这些基础对于网络协议学习至关重要。
• 07.18 10:18:01
  发表了文章 2024-07-18 10:18:01

  TCP报文格式全解析：网络小白变高手的必读指南

  **TCP报文格式详解摘要** 探索TCP，传输层的关键协议，提供可靠数据传输。报文含源/目的端口（标识应用），32位序号（跟踪字节顺序），确认序号（确认接收），4位首部长度，6位标志（URG, ACK, PSH, RST, SYN, FIN），窗口大小（流量控制），检验和（数据完整性），紧急指针（优先数据）及可变长选项（如MSS, 时间戳）。了解这些字段，能更好地理解TCP连接的建立、管理和数据交换。
• 07.17 10:15:49
  发表了文章 2024-07-17 10:15:49

  为什么会TCP粘包？读完这篇你就懂了

  TCP粘包是网络编程中的问题，因TCP的Nagle算法和数据缓存机制导致。发送方发送的小数据包可能被合并，接收方如果读取速度慢也可能合并数据包。解决方法包括：发送定长包、包尾加特殊标记（如FTP的`\r\n`）或包头携带包体长度。理解原因并选择合适方案能确保数据正确解析。
• 07.16 10:35:09
  发表了文章 2024-07-16 10:35:09

  提高网络稳定性的关键：TCP滑动窗口与拥塞控制解析

  **TCP可靠传输与拥塞控制概要：** 小米讲解TCP如何确保数据可靠性。TCP通过分割数据、编号段、校验和、流量控制（滑动窗口）和拥塞控制（慢开始、拥塞避免、快重传、快恢复）保证数据安全传输。拥塞控制动态调整窗口大小，防止网络过载，提升效率。当连续收到3个相同ACK时执行快重传，快恢复避免剧烈波动。关注“软件求生”获取更多技术内容。

  
• 07.15 14:08:18
  发布了视频 2024-07-15 14:08:18

  一次读懂网络分层：应用层到物理层全解析

  一次读懂网络分层：应用层到物理层全解析

  
• 07.15 13:56:39
  发表了文章 2024-07-15 13:56:39

  不再困惑！一文搞懂TCP与UDP的所有区别

  **TCP与UDP是网络协议，TCP提供可靠连接（面向连接、顺序传输、错误检查），适合HTTP、FTP、SMTP等需要数据完整性的应用。UDP则是无连接、快速但不可靠，常用于DNS、RIP、SNMP等实时或效率优先的场景。**
• 07.13 13:27:01
  发表了文章 2024-07-13 13:27:01

  一次读懂网络分层：应用层到物理层全解析

  **网络五层模型简介：** 探索网络服务的分层结构，从应用层开始，包括HTTP（网页传输）、SMTP（邮件）、DNS（域名解析）和FTP（文件传输）协议。传输层涉及TCP（可靠数据传输）和UDP（高效但不可靠）。网络层由IP（路由数据包）、ICMP（错误报告）和路由器构成。数据链路层处理MAC地址和帧传输，物理层规定了电缆、连接器和信号标准。了解这些基础，有助于深入理解网络运作机制。
• 07.12 10:13:12
  发布了视频 2024-07-12 10:13:12

  为什么TCP需要三次握手？一文讲透！

  为什么TCP需要三次握手？一文讲透！

  
• 07.12 09:52:18
  发表了文章 2024-07-12 09:52:18

  学习网络的第一步：全面解析OSI与TCP/IP模型

  **网络基础知识概览：** 探索网络通信的关键模型——OSI七层模型和TCP/IP五层模型。OSI模型（物理、数据链路、网络、传输、会话、表示、应用层）提供理论框架，而TCP/IP模型（物理、数据链路、网络、传输、应用层）更为实际，合并了会话、表示和应用层。两者帮助理解数据在网络中的传输过程，为网络设计和管理提供理论支持。了解这些模型，如同在复杂的网络世界中持有了地图。
• 07.11 14:10:43
  发表了文章 2024-07-11 14:10:43

  TCP四次挥手：为什么四次？原理大揭密！

  **TCP四次挥手详解**：客户端发送FIN进入FIN-WAIT-1，服务器回ACK进CLOSE-WAIT；服务器发送FIN，客户端回ACK进TIME-WAIT，等待2MSL确保数据传输完毕，防止新旧连接混淆。四次挥手确保双方完全关闭连接，解决数据丢失问题。过多TIME-WAIT可通过负载均衡、优化关闭顺序或调整系统参数缓解。关注“软件求生”获取更多技术内容！
• 07.10 16:00:37
  发表了文章 2024-07-10 16:00:37

  为什么TCP需要三次握手？一文讲透！

  **TCP三次握手摘要** TCP三次握手是建立可靠TCP连接的过程，包括： 1. 客户端发送SYN包，进入SYN_SENT状态。 2. 服务端回应SYN和ACK包，进入SYN_RCVD状态。 3. 客户端再次发送ACK包，双方进入ESTABLISHED状态，连接建立。 三次握手确保双方都能发送和接收数据，防止失效请求导致的资源浪费，并同步序列号以确保可靠性。
• 07.09 09:42:34
  发表了文章 2024-07-09 09:42:34

  Kafka日志处理：深入了解偏移量查找与切分文件

  **摘要：** 本文介绍了如何在Kafka中查找偏移量为23的消息，涉及ConcurrentSkipListMap的查询、索引文件的二分查找及日志分段的物理位置搜索。还探讨了Kafka日志分段的切分策略，包括大小、时间、索引大小和偏移量达到特定阈值时的切分条件。理解这些对于优化Kafka的性能和管理日志至关重要。
• 07.08 11:12:30
  发表了文章 2024-07-08 11:12:30

  从零开始掌握Kafka Rebalance和分区分配

  **Kafka Rebalance详解：**当消费者组成员、订阅主题或分区变化时，集群需重新分配任务。涉及关键点：成员增减、主题数量及分区数变更。Rebalance包括Leader选举、RangeAssignor算法的分区分配，以及创建、删除、修改和查询Topic的基本操作。了解这些有助于优化Kafka集群管理。关注“软件求生”获取更多技术内容！
• 07.07 22:27:36
  发表了文章 2024-07-07 22:27:36

  Kafka内幕：详解Leader选举与副本同步的那些事儿

  大家好，我是小米，今天给大家带来一篇关于 Kafka 核心机制的深度解析文章。本文将详细讲解 Kafka 的 Leader 选举、副本消息同步以及相关概念 LEO 和 HW，帮助大家更好地理解和应用 Kafka，提升处理分布式系统的能力。快来一起学习吧！
• 07.05 09:59:33
  发表了文章 2024-07-05 09:59:33

  彻底搞懂Kafka生产消费流程，这篇文章就够了！

  ```markdown 🚀 Kafka 生产消费流程揭秘：Producer 创建守护线程Sender，消息经拦截器→序列化器→分区器→缓冲区。批量发送基于batch.size或linger.ms条件。acks参数控制可靠性，从0（最快但不可靠）到all（最可靠）。消息重试和元数据返回确保不丢失。关注“软件求生”公众号，探索更多技术！ ```
• 07.04 14:09:28
  发表了文章 2024-07-04 14:09:28

  深入Kafka：如何保证数据一致性与可靠性？

  **Kafka一致性详解：** 讲解了幂等性如何通过ProducerID和SequenceNumber确保消息唯一，防止重复处理，维持数据一致性。Kafka利用Zookeeper进行控制器和分区Leader选举，应对节点变动，防止脑裂，确保高可用性。实例中，电商平台用Kafka处理订单，保证每个订单仅处理一次，即使在异常情况下。关注微信公众号“软件求生”获取更多技术内容。
• 07.03 01:35:20
  发表了文章 2024-07-03 01:35:20

  Kafka高可用性指南：提高数据一致性和集群容错能力！

  **Kafka高可用性概览** - 创建Topic时设置`--replication-factor 3`确保数据冗余和高可用。 - 分配角色：Leader处理读写，Follower同步数据，简化管理和客户端逻辑。 - ISR（In-Sync Replicas）保持与Leader同步的副本列表，确保数据一致性和可靠性。 - 设置`acks=all`保证消息被所有副本确认，防止数据丢失，增强一致性。 - 通过这些机制，Kafka实现了分布式环境中的数据可靠性、一致性及服务的高可用性。
• 07.02 10:27:14
  发表了文章 2024-07-02 10:27:14

  kafka线上问题：rebalance

  小米探讨了Kafka消费组重平衡问题，这是大数据领域的一大挑战，特别是在大规模集群中。重平衡因组成员增减、主题数量变化或分区数变化触发，可能使Kafka短暂不可用，影响TPS。解决办法包括调整超时时间、心跳频率和拉取间隔以减少重平衡频率和影响。了解触发原因和机制，以及实施优化策略，对于提升Kafka集群的稳定性和性能至关重要。

  
• 07.01 13:54:26
  发布了视频 2024-07-01 13:54:26

  大数据时代，如何保证消息的顺序性？

  大数据时代，如何保证消息的顺序性？

  
• 07.01 11:24:02
  发表了文章 2024-07-01 11:24:02

  深度揭秘！Kafka和ZooKeeper之间的相爱相杀

  **摘要：** 本文介绍了Kafka和ZooKeeper的角色及其关系。Kafka是分布式流处理平台，用于实时数据管道和流应用；ZooKeeper是分布式协调服务，处理同步和集群协调。在Kafka中，ZooKeeper存储元数据，管理集群成员，选举Controller。随着KIP-500提案，Kafka计划移除对ZooKeeper的依赖，转向基于Raft的共识机制，以简化架构、提高性能和一致性。此外，文章提到了etcd作为基于Raft的元数据存储系统的应用。本文旨在帮助读者理解ZooKeeper在Kafka面试中的重要性，并了解Kafka的未来发展方向。

2024年06月

• 06.29 12:55:36
  发表了文章 2024-06-29 12:55:36

  Kafka面试必备：深度解析Replica副本的作用与机制

  **Kafka的Replica副本是保证数据可靠性的关键机制。每个Partition有Leader和Follower副本，Leader处理读写请求及管理同步，Follower被动同步并准备成为新Leader。从Kafka 2.4开始，Follower在完全同步时也可提供读服务，提升性能。数据一致性通过高水位机制和Leader Epoch机制保证，后者更精确地判断和恢复数据一致性，增强系统容错能力。**
• 06.28 09:55:09
  发表了文章 2024-06-28 09:55:09

  深入解析：Kafka 为何不支持全面读写分离？

  **Kafka 2.4 引入了有限的读写分离，允许Follower处理只读请求，以缓解Leader压力。但这不适用于所有场景，特别是实时数据流和日志分析，因高一致性需求及PULL同步方式导致的复制延迟，可能影响数据实时性和一致性。在设计系统时需考虑具体业务需求。**
• 06.27 09:46:20
  发表了文章 2024-06-27 09:46:20

  大数据时代，如何保证消息的顺序性？

  本文介绍了两种保证消息顺序消费的方法。首先是单 Topic、单 Partition、单 Consumer、单线程消费，虽然简单但吞吐量低，适用于顺序性要求极高的小规模场景。其次，文章提出了单 Key 顺序消费方案，通过路由消息到对应 Key 的内存队列，多线程并行消费来兼顾顺序性和吞吐量，适用于多数需要单 Key 顺序性的系统，如电商订单处理。该方案强调了负载均衡、线程管理和内存管理的关键技术，并提供了消息路由和消费的示意图。