Go netpoll大解析(上)

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
简介: Go netpoll大解析

开篇


之前简单看过一点go原生netpoll,没注意太多细节。最近从头到尾看了一遍,特写篇文章记录下。文章很长,请耐心看完,一定有所收获。


内核空间和用户空间


在linux中,经常能看到两个词语:User space(用户空间)和Kernel space (内核空间)。


简单说, Kernel space是linux内核运行的空间,User space是用户程序运行的空间。它们之间是相互隔离的。


现代操作系统都是采用虚拟存储器。那么对32位操作系统而言,它的寻址空间(虚拟存储空间)为4G(2的32次方)。


操作系统的核心是内核,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限。


为了保证用户进程不能直接操作内核,保证内核的安全,系统将虚拟空间划分为两部分,一部分为内核空间,一部分为用户空间。


针对linux操作系统而言,将最高的1G字节(从虚拟地址0xC0000000到0xFFFFFFFF),供内核使用,称为内核空间,而将较低的3G字节(从虚拟地址0x00000000到0xBFFFFFFF),供各个进程使用,称为用户空间。空间分配如下图所示:


1668515813323.jpg


Kernel space可以调用系统的一切资源。User space 不能直接调用系统资源,在 Linux系统中,所有的系统资源管理都是在内核空间中完成的。


比如读写磁盘文件、分配回收内存、从网络接口读写数据等等。应用程序无法直接进行这样的操作,但是用户程序可以通过内核提供的接口来完成这样的任务。


1668515827238.jpg


像下面这样,


1668515840149.jpg


应用程序要读取磁盘上的一个文件,它可以向内核发起一个 “系统调用” 告诉内核:”我要读取磁盘上的某某文件”。其实就是通过一个特殊的指令让进程从用户态进入到内核态。


在内核空间中,CPU 可以执行任何的指令,当然也包括从磁盘上读取数据。


具体过程是先把数据读取到内核空间中,然后再把数据拷贝到用户空间并从内核态切换到用户态。


此时应用程序已经从系统调用中返回并且拿到了想要的数据,继续往下执行用户空间执行逻辑。


这样的话,一旦涉及到对I/O的处理,就必然会涉及到在用户态和内核态之间来回切换。


io模型


网上有太多关于I/O模型的文章,看着看着有可能就跑偏了,所以我还是从 <<UNIX 网络编程>> 中总结的5中I/O模型说起吧。


Unix可用的5种I/O模型。

  • 阻塞I/O
  • 非阻塞I/O
  • I/O复用
  • 信号驱动式I/O(SIGIO)
  • 异步I/O(POSIX的aio_系列函数)


阻塞I/O


1668515861988.jpg


阻塞式I/O下,进程调用recvfrom,直到数据到达且被复制到应用程序的缓冲区中或者发生错误才返回,在整个过程进程都是被阻塞的


非阻塞I/O


1668515905770.jpg


从图中可以看出,前三次调用recvfrom中没有数据可返回,因此内核转而立即返回一个EWOULDBLOCK错误。


第四次调用recvfrom时已有一个数据报准备好,它被复制到应用程序缓冲区,于是recvfrom成功返回。


当一个应用程序像这样对一个非阻塞描述符循环调用recvfrom时,我们通常称为轮询(polling),持续轮询内核,以这种方式查看某个操作是否就绪。


I/O多路复用


1668515950829.jpg


有了I/O多路复用(I/O multiplexing),我们就可以调用 select 或者 poll,阻塞在这两个系统调用中的某一个之上,而不是阻塞在真正的I/O系统调用上。


上面这句话难理解是吧。


说白了这里指的是,在第一步中,我们只是阻塞在select调用上,直到数据报套接字变为可读,返回可读条件,这里并没有发生I/O事件,所以说这一步,并没有阻塞在真正的I/O系统调用上。


其他两种就不过多介绍了。还有一点,我们会经常提到同步I/O和异步I/O。


POSIX 把这两种术语定义如下:

  • 同步I/O操作(synchronous I/O opetation) 导致请求进程被阻塞,直到I/O操作完成。
  • 异步I/O(asynchronous opetation) 不导致请求进程被阻塞。


基于上面的定义,


1668515969645.jpg


异步I/O的关键在于第二步的recrfrom是否会阻塞住用户进程,如果不阻塞,那它就是异步I/O。从上面汇总图中可以看出,只有异步I/O满足POSIX中对异步I/O的定义。


Go netpoller


Go netpoller 底层就是对I/O多路复用的封装。不同平台对I/O多路复用有不同的实现方式。比如Linux的select、poll和epoll。


在MacOS则是kqueue,而Windows是基于异步I/O实现的icop......,基于这些背景,Go针对不同的平台调用实现了多版本的netpoller。


1668516022079.jpg


下面我们通过一个demo开始讲解。


1668516037196.jpg


很简单一个demo,开启一个tcp服务。然后每来一个连接,就启动一个g去处理连接。处理完毕,关闭连接。


而且我们使用的是同步的模式去编写异步的逻辑,一个连接对应一个g处理,极其简单和易于理解。go标准库中的http.server也是这么干的。


1668516048559.jpg


针对上面的tcp服务demo,我们需要关注这段代码底层都发生了什么。


上面代码中主要涉及底层的一些结构。


1668516059060.jpg


先简单解释一波。

  • TCPListener:我们开启的是一个TCP服务,那当然就是TCP服务的网络监听器。
  • netFD:网络描述符。Go中所有的网络操作都是以netFD实现的,它和底层FD做绑定。
  • FD:文件描述符。net和os包把这个类型作为一个网络连接或者操作系统文件。其中里面一个字段Sysfd就是具体文件描述符值。
  • pollDesc:I/O轮询器。说白了它就是底层事件驱动的封装。其中的runtimeCtx是一个指针类型,具体指向runtime/netpoll 中的pollDesc.


当然图上面结构字段都是阉割版的,但是不影响我们这篇文章。


还有一个问题,为什么结构上需要一层一层嵌入呢?我的理解是每下一层都是更加抽象的一层。它是可以作为上一层具体的一种应用体现。


是不是跟没说一样?哈哈。


举例,比如这里的netFD表示网络描述符。


它的上一层可以是用于TCP的网络监听器TCPListener,那么对应的接口我们能想到的有两个Accept以及close。


对于Accept 动作,一定是返回一个连接类型 Conn ,针对这个连接,它本身也存在一个自己的netFD,那么可想而知一定会有 Write和Read两个操作。


而所有的网络操作都是以netFD实现的。这样,netFD在这里就有两种不的上层应用体现了。


好了,我们需要搞清楚几件事:

  • 一般我们用其他语言写一个tcp服务,必然会写这几步:socket->bind->listen,但是Go就一个Listen,那就意味着底层包装了这些操作。它是在哪一步完成的?
  • Go是在什么时候初始化netpoll的,比如linux下初始化epoll实例。
  • 当对应fd没有可读或者可写的IO事件而对应被挂起的g,是如何知道fd上的I/O事件已ready,又是如何唤醒对应的g的?


Listen解析


带着这些问题,我们接着看流程。


1668516107423.jpg


上图已经把当你调用Listen操作的完整流程全部罗列出来了。


就像我上面列出的结构关系一样,从结构层次来说,每调用下一层,都是为了创建并获取下一层的依赖,因为内部的高度抽象与封装,才使得使用者往往只需调用极少数简单的API接口。


现在我们已经知道事例代码涉及到的结构以及对应流程了。


在传统印象中,创建一个网络服务。需要经过:创建一个socket、bind 、listen这基本的三大步。


前面我们说过,Go中所有的网络操作都是以netFD实现的。go也是在这一层封装这三大步的。所以我们直接从netFD逻辑开始说。


上图是在调用socket函数这一步返回的netFD,可想而核心逻辑都在这里面。


1668516127547.jpg


我们可以把这个函数核心点看成三步。

  • 调用sysSocket函数创建一个socket,返回一个文件描述符(file descriptor),简称fd下文。
  • 通过sysSocket返回的fd,调用newFD函数创建一个新的netFD。
  • 调用netFD自身的方法listenStream函数,做初始化动作,具体详情下面再说。


在sysSocket函数中,首先会通过socketFunc来创建一个socket,通过层层查看,最终是通过system call来完成这一步。


当获取到对应fd时,会通过syscall.SetNonblock函数把当前这个fd设置成非阻塞模式,这样当这个Listener调用accept函数就不会被阻塞了。


1668516140740.jpg


第二步,通过第一步创建socket拿到的fd,创建一个新的netFD。这段代码没啥好解释的。


第三步,也就是最核心的一步,调用netFD自身的listenStream方法。


1668516156140.jpg

相关文章
|
2月前
|
存储 Go PHP
Go语言中的加解密利器:go-crypto库全解析
在软件开发中,数据安全和隐私保护至关重要。`go-crypto` 是一个专为 Golang 设计的加密解密工具库,支持 AES 和 RSA 等加密算法,帮助开发者轻松实现数据的加密和解密,保障数据传输和存储的安全性。本文将详细介绍 `go-crypto` 的安装、特性及应用实例。
144 0
|
2月前
|
安全 测试技术 Go
Go语言中的并发编程模型解析####
在当今的软件开发领域,高效的并发处理能力是提升系统性能的关键。本文深入探讨了Go语言独特的并发编程模型——goroutines和channels,通过实例解析其工作原理、优势及最佳实践,旨在为开发者提供实用的Go语言并发编程指南。 ####
|
2月前
|
Go
|
4月前
|
存储 Shell Go
Go语言结构体和元组全面解析
Go语言结构体和元组全面解析
|
5月前
|
存储 安全 程序员
|
JSON Prometheus Cloud Native
go解析Prometheus的数据
访问一个api, 返回如下数据: {"status":"success","data":{"resultType":"matrix","result":[{"metric":{},"values":[[1473820558.
2606 0
|
26天前
|
存储 监控 算法
员工上网行为监控中的Go语言算法:布隆过滤器的应用
在信息化高速发展的时代,企业上网行为监管至关重要。布隆过滤器作为一种高效、节省空间的概率性数据结构,适用于大规模URL查询与匹配,是实现精准上网行为管理的理想选择。本文探讨了布隆过滤器的原理及其优缺点,并展示了如何使用Go语言实现该算法,以提升企业网络管理效率和安全性。尽管存在误报等局限性,但合理配置下,布隆过滤器为企业提供了经济有效的解决方案。
72 8
员工上网行为监控中的Go语言算法:布隆过滤器的应用
|
1月前
|
存储 Go 索引
go语言中数组和切片
go语言中数组和切片
45 7
|
1月前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
1月前
|
程序员 Go
go语言中结构体(Struct)
go语言中结构体(Struct)
112 71

推荐镜像

更多