为什么要看 Python 源码?它的结构长什么样子?

简介: 为什么要看 Python 源码?它的结构长什么样子?

楔子



毫无疑问,Python 已经成为当下最主流的语言之一,如果你只是会用,那么很难和其他人拉开差距。但如果你知道 Python 解释器的底层原理,比如:

  • 列表、字典、生成器等数据结构是怎么实现的;
  • GIL 如何限制多线程只能同时使用一个核;
  • 虚拟机是如何执行字节码的;
  • Python 的垃圾回收又是怎么一回事;
  • ······

那么你在面试的时候一定能让面试官眼前一亮,并且也能写出更好、更优雅的代码,这也是我们为什么要剖析 Python 解释器源码。可 Python 解释器的源码行数有五十多万行,该怎么入手呢?不用担心,本系列就来抽丝剥茧,带你近距离观察 Python 解释器这座宏伟大厦。

注:官方 Python 解释器由 C 语言编写,我们称之为 CPython。想要读懂它,需要有一定的 C 语言基础,当然我也会给出详细的注释。

本系列力求详细、精致,在介绍源码时会给出大量的注释和清晰的图表,并且我不仅仅会介绍源码实现,还会穿插大量的 Python 普通知识。因为 Python 解释器由 C 语言编写,想要读懂它,需要有一定的 C 语言基础。而本系列则确保,不管你 C 语言的水平如何,读了之后都能有所收获。


下载 CPython



接下来登录 Python 官网 www.python.org 下载 CPython。

6a2b8e5f440c0b27271bdcb2e8bce23e.jpg

目前 Python 的最新版本是 3.12.3,我们点击它。当然随着时间的推移,Python 也会进行更新。

a2069b29d7ca790572719764aa860fdc.jpg

再点击 Gzipped source tarball 即可下载指定版本的源码。


CPython 源码结构



压缩包下载下来之后解压,即可得到整个 CPython 工程项目,我们看看它长什么样子?

c94ab99094501682a4a5076aeada9b4d.jpg

解释一下每个目录的作用。

Doc 目录

存储 Python 文档的源文件(.rst),用于编译之后生成官方文档。

Grammar 目录

负责定义 Python 的语法规则。

Include 目录

包含 Python 所有公开的头文件,这些文件定义了 Python 的 C API,在编写扩展模块和嵌入式开发时会用到。

Lib 目录

Python 的标准库,对于那些不影响性能的功能会用 Python 编写,然后放在 Lib 目录下面。

Modules 目录

Python 的内置库,这些库都是用 C 编写的,编译之后会内嵌在解释器里面。我们举个例子:

import random, _random
import re, _sre
import io, _io
import ast, _ast

以 random 为例,它是用来生成随机数的,和性能密切相关。所以它的核心功能由 C 编写,编译之后内嵌在解释器里,模块名为 _random。只不过 Python 又封装了一个 random,在内部会导入 _random,像 re 和 _sre、asyncio 和 _asyncio 都是类似的关系。

Modules 目录里面实现了大量和性能相关的模块,比如 sys、time、gc 等等,我们后续再聊。

Objects 目录

包含 Python 内置数据结构的底层实现,像字典、列表、元组、函数等,底层实现都定义在 Objects 目录中。

Parser 目录

负责 Python 编译器的具体实现,虽然 Python 是解释型语言,但也是要经过编译的。编译的结果为 PyCodeObject 对象,它里面包含了要执行的字节码,编译完之后会交给虚拟机执行。

所以 Python 解释器 = Python 编译器 + Python 虚拟机。

Python 目录

Python 虚拟机的具体实现,字节码的执行、执行环境的管理等都在里面。

Mac 目录

用于 Mac OS X 平台的特定工具和脚本。

Misc 目录

包含各种杂项文件,如配置脚本、工具等。

PC 目录

专为 Windows 平台编写的配置文件和特定扩展。

PCbuild 目录

用于在 Windows 上编译 Python 的项目文件。

Programs 目录

包含 Python 其它可执行文件(如 IDLE)的源代码。

Tools 目录

包含用 Python 编写的各种脚本和工具,帮助开发和维护 Python。

以上就是 CPython 的源码结构,对它有一个基本的认识有助于我们后续的源码学习。


解释器、编译器、虚拟机



介绍源码结构时我们说 Python 解释器 = Python 编译器 + Python 虚拟机,那当解释器执行 py 文件时都经历了哪些过程呢?

435ff33c6adb1c12c31d572afd7d1f79.jpg

Read File、Scanner、Parser、Compiler 都是由 Python 编译器负责的,Code Eval 则由 Python 虚拟机负责。

因此 Python 虽然是解释型语言,但也有编译的过程。源代码会被编译器编译成 PyCodeObject 对象,然后再交给虚拟机来执行。而之所以要存在编译,是为了让虚拟机能更快速地执行,比如在编译阶段常量都会提前分配好,而且还可以尽早检测出语法上的错误。

而 Python 编译器和 Python 虚拟机组合起来,便是 Python 解释器。

0f9ce0ff5bffbbe4467828c9c38a417e.jpg

如果你了解 Java,那么应该知道 Java 也有编译器和虚拟机。只不过 Java 的编译器和虚拟机是分开的,而 Python 则是整合在一起的。

不过在后续介绍 Python 源码的时候,我们暂不涉及 Python 编译器的部分,也就是 Parser 目录里面的代码不做分析,因为涉及到编译原理。而且编译这一过程也不是 Python 语言独有的,任何一门编程语言、当然还有 SQL 都会涉及到编译。所以探究 Python 代码的编译过程没太大意义,我们的重点是 Python 代码的编译结果,以及虚拟机是如何执行的?

当然如果大家对编译过程感兴趣,我们后面也会介绍一下这方面的内容。举个例子,我们来替换掉 Python 的几个关键字。

00b20e07ab0ff13b15f81d99cfc41cd9.png

Python 源码的分词,语法解析等均由 Parser 目录负责

b35c8e2bc05b98bcba6e3abc9420f54b.png

比如 tokenizer.c 负责分词,parser.c 负责语法解析,感兴趣可以看一下,但不建议花太多时间。因为这个过程对深入 Python 没多大用,并且 parser.c 的代码行数多达 4w 多行,读起来也很痛苦。

如果真的对这方面感兴趣,可以后台私信我,有机会我来聊一聊这方面的内容,顺便带大家手搓一个简易版的木兰出来。对,就是之前那个很火的国产编程语言。但目前的话,我们还是把重心放在 Python 代码的编译结果以及虚拟机的执行上面。


小结



本文就说到这里,赶快下载 Python 3.12 源码,来和我一起学习 Python 吧。

相关文章
|
2月前
|
Python
用python进行视频剪辑源码
这篇文章提供了一个使用Python进行视频剪辑的源码示例,通过结合moviepy和pydub库来实现视频的区间切割和音频合并。
55 2
|
2月前
|
机器学习/深度学习 数据采集 算法
时间序列结构变化分析:Python实现时间序列变化点检测
在时间序列分析和预测中,准确检测结构变化至关重要。新出现的分布模式往往会导致历史数据失去代表性,进而影响基于这些数据训练的模型的有效性。
155 1
|
3天前
|
Python
SciPy 教程 之 SciPy 图结构 7
《SciPy 教程 之 SciPy 图结构 7》介绍了 SciPy 中处理图结构的方法。图是由节点和边组成的集合,用于表示对象及其之间的关系。scipy.sparse.csgraph 模块提供了多种图处理功能,如 `breadth_first_order()` 方法可按广度优先顺序遍历图。示例代码展示了如何使用该方法从给定的邻接矩阵中获取广度优先遍历的顺序。
13 2
|
4天前
|
算法 Python
SciPy 教程 之 SciPy 图结构 5
SciPy 图结构教程,介绍图的基本概念和SciPy中处理图结构的模块scipy.sparse.csgraph。重点讲解贝尔曼-福特算法,用于求解任意两点间最短路径,支持有向图和负权边。通过示例演示如何使用bellman_ford()方法计算最短路径。
14 3
|
11天前
|
算法 测试技术 开发者
在Python开发中,性能优化和代码审查至关重要。性能优化通过改进代码结构和算法提高程序运行速度,减少资源消耗
在Python开发中,性能优化和代码审查至关重要。性能优化通过改进代码结构和算法提高程序运行速度,减少资源消耗;代码审查通过检查源代码发现潜在问题,提高代码质量和团队协作效率。本文介绍了一些实用的技巧和工具,帮助开发者提升开发效率。
15 3
|
5天前
|
算法 索引 Python
SciPy 教程 之 SciPy 图结构 3
SciPy 图结构教程:介绍图的基本概念、节点和边的定义,以及如何使用 SciPy 的 `scipy.sparse.csgraph` 模块处理图结构。重点讲解 Dijkstra 最短路径算法及其在 SciPy 中的应用,包括 `dijkstra()` 方法的参数设置和使用示例。
10 0
|
5天前
|
Python
SciPy 教程 之 SciPy 图结构 2
《SciPy 教程 之 SciPy 图结构 2》介绍了图结构作为算法学中的重要框架,通过 `scipy.sparse.csgraph` 模块处理图结构。文章示例展示了如何使用 `connected_components()` 方法查找所有连接组件,通过创建稀疏矩阵并调用该方法实现。
8 0
|
6天前
|
算法 Python
SciPy 教程 之 SciPy 图结构 1
SciPy 图结构教程介绍了图的基本概念及其在算法中的应用。图由节点和边组成,节点代表对象,边表示对象间的连接。SciPy 的 `scipy.sparse.csgraph` 模块提供了处理图结构的工具。邻接矩阵用于表示节点间的连接关系,分为有向图和无向图两种类型。无向图的边是双向的,而有向图的边则有明确的方向。
17 0
|
1月前
|
Python
源码解密 Python 的 Event
源码解密 Python 的 Event
33 1
|
2月前
|
JSON API 数据格式
使用Python发送包含复杂JSON结构的POST请求
使用Python发送包含复杂JSON结构的POST请求
下一篇
无影云桌面