Python基础 之 Python urllib 1

简介: Python urllib

Python基础 之 Python urllib 1

Python urllib

Python urllib 库用于操作网页 URL,并对网页的内容进行抓取处理。

本文主要介绍 Python3 的 urllib。

urllib 包 包含以下几个模块:

urllib.request - 打开和读取 URL。
urllib.error - 包含 urllib.request 抛出的异常。
urllib.parse - 解析 URL。
urllib.robotparser - 解析 robots.txt 文件。

urllib.request

urllib.request 定义了一些打开 URL 的函数和类,包含授权验证、重定向、浏览器 cookies等。

urllib.request 可以模拟浏览器的一个请求发起过程。

我们可以使用 urllib.request 的 urlopen 方法来打开一个 URL,语法格式如下:

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

url:url 地址。
data:发送到服务器的其他数据对象,默认为 None。
timeout:设置访问超时时间。
cafile 和 capath:cafile 为 CA 证书, capath 为 CA 证书的路径,使用 HTTPS 需要用到。
cadefault:已经被弃用。
context:ssl.SSLContext类型,用来指定 SSL 设置。

实例如下:

实例

from urllib.request import urlopen

myURL = urlopen("https://www.runoob.com/")
print(myURL.read())

以上代码使用 urlopen 打开一个 URL,然后使用 read() 函数获取网页的 HTML 实体代码。

read() 是读取整个网页内容,我们可以指定读取的长度:

实例

from urllib.request import urlopen

myURL = urlopen("https://www.runoob.com/")
print(myURL.read(300))

目录
相关文章
|
6月前
|
开发者 Python
python (2)
python (2)
38 0
|
28天前
|
算法 Unix 数据库
Python 特点
【10月更文挑战第8天】Python 特点
17 3
|
6月前
|
机器学习/深度学习 数据挖掘 开发工具
Python100天:01.初识python
【4月更文挑战第7天】Python100天:01.初识python
83 1
Python100天:01.初识python
|
人工智能 数据挖掘 数据库连接
什么是Python
一、什么是Python? Python是一种高级编程语言,由Guido van Rossum于1989年开发。它被设计成易于阅读和理解的语言,具有简洁的语法和清晰的代码结构。 Python具有以下特点: 1. 简单易学:Python语法简洁,易于学习和使用。它使用缩进来表示代码块,而不是使用大括号,使得代码更加清晰易读。 2. 面向对象:Python是一种面向对象的编程语言,支持封装、继承和多态等面向对象特性。 3. 动态类型:Python是一种动态类型语言,变量的类型在运行时确定。这使得代码编写更加灵活,减少了类型声明的繁琐。 4. 可移植性:Python可以在多个平台上运行,包括Windo
80 0
|
6月前
|
Python
1194: 最简单的题(python)
1194: 最简单的题(python)
|
机器学习/深度学习 人工智能 安全
什么是Python?
人生苦短,我用Python~
76 0
什么是Python?
|
存储 Java 程序员
初识Python——“Python”
初识Python——“Python”
初识Python——“Python”
|
设计模式 自然语言处理 JavaScript
【21天python打卡】第1天 python预备知识(1)
大家好,今天是21天python打卡的第一天,我们要想学好python,我们先了解一些关于python的基础知识。
|
自然语言处理 算法 Java
【21天python打卡】第2天 python预备知识(2)
​​大家好,今天是21天python打卡的第2天,我们要想学好python,要先了解一些关于python的基础知识。上一篇我们介绍了python的基本概念,python编程思想,python安装以及python的运行方式,本文我们继续讲python的预备知识。
|
Python
Python:使用2to3将Python2转Python3
Python:使用2to3将Python2转Python3
105 0
下一篇
无影云桌面