本文使用的是如下网址：
http://gaokao.xdf.cn/201911/10991728.html
1 问题分析与解决
报错为类型错误，显示我们传递了不支持的格式字符串
1.1 strip()
我们查看网页源码，发现我们所传递的字符串头尾包含空格及换行（红色方框），但是这不是报错的原因，这只会导致格式不太好看，因此我在获取字符串是添加了.strip()函数，既tds[0].text.strip()。
strip()函数可去除头尾的指定字符，默认为空格及换行。
1.2 string与text
r.text #响应内容的字符串形式，即url对应页面的内容
r.string #标签内非属性字符串，<>...<>中字符串，格式:.string
通过对比我们可以发现r.string获取的是标签内非属性字符串，而我们查看源代码可以发现大学名字不是td标签的字符串，属于td儿子的儿子的儿子……的字符串，因此tds[0].string只能获取到None。
所以应该使用r.text获取，即tds[1].text.strip()
ulist.append([tds[0].text.strip(), tds[1].text.strip(), tds[3].text.strip()]) 2 爬取结果
排名 . 学校名称 . 总分
1 . 清华大学 . 北京市
2 . 北京大学 . 北京市
3 . 浙江大学 . 浙江省
4 . 上海交通大学 . 上海市
5 . 复旦大学 . 上海市
6 . 南京大学 . 江苏省
7 . 中国科学技术大学 . 安徽省
8 . 哈尔滨工业大学 . 黑龙江省
9 . 华中科技大学 . 湖北省
10 . 中山大学 . 广东省
11 . 东南大学 . 江苏省
12 . 天津大学 . 天津市
13 . 同济大学 . 上海市
14 . 北京航空航天大学 . 北京市
15 . 四川大学 . 四川省
16 . 武汉大学 . 湖北省
17 . 西安交通大学 . 陕西省
18 . 南开大学 . 天津市
19 . 大连理工大学 . 辽宁省
20 . 山东大学 . 山东省
3 源码显示
import requests
from bs4 import BeautifulSoup
import bs4
#获取url内容
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
#数据提取填充
def fillUnivList(ulist, html):
soup = BeautifulSoup(html, "html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].text.strip(), tds[1].text.strip(), tds[3].text.strip()]) #.strip()去除头尾空格、换行
#格式化输出
def printUnivList(ulist, num):
tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
print(tplt.format("排名", "学校名称", "总分", chr(12288)))
for i in range(num):
u = ulist[i]
print(tplt.format(u[0],u[1],u[2],chr(12288)))
#主函数
def main():
uinfo = []
url = 'http://gaokao.xdf.cn/201911/10991728.html'
html = getHTMLText(url)
fillUnivList(uinfo,html)
printUnivList(uinfo,20) # 20 univs
main()
