Python爬虫入门教程 38-100 教育部高校名单数据爬虫 scrapy

简介: 爬前叨叨今天要爬取一下正规大学名单,这些名单是教育部公布具有招生资格的高校名单,除了这些学校以外,其他招生的单位,其所招学生的学籍、发放的毕业证书国家均不予承认,也就是俗称的野鸡大学!网址是 https://daxue.

爬前叨叨

今天要爬取一下正规大学名单,这些名单是教育部公布具有招生资格的高校名单,除了这些学校以外,其他招生的单位,其所招学生的学籍、发放的毕业证书国家均不予承认,也就是俗称的野鸡大学

image

网址是 https://daxue.eol.cn/mingdan.shtml 爬取完毕之后,我们进行一些基本的数据分析,套路如此类似,哈哈

这个小项目采用的是scrapy,关键代码

import scrapy
from scrapy import Request,Selector

class SchoolSpider(scrapy.Spider):
    name = 'School'
    allowed_domains = ['daxue.eol.cn']
    start_urls = ['https://daxue.eol.cn/mingdan.shtml']

    def parse(self, response):
        select = Selector(response)
        links = select.css(".province>a")
        
        for item in links:
            name = item.css("::text").extract_first()
            link = item.css("::attr(href)").extract_first()

            if name in ["河南","山东"]:
                yield Request(link,callback=self.parse_he_shan,meta={"name" : name})
            else:
                yield Request(link,callback=self.parse_school,meta={"name" : name})

注意到几个问题,第一个所有的页面都可以通过第一步抓取到
image

但是里面出现了两个特殊页面,也就是山东和河南

北京等学校

image

河南等学校
image

对于两种不同的排版,我们采用2个方法处理,细节的地方看代码就可以啦!
尤其是下面对字符串的处理,你要仔细的查阅~

    # 专门为河南和山东编写的提取方法
    def parse_he_shan(self,response):
        name = response.meta["name"]
        data = response.css(".table-x tr")
        for item in data:
            school_name = item.css("td:not(.tmax)::text").extract()

            if len(school_name)>0:
                for s in school_name:
                    if len(s.strip())>0:
                        if len(s.split("."))==1:
                            last_name = s.split(".")[0]
                        else:
                            last_name = s.split(".")[1]  # 最终获取到的名字
                        yield {
                            "city_name": name,
                            "school_name": last_name,
                            "code": "",
                            "department": "",
                            "location": "",
                            "subject": "",
                            "private": ""
                        }

    # 通用学校提取
    def parse_school(self,response):
        name = response.meta["name"]

        schools = response.css(".table-x tr")[2:]

        for item in schools:

            school_name = item.css("td:nth-child(2)::text").extract_first()
            code =  item.css("td:nth-child(3)::text").extract_first()
            department = item.css("td:nth-child(4)::text").extract_first()
            location = item.css("td:nth-child(5)::text").extract_first()
            subject = item.css("td:nth-child(6)::text").extract_first()
            private = item.css("td:nth-child(7)::text").extract_first()
            yield {
                "city_name":name,
                "school_name":school_name,
                "code":code,
                "department":department,
                "location":location,
                "subject":subject,
                "private":private
            }

运行代码,跑起来,一会数据到手。O(∩_∩)O哈哈~

image

查看专科学校和本科学校数量差别

因为河南和山东数据的缺失,需要踢出这两个省份

import pymongo
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import matplotlib.pyplot as plt

client = pymongo.MongoClient("localhost",27017)
schools = client["school"]
collection = schools["schools"]

df = DataFrame(list(collection.find()))

df = df[df["code"]!=""]
# 汇总本科和专业
df.groupby(["subject"]).size()

结果显示,数量基本平衡

subject
专科    1240
本科    1121
dtype: int64

查看各省排名

rank = df.groupby(by="city_name").size()
rank = rank.sort_values(ascending=False)

# 设置中文字体和负号正常显示
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

plt.figure(figsize=(12,8),dpi=80)
plt.subplot(1,1,1)


x = np.arange(len(rank.index))
y = rank.values
rect = plt.bar(left=x,height=y,width=0.618,label="学校数目",align="center",color="#03a9f4",edgecolor="#03a9f4",)

plt.xticks(x,rank.index,rotation=45,fontsize=9)
plt.yticks(np.arange(0,180,10))


plt.xlabel("城市")
plt.ylabel("大学数量")

plt.legend(loc = "upper right")

## 编辑文本

for r in rect:
    height = r.get_height() # 获取高度
    
    plt.text(r.get_x()+r.get_width()/2,height+1,str(height),size=6,ha="center",va="bottom")

plt.show()

好好研究这部分代码,咱已经开始慢慢的在爬虫中添加数据分析的内容了,我会尽量把一些常见的参数写的清晰一些

image

江苏和广东大学真多~

image

相关文章
|
3月前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
162 6
|
4月前
|
数据采集 API 数据处理
Objective-C 音频爬虫:实时接收数据的 didReceiveData: 方法
Objective-C 音频爬虫:实时接收数据的 didReceiveData: 方法
|
2月前
|
数据采集 Web App开发 监控
Python爬虫:爱奇艺榜单数据的实时监控
Python爬虫:爱奇艺榜单数据的实时监控
|
2月前
|
数据采集 安全 定位技术
使用代理IP爬虫时数据不完整的原因探讨
在信息化时代,互联网成为生活的重要部分。使用HTTP代理爬取数据时,可能会遇到失败情况,如代理IP失效、速度慢、目标网站策略、请求频率过高、地理位置不当、网络连接问题、代理配置错误和目标网站内容变化等。解决方法包括更换代理IP、调整请求频率、检查配置及目标网站变化。
71 11
|
3月前
|
数据采集 JSON JavaScript
如何通过PHP爬虫模拟表单提交,抓取隐藏数据
本文介绍了如何使用PHP模拟表单提交并结合代理IP技术抓取京东商品的实时名称和价格,特别是在电商大促期间的数据采集需求。通过cURL发送POST请求,设置User-Agent和Cookie,使用代理IP绕过限制,解析返回数据,展示了完整代码示例。
如何通过PHP爬虫模拟表单提交,抓取隐藏数据
|
3月前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
133 4
|
3月前
|
数据采集 中间件 API
在Scrapy爬虫中应用Crawlera进行反爬虫策略
在Scrapy爬虫中应用Crawlera进行反爬虫策略
|
3月前
|
数据采集 JavaScript 程序员
探索CSDN博客数据:使用Python爬虫技术
本文介绍了如何利用Python的requests和pyquery库爬取CSDN博客数据,包括环境准备、代码解析及注意事项,适合初学者学习。
133 0
|
4月前
|
消息中间件 数据采集 数据库
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
56 1
|
4月前
|
数据采集 Web App开发 JSON
爬虫实战小案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件
爬虫实战小案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件
81 0

热门文章

最新文章