AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Python编程—Ajax数据爬取（一）

2024-10-11 75
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
全局流量管理 GTM，标准版 1个月
云解析 DNS，旗舰版 1个月
公共DNS（含HTTPDNS解析），每月1000万次HTTP解析
简介： Python编程—Ajax数据爬取（一）

Python编程—Ajax数据爬取
在浏览器中可以看到正常显示的页面数据，而使用requests得到的结果中并没有这些数据。这是因为requests获取的都是原始HTML文档，而浏览器中的页面是JavaScript处理数据后生成的结果，这些数据有多种来源：可能是通过Ajax加载的，可能是包含在HTML文档中的，也可能是经过JavaScript和特定算法计算后生成的。

对第一种来源，数据加载是一种异步加载方式，原始页面最初不会包含某些数据，当原始页面加载完后，会再向服务器请求某个接口获取数据，然后数据才会经过处理从而呈现在网页上，这其实是发送了一个Ajax请求。使得web开发做到前后端分离，减小服务器直接渲染页面带来的压力。

所以遇到这样的页面，直接利用requests等库来抓取原始HTML文档，是无法获取有效数据的。这时需要分析网页后台接口发送的Ajax请求。如果可用requests模拟Ajax请求，就可以成功抓取网页数据了。

5.1 什么是Ajax
AJAX 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。它基于 HTML、CSS、JavaScript、XML 和 XMLHttpRequest 等标准。

首先，AJAX 的全称是 Asynchronous JavaScript and XML（异步的JavaScript和XML），它是一种用于创建更好更快以及交互性更强的Web应用程序的技术。使用 JavaScript 向服务器提出请求并处理响应而不阻塞用户的核心对象是 XMLHttpRequest。

其次，AJAX 的主要优点是可以在不刷新整个网页的情况下，对网页的某部分进行更新。这样可以提高网页的响应速度和用户体验，因为它避免了每次用户操作都需要等待整个页面重新加载的情况。

最后，AJAX 的应用场景非常广泛，包括但不限于表单提交、数据检索、实时消息更新等。通过使用 XMLHttpRequest 对象和回调函数，可以实现局部刷新，从而检测用户输入的用户名是否为"zhongfucheng"。

实例引入
微博主页https://m.weibo.cn/u/2830678474为例。

基本原理
简单分为3步——发送请求、解析内容、渲染网页。
发送请求
JavaScript可以实现页面的各种交互功能，Ajax也不例外，它也是由JavaScript实现的，实现代码如下：

var xmlhttp;
if (window.XMLHttpRequest) {
   
    xmlhttp = new XMLHttpRequest();
}else {
   //code for IE6、IE5
    xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
}
xmlhttp.onreadystatechange=function () {
   
    if (xmlhttp.readyState == 4 && xmlhttp.status == 200) {
   
        document.getElementById("myDiv").innerHTML = xmlhttp.responsetext;
    }
}
xmlhttp.open('POST','/ajax/', true);
xmlhttp.send();

这是JavaScript对Ajax最底层的实现，实际上是先建一个XMLHttpRequest对象xmlhttp，然后调用onreadystatechange属性设置监听，最后调用open和send方法向某个链接（服务器）发送请求。这里的请求发送由JavaScript完成，不是Python实现。由于设置了监听，所以当服务器返回响应时，onreadystatechange对应的方法便会被触发，然后在这方法里面解析响应内容即可。

解析内容
服务器返回响应后，onreadystatechange属性对应的方法就触发了，此时利用xmlhttp的responseText属性便可得到响应内容。这类似于Python中利用requests向服务器发起请求，然后得到响应的过程。返回内容可能是HTML，可能是JSON，接下来只需在方法中用JavaScript进一步处理即可。如果是JSON的话，可以进行解析和转化。

渲染网页
JavaScript有改变网页内容的能力，因此解析完响应内容后，就可以调用JavaScript来基于解析完的内容对网页进行下一步处理了。例如，通过document.getElementById().innerHTML操作，可以更改某个元素内的源代码，这样网页显示的内容就改变了。这种操作也被称为DOM操作，即对网页文档进行操作，如更改、删除等。

上面“发送请求”部分，代码里的document.getElementById(”myDiv”).innerHTML=xmlhttp.responseText便是将ID为myDiv的节点内部的HTML代码更改为服务器返回的内容，这样myDiv元素内部便会呈现服务器返回的新数据，对应的网页内容看上去就更新了。

5.2 Ajax分析方法
分析案例
用Chrome浏览器打开微博链接https://m.weibo.cn/u/2830678474，然后在页面中单击鼠标右键，从弹出的快捷菜单中选择“检查”选项，此时便会弹出开发者工具，如图所示：

image.png
image.png

Ajax尤其特殊请求类型叫做xhr，可以发现一个名称以getIndex开头的请求，其Type就为xhr，意味着这就是一个Ajax请求。用鼠标单击这个请求，可以查看其详细信息。其中Request Headers中有一个信息为X-Rrequested-With:XMLHttpRequest，这就标记了此请求是Ajax请求，如图所示：

image.png

随后单击一下Preview， 就能看到响应内容，如图所示，内容是JSON格式的，这里Chrome为我们自动做了解析，单击左箭头即可展开和收起相应内容。
image.png

经过观察可以发现，这里的返回结果是我的个人信息，如昵称、简介、头像等，这也是渲染个人主页使用的数据。JavaScript接收到这些数据之后，再执行相应的渲染方法，整个页面就渲染出来。
image.png

也可以切换到Response选项卡，从中观察真实的返回数据，如图所示：

image.png

接下来，切回第一个请求，观察一下它的Response是什么，如图所示：

image.png

原始的链接https://m.weibo.cn/u/2830678474返回的结果，其代码只有不到50行，结构也非常简单，只是执行了一些JavaScript语句。所以说，微博页面呈现给我们的真实数据并不是最原始的页面返回的，而是执行JavaScript后再次向后台发送Ajax请求，浏览器拿到服务器返回到数据后进一步渲染得到的。

1.过滤请求
利用Chrome开发者工具的筛选功能能够筛选出所有Ajax请求。在请求的上方有一层筛选栏，直接单击XHR，之后下方显示的所有请求便都是Ajax请求了，如图所示：

image.png

接下来只需要用程序模拟这些Ajax请求，就可以轻松提取我们所需的信息。

5.3 Ajax分析与爬取实战
准备工作

  1. 安装好Python3（最低为3.6版本），并成功运行Python3程序。
  2. 了解Python HTTP请求库requests的基本用法。
  3. 了解Ajax基础知识和分析Ajax的基本方法。

爬取目标
示例网站链接：https://spa1.scrape.center/，该示例网站的数据请求是通过Ajax完成的，页面的内容是通过JavaScript渲染出来的，页面如图所示。

image.png

单击每部电影进入对应的详情页，这些页面的结构也是完全一样的，如下图所示的是《迁徙的鸟》的详情页。

image.png

完成目标如下：

  1. 分析页面数据的加载逻辑
  2. 用requests实现Ajax数据的爬取
  3. 将每部电影的数据分别保存到MongoDB数据库

初步探索
先尝试用requests直接提取页面，看看结果。实现代码如下：

import requests

url = '<https://spa1.scrape.center/>'
html = requests.get(url).text
print(html)

运行结果如下：
<!DOCTYPE html><html lang=en><head><meta charset=utf-8><meta http-equiv=X-UA-Compatible content="IE=edge">
<meta name=viewport content="width=device-width,initial-scale=1"><link rel=icon href=/favicon.ico><title>Scrape | Movie</title>
<link href=/css/chunk-700f70e1.1126d090.css rel=prefetch><link href=/css/chunk-d1db5eda.0ff76b36.css rel=prefetch>
<link href=/js/chunk-700f70e1.0548e2b4.js rel=prefetch><link href=/js/chunk-d1db5eda.b564504d.js rel=prefetch>
<link href=/css/app.ea9d802a.css rel=preload as=style><link href=/js/app.17b3aaa5.js rel=preload as=script>
<link href=/js/chunk-vendors.683ca77c.js rel=preload as=script><link href=/css/app.ea9d802a.css rel=stylesheet>
</head><body><noscript><strong>We're sorry but portal doesn't work properly without JavaScript enabled. Please enable it to continue.</strong>
</noscript><div id=app></div><script src=/js/chunk-vendors.683ca77c.js></script><script src=/js/app.17b3aaa5.js></script>
</body></html>

可以看到，爬取结果只有这么一点HTML内容，在HTML中只能看到源码引用的一些JavaScript和CSS文件，没有观察到任何电影数据信息。这说明浏览器执行了HTML中引用的JavaScript文件，通过调用一些数据加载和页面渲染方法，才最终呈现页面显示的结果。JavaScript在后台调用Ajax数据接口，得到数据之后，再对数据进行解析并渲染呈现出来。所以直接爬取Ajax接口，再获取数据就好了。

接下文 Python编程—Ajax数据爬取（二）https://developer.aliyun.com/article/1620693

文章标签：
云解析DNS
JavaScript
前端开发
Python
数据格式
Web App开发
关键词：
Python数据
Python编程
Python AJAX
ajax数据
Python编程数据
bruce_xiaowei
目录
相关文章
游客qf4jmczx4xu2y
|
1月前
|
人工智能 数据可视化 数据挖掘
探索Python编程：从基础到高级
在这篇文章中，我们将一起深入探索Python编程的世界。无论你是初学者还是有经验的程序员，都可以从中获得新的知识和技能。我们将从Python的基础语法开始，然后逐步过渡到更复杂的主题，如面向对象编程、异常处理和模块使用。最后，我们将通过一些实际的代码示例，来展示如何应用这些知识解决实际问题。让我们一起开启Python编程的旅程吧！
游客qf4jmczx4xu2y
75 5
游客moiomvrp3vyac2
|
1月前
|
存储 数据采集 人工智能
Python编程入门：从零基础到实战应用
本文是一篇面向初学者的Python编程教程，旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点，然后通过一个简单的例子展示了如何编写Python代码。接下来，文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后，文章通过一个实战项目——制作一个简单的计算器程序，帮助读者巩固所学知识并提高编程技能。
游客moiomvrp3vyac2
121 2
overmind1980
|
1月前
|
Unix Linux 程序员
[oeasy]python053_学编程为什么从hello_world_开始
视频介绍了“Hello World”程序的由来及其在编程中的重要性。从贝尔实验室诞生的Unix系统和C语言说起，讲述了“Hello World”作为经典示例的起源和流传过程。文章还探讨了C语言对其他编程语言的影响，以及它在系统编程中的地位。最后总结了“Hello World”、print、小括号和双引号等编程概念的来源。
overmind1980
114 80
爬虫工程师Azeroth
|
4天前
|
数据采集 Web App开发 数据可视化
Python用代理IP获取抖音电商达人主播数据
在当今数字化时代，电商直播成为重要的销售模式，抖音电商汇聚了众多达人主播。了解这些主播的数据对于品牌和商家至关重要。然而，直接从平台获取数据并非易事。本文介绍如何使用Python和代理IP高效抓取抖音电商达人主播的关键数据，包括主播昵称、ID、直播间链接、观看人数、点赞数和商品列表等。通过环境准备、代码实战及数据处理与可视化，最终实现定时任务自动化抓取，为企业决策提供有力支持。
爬虫工程师Azeroth
45 15
overmind1980
|
21天前
|
Python
[oeasy]python055_python编程_容易出现的问题_函数名的重新赋值_print_int
本文介绍了Python编程中容易出现的问题，特别是函数名、类名和模块名的重新赋值。通过具体示例展示了将内建函数（如`print`、`int`、`max`）或模块名（如`os`）重新赋值为其他类型后，会导致原有功能失效。例如，将`print`赋值为整数后，无法再用其输出内容；将`int`赋值为整数后，无法再进行类型转换。重新赋值后，这些名称失去了原有的功能，可能导致程序错误。总结指出，已有的函数名、类名和模块名不适合覆盖赋新值，否则会失去原有功能。如果需要使用类似的变量名，建议采用其他命名方式以避免冲突。
overmind1980
38 14
小白学大数据
|
24天前
|
数据采集 Web App开发 监控
Python爬虫：爱奇艺榜单数据的实时监控
Python爬虫：爱奇艺榜单数据的实时监控
小白学大数据
72 3
郑小健
|
1月前
|
分布式计算 大数据 数据处理
技术评测：MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展，数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame（简称“MaxFrame”）是一个专为Python开发者设计的分布式计算框架，它不仅支持Python编程接口，还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评，探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现，并分析其在实际工作中的应用潜力。
郑小健
81 2
请看我回答~
|
1月前
|
小程序 开发者 Python
探索Python编程：从基础到实战
本文将引导你走进Python编程的世界，从基础语法开始，逐步深入到实战项目。我们将一起探讨如何在编程中发挥创意，解决问题，并分享一些实用的技巧和心得。无论你是编程新手还是有一定经验的开发者，这篇文章都将为你提供有价值的参考。让我们一起开启Python编程的探索之旅吧！
请看我回答~
55 10
爬虫工程师Azeroth
|
19天前
|
数据采集 存储 XML
python实战——使用代理IP批量获取手机类电商数据
本文介绍了如何使用代理IP批量获取华为荣耀Magic7 Pro手机在电商网站的商品数据，包括名称、价格、销量和用户评价等。通过Python实现自动化采集，并存储到本地文件中。使用青果网络的代理IP服务，可以提高数据采集的安全性和效率，确保数据的多样性和准确性。文中详细描述了准备工作、API鉴权、代理授权及获取接口的过程，并提供了代码示例，帮助读者快速上手。手机数据来源为京东（item.jd.com），代理IP资源来自青果网络（qg.net）。
爬虫工程师Azeroth
10 0
历年考试不作弊
|
1月前
|
人工智能 数据挖掘 开发者
探索Python编程之美：从基础到进阶
本文是一篇深入浅出的Python编程指南，旨在帮助初学者理解Python编程的核心概念，并引导他们逐步掌握更高级的技术。文章不仅涵盖了Python的基础语法，还深入探讨了面向对象编程、函数式编程等高级主题。通过丰富的代码示例和实践项目，读者将能够巩固所学知识，提升编程技能。无论你是编程新手还是有一定经验的开发者，这篇文章都将为你提供有价值的参考和启示。让我们一起踏上Python编程的美妙旅程吧！
历年考试不作弊
41 3

热门文章

最新文章

  • 1
    Python中如何判断是否为AJAX请求
  • 2
    [python 技巧] 快速掌握Streamlit: python快速原型开发工具
  • 3
    农历节日倒计时：基于Python的公历与农历日期转换及节日查询小程序
  • 4
    10个必备Python调试技巧：从pdb到单元测试的开发效率提升指南
  • 5
    自动化微信朋友圈：Python脚本实现自动发布动态
  • 6
    使用 pyenv 来管理多个 Python 版本(2)
  • 7
    局域网屏幕监控系统中的Python数据结构与算法实现
  • 8
    Linux 安装python3.7.6
  • 9
    [oeasy]python053_学编程为什么从hello_world_开始
  • 10
    【Python】怎么解决：urllib.error.HTTPError: HTTP Error 403: Forbidden
  • 1
    构建可维护的Web应用：Python模板引擎与ORM的协同工作
    55
  • 2
    使用Python实现深度学习模型：语音合成与语音转换
    151
  • 3
    如何使用Python的pyodps库来进行跨项目空间重命名表名？
    68
  • 4
    Python大佬耗费13年，始成400页《Python工匠》手册
    67
  • 5
    MaxCompute产品使用合集之PyODPS Python类的开发如何用MC的资源
    65
  • 6
    python并发执行request请求
    133
  • 7
    Python函数式编程入门窥探
    52
  • 8
    【Azure Function】发布 Python Function 到 Azure 成功，但是无法显示Function列表
    68
  • 9
    MaxCompute产品使用合集之是否可以将5个资源包统一写到同一个python UDF脚本
    40
  • 10
    深入Scikit-learn：掌握Python最强大的机器学习库
    185

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Ajax入门

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
  • Python新手入门

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • msys2
    • 下一篇
    阿里云开通OSS存储服务详细流程