用Python分析双十一电商新闻传播数据

简介:

同期来自蚂蚁金服的金融支付数据显示:截至18时55分,支付宝支付笔数达到了8.2亿笔,已超过了去年全天的支付笔数,移动支付笔数超过了5.8亿笔,占比超七成。

下面我们用Python通过抓取百度搜索“双十一”关键词的所有文本,对新闻文本进行文本挖掘,并对双十一微博关键词和相关博主的新闻传播路径进行分析。

主要利用beautifulsoup、urllib2、string等函数库对文本进行抓取

主要代码片段如下:

if __name__=='__main__':

        myname=raw_input("请输入关键词\n")

        keywordsnum=raw_input("请输入关联词个数\n")

        if int(keywordsnum) == 0:

                keywords=[myname]

        else:

                keywords=['']*int(keywordsnum)

                for k in range(int(keywordsnum)):

                    keywords[k]=raw_input("请输入关联的关键字%d\n"%(k+1))

        url1 = "http://www.baidu.com/s?wd="+myname

        response1 = urllib2.urlopen(url1)

        content1 = response1.read()

        soup1 = BeautifulSoup(content1,'lxml')

        site1 = soup1.find(class_="nums").get_text()

        num = string.atoi(OnlyCharNum(site1[11:-1].strip() .lstrip() .rstrip(',')))

        page = num/10

        print num,page

        filename=myname+".txt"

        myfile=open(filename,"w")

        keywordshownum=0

执行脚本后输入双十一关键词会进行抓取,界面如下:


抓取的结果放进txt文档以便进行后续分析,

通过jieba分词等函数库或者分词软件对txt文本进行词频分析,得出以下结果,显示词语的出现次数和频率等,可以进一步进行可视化处理生成标签云等:



本文完整源码下载地址:

http://pan.baidu.com/s/1i54raZF

在Python中文社区底部回复“双十一”三个字获取本文完整源码下载密码。

对微博双十一、淘宝、京东关键词进行挖掘得出以下相关联的一些微博博主:





原文发布时间为:2016-11-11

本文作者:阿橙

本文来自云栖社区合作伙伴“Python中文社区”,了解相关信息可以关注“Python中文社区”微信公众号

相关文章
|
1月前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现智能食品消费模式分析的深度学习模型
使用Python实现智能食品消费模式分析的深度学习模型
126 70
|
1月前
|
数据采集 数据可视化 数据挖掘
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
129 10
|
1月前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现智能食品消费习惯分析的深度学习模型
使用Python实现智能食品消费习惯分析的深度学习模型
146 68
|
1月前
|
机器学习/深度学习 数据采集 数据挖掘
使用Python实现智能食品消费市场分析的深度学习模型
使用Python实现智能食品消费市场分析的深度学习模型
120 36
|
15天前
|
数据采集 Web App开发 监控
Python爬虫:爱奇艺榜单数据的实时监控
Python爬虫:爱奇艺榜单数据的实时监控
|
28天前
|
数据可视化 算法 数据挖掘
Python量化投资实践:基于蒙特卡洛模拟的投资组合风险建模与分析
蒙特卡洛模拟是一种利用重复随机抽样解决确定性问题的计算方法,广泛应用于金融领域的不确定性建模和风险评估。本文介绍如何使用Python和EODHD API获取历史交易数据,通过模拟生成未来价格路径,分析投资风险与收益,包括VaR和CVaR计算,以辅助投资者制定合理决策。
74 15
|
1月前
|
机器学习/深度学习 数据采集 数据挖掘
使用Python实现智能食品消费趋势分析的深度学习模型
使用Python实现智能食品消费趋势分析的深度学习模型
118 18
|
1月前
|
数据采集 分布式计算 大数据
构建高效的数据管道:使用Python进行ETL任务
在数据驱动的世界中,高效地处理和移动数据是至关重要的。本文将引导你通过一个实际的Python ETL(提取、转换、加载)项目,从概念到实现。我们将探索如何设计一个灵活且可扩展的数据管道,确保数据的准确性和完整性。无论你是数据工程师、分析师还是任何对数据处理感兴趣的人,这篇文章都将成为你工具箱中的宝贵资源。
|
2月前
|
测试技术 开发者 Python
使用Python解析和分析源代码
本文介绍了如何使用Python的`ast`模块解析和分析Python源代码,包括安装准备、解析源代码、分析抽象语法树(AST)等步骤,展示了通过自定义`NodeVisitor`类遍历AST并提取信息的方法,为代码质量提升和自动化工具开发提供基础。
79 8
|
2月前
|
传感器 物联网 开发者
使用Python读取串行设备的温度数据
本文介绍了如何使用Python通过串行接口(如UART、RS-232或RS-485)读取温度传感器的数据。详细步骤包括硬件连接、安装`pyserial`库、配置串行端口、发送请求及解析响应等。适合嵌入式系统和物联网应用开发者参考。
64 3