Python3.7+Django2.0.4配合Mongodb打造高性能高扩展标签云存储方案

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 书接上回,之前有一篇文章提到了标签云系统的构建:[Python3.7+jieba(结巴分词)配合Wordcloud2.js来构造网站标签云(关键词集合)](https://v3u.cn/a_id_138),但是这篇只是浅显的说明了一下如何进行切词以及前端如何使用wordcloud2.js进行前端展示,本次主要讨论下标签分词切出来之后,如何进行存储。

书接上回,之前有一篇文章提到了标签云系统的构建:Python3.7+jieba(结巴分词)配合Wordcloud2.js来构造网站标签云(关键词集合),但是这篇只是浅显的说明了一下如何进行切词以及前端如何使用wordcloud2.js进行前端展示,本次主要讨论下标签分词切出来之后,如何进行存储。

假设我们目前文章-标签体系的需求是这样:

每篇文章都具有唯一的标题、描述以及 URL。

每篇文章都具有一个或多个标签。

每篇文章都具有作者的名称,以及喜欢

每篇文章都有用户的评论,用户名、消息、日期时间以及评论的喜欢度。

每篇文章都可以有 0 个或多个评论。

那么如果使用关系型数据库来设计,比较简单的设计方案可以是这样:

可以注意到,标签和文章的对应关系还是简单的一对多,如果做成比较灵活的多对多还需要增加一张关系表,这样就是四张表了。

如果使用nosql比如Mongodb来说,只需要一张表(聚合)就可以实现:

{  
   _id: POST_ID  
   title: TITLE_OF_POST,   
   description: POST_DESCRIPTION,  
   by: POST_BY,  
   url: URL_OF_POST,  
   tags: [TAG1, TAG2, TAG3],  
   likes: TOTAL_LIKES,   
   comments: [    
      {  
         user:'COMMENT_BY',  
         message: TEXT,  
         dateCreated: DATE_TIME,  
         like: LIKES   
      },  
      {  
         user:'COMMENT_BY',  
         message: TEXT,  
         dateCreated: DATE_TIME,  
         like: LIKES  
      }  
   ]  
}

可以看到标签是由数组实现的,那么关系型数据库mysql和非关系型数据库mongodb在标签实现中本质上有什么区别呢?

关系数据库如mysql中标签云的实现是简单的,标签和文章分别在不同的表中,通过join可以比较简单的查询出标签的统计数据。 而MongoDB为快速水平扩张以及极高的性能而优化,在MongoDB中没有join,倾向于使用embedding来代替linking关系。

假设我们的需求又有了变化,普通博客变身成为具有数百万篇文章的小说站.每个小说都有许多布尔属性,大约一万个可能的属性,每篇小说都有十几个章节,假设我希望能够实时(几毫秒)请求给出的前n项任何属性组合的标签。

你会选择推荐什么解决方案?毫无疑问,如果你在寻找极具扩展性的方案,Mongodb无疑更好。

而且从业务角度上来讲,无论是通过标签查文章,还是文章查标签这样的需求,都非常灵活,当然了根据文章查标签一般没问题,一般都是根据标签查文章的时候有性能问题,如果是纯关系数据库比如mysql很难解决性能问题,所以要借助 es 索引解决。es 索引的时候可以将 tagid 用逗号分隔,可以很快的根据一个 tagid,或者多个 tagid 查询到关联的文章 id,一般文章列表都是分页的,有这些文章 id 了,再去关系数据库里面取文章就行了,但是es又是另外一件事了,回头我们再讨论。

随后使用Django2.0.4来实现,首先安装好python的mongodb操作库pymongo

pip3 install pymongo

值得一提的是,它会有一个相对应bson模块 也就是说 PyMongo模块的实现是基于和它一起的bson模块的。

bson是一种类json的一种二进制形式的存储格式,简称Binary JSON,它和JSON一样,支持内嵌的文档对象和数组对象,但是BSON有JSON没有的一些数据类型,如Date和BinData类型;BSON有三个特点:轻量性、可遍历性、高效性,但是空间利用率不是很理想。

基于Django插入标签的视图:

import pymongo  
from bson import json_util as jsonb  
mongo_client = pymongo.MongoClient(host='localhost', port=27017)  
from django.http import HttpResponse,HttpResponseRedirect,JsonResponse  
from django.views import View  
  
class InsertTagsHandler(View):  
  
    def get(self,request):  
        db = mongo_client.test12  
        table = db.test12  
        res = table.find({"title":'123'}).count()  
        print(res)  
  
        if res > 0:  
            result = '重复数据'  
            return HttpResponse(json.dumps({'result':result},ensure_ascii=False))  
        else:  
            table.insert({'title':'123','desc':['123','123']})  
            return HttpResponse(json.dumps({'result':'添加成功'},ensure_ascii=False))

基于django通过文章查询标签

class FindArticleHandler(View):  
  
    def get(self,request):  
        db = mongo_client.test12  
        table = db.test12  
  
  
        res = table.find_one({"title":'123'},{"desc":1})  
  
        return HttpResponse(jsonb.dumps(res,ensure_ascii=False))

基于django分组查询获取所有标签以及标签出现次数的统计

class TagsStatHandler(View):  
  
    def get(self,request):  
        db = mongo_client.test12  
        table = db.test12  
  
  
        pipeline = [{'$unwind':"$tags"},{'$group': {'_id': "$tags", 'count': {'$sum': 1}}},]  
        res = table.aggregate(pipeline)  
  
        return HttpResponse(jsonb.dumps(res,ensure_ascii=False))

基于django通过标签反查文章

class Tags2ArticleHandler(View):  
  
    def get(self,request):  
        db = mongo_client.test12  
        table = db.test12  
  
  
        res = table.find({"tags":{'$in':["123"]}})  
  
        return HttpResponse(jsonb.dumps(res,ensure_ascii=False))

结语:经此一役,Mongodb的特点跃然纸上:结构灵活,表结构更改相对自由,不用每次alter的时候付出代价,适合业务快速迭代,而且json原生和大多数的语言有天然的契合。还支持数组,嵌套文档等数据类型。

相关文章
|
12月前
|
存储 JSON API
Python与JSON:结构化数据的存储艺术
Python字典与JSON格式结合,为数据持久化提供了便捷方式。通过json模块,可轻松实现数据序列化与反序列化,支持跨平台数据交换。适用于配置管理、API通信等场景,兼具可读性与高效性,是Python开发中不可或缺的数据处理工具。
456 0
|
人工智能 并行计算 开发者
CUDA重大更新:原生Python可直接编写高性能GPU程序
NVIDIA在2025年GTC大会上宣布CUDA并行计算平台正式支持原生Python编程,消除了Python开发者进入GPU加速领域的技术壁垒。这一突破通过重新设计CUDA开发模型,引入CUDA Core、cuPyNumeric、NVMath Python等核心组件,实现了Python与GPU加速的深度集成。开发者可直接用Python语法进行高性能并行计算,显著降低门槛,扩展CUDA生态,推动人工智能、科学计算等领域创新。此更新标志着CUDA向更包容的语言生态系统转型,未来还将支持Rust、Julia等语言。
896 3
CUDA重大更新:原生Python可直接编写高性能GPU程序
|
Linux 数据库 数据安全/隐私保护
Python web Django快速入门手册全栈版,共2590字,短小精悍
本教程涵盖Django从安装到数据库模型创建的全流程。第一章介绍Windows、Linux及macOS下虚拟环境搭建与Django安装验证;第二章讲解项目创建、迁移与运行;第三章演示应用APP创建及项目汉化;第四章说明超级用户创建与后台登录;第五章深入数据库模型设计,包括类与表的对应关系及模型创建步骤。内容精炼实用,适合快速入门Django全栈开发。
663 1
|
数据采集 存储 NoSQL
Python爬虫Cookie管理最佳实践:存储、清理与轮换
Python爬虫Cookie管理最佳实践:存储、清理与轮换
|
前端开发 JavaScript 关系型数据库
基于python的租房网站-房屋出租租赁系统(python+django+vue)源码+运行
该项目是基于python/django/vue开发的房屋租赁系统/租房平台,作为本学期的课程作业作品。欢迎大家提出宝贵建议。
667 6
|
存储 缓存 Java
Python高性能编程:五种核心优化技术的原理与Python代码
Python在高性能应用场景中常因执行速度不及C、C++等编译型语言而受质疑,但通过合理利用标准库的优化特性,如`__slots__`机制、列表推导式、`@lru_cache`装饰器和生成器等,可以显著提升代码效率。本文详细介绍了这些实用的性能优化技术,帮助开发者在不牺牲代码质量的前提下提高程序性能。实验数据表明,这些优化方法能在内存使用和计算效率方面带来显著改进,适用于大规模数据处理、递归计算等场景。
535 5
Python高性能编程:五种核心优化技术的原理与Python代码
|
存储 数据采集 数据库
Python爬虫实战:股票分时数据抓取与存储
Python爬虫实战:股票分时数据抓取与存储
|
设计模式 前端开发 数据库
Python Web开发:Django框架下的全栈开发实战
【10月更文挑战第27天】本文介绍了Django框架在Python Web开发中的应用,涵盖了Django与Flask等框架的比较、项目结构、模型、视图、模板和URL配置等内容,并展示了实际代码示例,帮助读者快速掌握Django全栈开发的核心技术。
973 45
|
机器学习/深度学习 Rust 算法
Python环境管理的新选择:UV和Pixi,高性能Python环境管理方案
近期Python生态系统在包管理领域发生了重要变化,Anaconda调整商业许可证政策,促使社区寻找更开放的解决方案。本文介绍两款新一代Python包管理工具:UV和Pixi。UV用Rust编写,提供高性能依赖解析和项目级环境管理;Pixi基于Conda生态系统,支持conda-forge和PyPI包管理。两者分别适用于高性能需求和深度学习项目,为开发者提供了更多选择。
3347 2
|
NoSQL 容灾 MongoDB
MongoDB主备副本集方案:两台服务器使用非对称部署的方式实现高可用与容灾备份
在资源受限的情况下,为了实现MongoDB的高可用性,本文探讨了两种在两台服务器上部署MongoDB的方案。方案一是通过主备身份轮换,即一台服务器作为主节点,另一台同时部署备节点和仲裁节点;方案二是利用`priority`设置实现自动主备切换。两者相比,方案二自动化程度更高,适合追求快速故障恢复的场景,而方案一则提供了更多的手动控制选项。文章最后对比了这两种方案与标准三节点副本集的优缺点,指出三节点方案在高可用性和数据一致性方面表现更佳。
1552 5