前言
于 2022-02-03 18:21:47 最初发布
在2022/11/13 21:19 复习
重写博客
推荐
视频地址:《狂神说Java系列课程》
推荐文章:两万字的Redis笔记!
Redis
1、NoSQL概述
1.1、为什么要使用NoSQL?
1、单机MySQL的时代
在90年代,一个基本的网站访问量一般不会太大,单个数据库已经足够了!那个时代更多的是使用静态网页HTML
服务器根本没有那么大的压力。
思考一下,这种情况下,一个网站的瓶颈是什么?
1、数据量如果太大、一个机器放不下了! 2、数据的索引(B+Tree ) ,一个机器内存也放不下 3、访问量(读写混合),一个服务器承受不了~
只要你开始出现以上的三种情况之一,那么你就必须要晋级!
2、Memcached(缓存)+ MySQL + 垂直拆分(读写分离)
网站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦!所以说我们希望减轻数据的压力,我们可以使用缓存来保证效率!
发展过程:优化数据结构和索引–>文件缓存( io ) —> Memcached(当时最热门的技术!)
3、分库分表 + 水平拆分 + MySQL集群
技术和业务在发展的同时,对人的要求也越来越高!
本质:数据库(读、写)
早些年的搜索引擎 MylSAM: 表锁,十分影响效率!高并发下就会出现严重的锁问题
转战 Innodb: 行锁
慢慢的就开始使用分库分表来解决写的压力! MySQL在哪个年代推出了表分区!这个并没有多少公司使用!MySQL的集群,很好满足哪个年代的所有需求!
4、如今最近的年代
2010-2020年十年之间,世界已经发生了翻天覆地的变化;(定位,也是一种数据,音乐,热榜!)mysql等关系型数据库就不够用了!数据量很多,变化很快~!
MySQL有的使用它来村粗一些比较大的文件,博客,图片!数据库表很大,效率就低了!如果有一种数据库来专门处理这种数据,MySQL压力就变得十分小(研究如何处理这些问题!)大数据的IO压力下,表几乎没法更大!
5、目前一个基本的互联网项目架构图
6、为什么要使用NoSQL
用户的个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等等爆发式增长!这时候我们就需要使用NoSQL数据库的,Nosql可以很好的处理以上的情况!
1.2、什么是NoSQL
1、NoSQL
关系型数据库:表格、行、列NoSQL= Not Only SQL (不仅仅是SQL)。泛指非关系型数据库,随着web2.0互联网的诞生,传统的关系型数据库很难对付web2.0时代的产物,尤其是大规模、高并发的数据社区。暴露出来很多难以客服的问题,NoSQL在当今大数据环境卞发展的十分迅速,Redis是发展最快的,而且是我们当下必须要掌握的一个技术。
很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要过多的操作就可以横向扩展的 ! 类似 Java 里的 Map<String,Object>。使用键值对控制。
2、NoSQL的特点
1、方便扩展(数据之间没有关系,很好扩展! )
2、大数据量高性能(Redis一秒写8万次,读取11万,NoSQL的缓存记录级,是一种细粒度的缓存,性能会比较高!
3、数据类型是多样型的!(不需要事先设计数据库!随取随用!如果是数据量十分大的表,很多人就无法设计了! )
4、传统RDBMS和NoSQL
/* 传统的关系型数据库:RDBMS - 结构化组织 - SQL - 数据和关系都存在单独的表中-操作操作,数据定义语言-严格的一致性 - 基础的事务等等 非关系型数据库:NoSQL - 不仅仅是数据 - 没有固定的查询语言 - 键值对存储,列存储,文档存储,图形数据库(社交关系)-最终一致性, - CAP定理和BASE(异地多活)初级架构师!(狂神理念:只要学不死,就往死里学!) - 高性能,高可用,高可扩 */
5、3V和3高(了解):
大数据时代的3V︰主要是描述问题的
- 海量 Volume
- 多样 Variety
- 实时 Velocity
大数据时代的3高:主要是对程序的要求
- 高并发
- 高可拓
- 高性能
真正在公司中的实践:NoSQL+RDBMS(关系型数据库) 一起使用才是最强的。
1.3、阿里巴巴演进分析
思考:以淘宝为例,里面的视频、图片、评论等庞大复杂的数据真的是一个关系型数据库就能搞定的吗?
# 1、商品的基本信息 名称、价格、商家信息; 关系型数据库就可以解决了! MysqL / oracle(淘宝早年就去ToE了!-王坚:推荐文章:阿里云的这群疯子:40分钟重要!)淘宝内部的MysQL不是大家用的MysQL # 2、商品的描述、评论(文字比较多) 文档型数据库中,MongoDB # 3、图片 分布式文件系统FastDFS -淘宝自己的 TFS - Gooale的 GFS - Hadoop HDFS -阿里云的 oss # 4、商品的关键字(搜索) - 搜索引擎 solr elasticsearch - Isearce (多隆一个人开发出来) # 5、商品的波段信息 - 内存数据库 - Redis Tair Memcached # 6、商品的交易,外部的支付接口 - 第三方应用
要知道,一个简单的网页背地里的技术一定不是大家所想的那么简单!
大型互联网应用问题:
- 数据类型太多了
- 数据源繁多,经常重构
- 数据要改造,大面积改造,关系型数据非常麻烦
解决问题:
1.4、NoSQL的四大分类
1、kv 键值对
- 新浪: Redis
- 美团: Redis + Tair
- 阿里、百度: Redis + memecache
2、文档型数据库( bson 格式和 json 一样)
MongoDB(一般必须要掌握)
MongoDB是一个基于分布式文件存储的数据库,C++编写,主要用来处理大量的文档!oMongoDB是一个介于关系型数据库和非关系型数据中中间的产品!MongoDB是非关系型数据库中功能最丰富,最像关系型数据库。
CouchDB
3、列存储数据库
- HBase
- 分布式文件系统
4、图关系数据库
- 他不是存图形,放的是关系,比如∶朋友圈社交网络,广告推荐!
- Neo4j ,InfoGrid
5、4种类型对比
2、Redis入门
2.1、Redis概述
1、Redis是什么?
Redis = Remote Dictionary Server(Redis) 即远程字典服务。是一个由Salvatore Sanfilippo写的key-value存储系统。是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。
免费和开源,是当下最热门NoSQL技术之一,也被人们称为结构化数据库。
2、Redis能做什么?
内存存储、持久化、内存中是断电即失、所以说持久化很重要( rdb、aof )
效率高、可以用于高速缓存
发布订阅系统
地图信息分析
计时器,计数器(浏览量)等
3、Redis的特性
多样的数据类型
持久化
集群
事务等
4、Redis学习工具分享
Redis中文网:http://www.redis.cn/
Redis推荐都是在Linux服务器上搭建的,我们是基于Linux学习!
2.2、Windows安装Redis
1、下载安装包
下载地址:https://github.com/microsoftarchive/redis/releases/tag/win-3.2.100
1、下载完毕得到压缩包 -> 解压到自己电脑上的环境目录下就可以了(Redis十分的小)
2、开启服务,双击运行服务(redis-server.exe)即可。
3、使用Redis客户端(redis-cli.exe)连接Redis
在Windows系统下使用Redis确实很简单,但是Redis推荐我们使用Linux系统去开发使用!
因为官方不支持Windows版本的Redis!
2.3、Linux安装Redis
1、下载安装包:https://redis.io/
2、解压Redis安装包!执行程序一般放在 /opt 目录下
# 解压命令 tar -zxvf redis-6.0.9.tar.gz
3、进入解压后的目录,可以看到Redis的配置文件
4、基本的环境安装(gcc)
安装Redis 6.0以上版本:
# 依次执行以下命令 # 1.安装gcc yum -y install centos-release-scl yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils source /opt/rh/devtoolset-9/enable echo “source /opt/rh/devtoolset-9/enable” >>/etc/profile # 2.编译 make # 3.安装 make install # 安装,将redis的命令安装到/usr/local/bin/
我们来查看以下Redis是否存在
5、将Redis配置文件 (redis.conf) 复制到当前目录下
cp /opt/redis-6.0.9/redis.conf my_redis_config # my_redis_config 是自己创建的文件夹