dasein58_个人页

2021年11月

• 11.05 22:37:25
  发表了文章 2021-11-05 22:37:25

  使用 RestTemplate 进行第三方Rest服务调用

  1. 前言 RestTemplate 是 Spring 提供的一个调用 Restful 服务的抽象层，它简化的同 Restful 服务的通信方式，隐藏了不必要的一些细节，让我们更加优雅地在应用中调用 Restful 服务 。但是在 Spring 5.0 以后RestTemplate处于维护模式，不再进行新特性的开发，仅仅进行一些日常维护。Spring 建议我们使用同时支持同步、异步和 Stream 的另一个 API —— WebClient 。但是在 Spring MVC 下目前我们还没有更好的选择。 2. RestTemplate 的使用场景 我们在项目中经常要使用第三方的 Rest AP
• 11.05 22:36:02
  发表了文章 2021-11-05 22:36:02

  基于HBase构建千亿级文本数据相似度计算与快速去重系统

  前言 随着大数据时代的到来，数据信息在给我们生活带来便利的同时，同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题海量文本数据所面临的存储与计算慢的问题。 一. 面临的问题 1. 如何选择文本的相似度计算或去重算法？ 常见的有余弦夹角算法、欧式距离、Jaccard 相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，但在海量数据背景下，如果每天产生的数据以千万计算，我们如何对于这些海
• 11.05 22:34:57
  发表了文章 2021-11-05 22:34:57

  用 serverless 与 typescript 开发第一个 Koa 应用

  对于稍微大型的 Node 应用，typescript 已经是标配，它为 javascript 提供了强类型的铠甲，有效提高了代码质量。 这里是一个结合 ts 及 koa 快速部署到腾讯云函数计算中的模板。仓库如下 shfshanyue/serverless-template-zh: 中国云厂商 serverless framework 模板及示例 （更快的访问速度） 如果你只想搭建一个博客 使用 Netlify 托管静态网站与持续集成 使用 AliOSS 部署及加速你的静态网站 Github Actions 持续集成简介及实践 使用 Serverless Framework 开发第一个云函
• 11.05 22:33:17
  发表了文章 2021-11-05 22:33:17

  国密算法介绍

  国密即国家密码局认定的国产密码算法。主要有SM1，SM2，SM3，SM4。密钥长度和分组长度均为128位。 SM1 为对称加密。其加密强度与AES相当。该算法不公开，调用该算法时，需要通过加密芯片的接口进行调用。 采用该算法已经研制了系列芯片、智能IC卡、智能密码钥匙、加密卡、加密机等安全产品，广泛应用于电子政务、电子商务及国民经济的各个应用领域（包括国家政务通、警务通等重要领域）。 SM2为非对称加密，基于ECC。该算法已公开。由于该算法基于ECC，故其签名速度与秘钥生成速度都快于RSA。ECC 256位（SM2采用的就是ECC 256位的一种）安全强度比RSA 2048位高，但运算速度
• 11.05 22:32:47
  发表了文章 2021-11-05 22:32:47

  MySQL 数据库支持国密算法

  数据库加密，作为杀手锏，是数据库底线防守的秘密武器，通过在数据库存储层进行数据加密处理，达到即使数据被黑客盗取也无法解密的效果，从根源上解决数据泄露问题。 近年，市场对于数据库加密产品的需求呈上升趋势，但由于技术门槛极高，国内真正能够提供此类产品的企业本就寥寥无几，尤其针对全球份额排名第二的MySQL数据库，能够对其支持的加密产品一直没有出现。 不同于传统的视图+触发器模式的透明加密方式，本文所提MySQL国密加密产品采用数据库引擎代码改造技术，真正实现数据在存储层的加、解密功能，避免以往加密过程中，数据库文件导入导出的繁琐方法，最大程度减少性能损失。 产品是为用户需求而生，而我们要做的
• 11.05 22:32:18
  发表了文章 2021-11-05 22:32:18

  几种常见的数据库加密方案分析

  “xxx拖库”、“xxxx数据泄露”等等层出不穷的安全事件表明，要想根本上解决这种越过网络防护，绕开权控体系，直接复制文件块并异地还原解析的“内鬼”式攻击方式，必须采用存储层的加密技术，确保敏感信息一旦落盘，必须密文存储。随着数据库加密技术在国内市场的兴起，更多数据安全企业的涌入，市面上出现了几种具有代表性的数据库加密技术。 一、前置代理及加密网关技术 1）技术原理 该方案的总体技术思路即在数据库之前增加一道安全代理服务，对数据库访问的用户都必须经过该安全代理服务，在此服务中实现如数据加解密、存取控制等安全策略。然后安全代理服务通过数据库的访问接口实现数据存储。安全代理服务存在于客户端应
• 11.05 22:29:23
  发表了文章 2021-11-05 22:29:23

  很多人不知道的Python 炫技操作：海象运算符的三种用法

  Python 版本发展非常快，如今最新的版本已经是 Pyhton 3.9，即便如此，有很多人甚至还停留在 3.6 或者 3.7，连 3.8 还没用上。 很多 Python 3.8 的特性还没来得及了解，就已经成为旧知识了，比如今天要说的海象运算符。 海象运算符是在 PEP 572 被提出的，直到 3.8 版本合入发布。 它的英文原名叫 Assignment Expressions，翻译过来也就是 赋值表达式，不过现在大家更普遍地称之为海象运算符，就是因为它长得真的太像海象了。 1. 第一个用法：if/else 可能有朋友是第一次接触这个新特性，所以还是简单的介绍一下这个海象运算符有什
• 11.05 22:28:48
  发表了文章 2021-11-05 22:28:48

  使用 serverless 与 next 开发第一个 next 应用

  在上一章，我介绍到了 如何使用 serverless 部署第一个 koa 应用。对于一个后端(Node)项目使用 serverless 的方式要接收巨大的挑战，其中最大的挑战来自于传统的并已完善与成熟的架构。 而对于一个弱存储弱状态的 SSR 项目或者纯前端项目，通过 zeit 或者 netlify 部署是一个更好的选择，然而由于网络原因并不适用于国内。国内也无如 netlify 一样的前端快速部署方案（笔者认为这一点对于国内的云服务商是一个可选的机会），此时 serverless 是一个不错的选择，只需一行命令即可充分利用缓存配置，对象存储服务，CDN 与自动 https 证书。
• 11.05 22:27:58
  发表了文章 2021-11-05 22:27:58

  自学编程的八大误区！克服它们，豁然开朗！

  说在前面 小伙伴们大家好，又是全新的一天。 关于“自学编程的一些常见误区”这个话题其实很早之前就在视频里聊过了。时间过去了大半年，也还是有很多小伙伴会提及各种自学过程中的常见疑惑，所以还是用文字总结一下这几点想法，和大家共勉。 误区1：忽略基础，盲目莽进 基础知识和基础路线真的非常重要，就以Java领域举例，现在的应用框架实在是太多了，五花八门，层出不穷，迭代的速度太快了。但是假如Java SE的基础不牢、网络协议和操作系统不熟，基本的设计模式不了解，那一味地追求学习新框架反而会让自己陷入迷茫与困顿。 基础牢固，应用框架的学习自然就不用惧怕了，很快就能切入核心，掌握原理。而且越时髦的东西
• 11.05 22:26:35
  发表了文章 2021-11-05 22:26:35

  ZK客户端Curator使用详解

  zookeeper不是为高可用性设计的，但它使用ZAB协议达到了极高的一致性。所以它经常被选作注册中心、配置中心、分布式锁等场景。 它的性能是非常有限的，而且API并不是那么好用。xjjdog倾向于使用基于Raft协议的Etcd或者Consul，它们更加轻量级一些。 Curator是netflix公司开源的一套zookeeper客户端，目前是Apache的顶级项目。与Zookeeper提供的原生客户端相比，Curator的抽象层次更高，简化了Zookeeper客户端的开发量。Curator解决了很多zookeeper客户端非常底层的细节开发工作，包括连接重连、反复注册wathcer和Nod
• 11.05 22:23:35
  发表了文章 2021-11-05 22:23:35

  该魔法值造成了一万点伤害……

  1. 前言 重构老代码中遇到了不少类似下面这种写法： public void attend(String value) { if ("0".equals(value)) { //todo } else if ("1".equals(value)) { //todo } else { //todo } } 复制代码 脑壳疼！从 Java 语法上无懈可击，但是从业务上却让人无法理解其中 0 和 1 的含义，它们统称为魔法值 。 对于上面的代码
• 11.05 22:21:05
  发表了文章 2021-11-05 22:21:05

  HBase Filter 过滤器之 Comparator 原理及源码学习

  HBase所有的比较器实现类都继承于父类ByteArrayComparable，而ByteArrayComparable又实现了Comparable接口；不同功能的比较器差别在于对父类compareTo()方法的重写逻辑不同。 下面分别对HBase Filter默认实现的七大比较器一一进行介绍。 1. BinaryComparator 介绍：二进制比较器，用于按字典顺序比较指定字节数组。 先看一个小例子： public class BinaryComparatorDemo { public static void main(String[] args) {
• 11.05 22:15:55
  发表了文章 2021-11-05 22:15:55

  思考你的思维——从 5w1h到2w1h到空、雨、伞

  这个题目中涉及到了三种解决问题的著名思维方法，它们用于指导我们如何去思考一个事物，但是却没有给出为什么要这样思考。 一直没时间整理，其实这也能够理顺，即使在平时可能做不到用这些方法来分析问题，但了解一下也是可以的。 恰巧今天有空闲去图书馆，我专门想了下，结合自己收集的资料，总结如下。 # 一、首先最通用的是5w1h 即： - when（时间，何时） - where/which（位置，发生区域，哪些，定义范围与边界，比如哪些内容是不包含在内的） - who（参与人，执行人） - why（为什么，原因） - how/how to（策略，方法，方式，具体的过程或行动步骤） - what（内
• 11.05 22:14:27
  发表了文章 2021-11-05 22:14:27

  Java集合源码分析之开篇

  初衷 Java集合是我们使用最频繁的工具，也是面试的热点，但我们对它的理解仅限于使用上，而且大多数情况没有考虑过其使用规范。本系列文章将跟随源码的思路，分析实现的每个细节，以期在使用时避免各种不规范的坑。在这里，我们会惊艳于开发者优秀的设计，也会感激先辈们付出的艰辛努力，更重要的是知其所以然，少犯错误，写出优秀的代码。 许多人对集合类的理解是暴力的，当需要保存对象时就使用ArrayList，当需要保存键值对时就使用HashMap，当需要不可重复时就使用HashSet，等等。而且使用方式也比较单一：
• 11.05 22:13:26
  发表了文章 2021-11-05 22:13:26

  Java集合源码分析之Iterable概述

  前言 当我们想要遍历集合时，Java为我们提供了多种选择，通常有以下三种写法： 写法1：for循环 for (int i = , len = strings.size(); i < len; i++) { System.out.println(strings.get(i)); } 写法2：foreach循环 for (String var : strings) { System.out.println(var); } 写法3：Iterator Iterator iterator = strings.iterator(); while (iterator.hasNext(
• 11.05 22:12:58
  发表了文章 2021-11-05 22:12:58

  Java集合源码分析之超级接口：Collection

  Collection Collection是List、Queue和Set的超集，它直接继承于Iterable，也就是所有的Collection集合类都支持for-each循环。除此之外，Collection也是面向接口编程的典范，通过它可以在多种实现类间转换，这也是面向对象编程的魅力之一。 方法定义 在阅读源码前，我们可以先自行想象一下，如果我们想封装下数组或链表以方便操作，我们需要封装哪些功能呢？比如：统计大小、插入或删除数据、清空、是否包含某条数据，等等。而Collection就是对这些常用操作进行提取，只是其很全面、很通用。下面我们看看它都提供了哪些方法。
• 11.05 22:12:25
  发表了文章 2021-11-05 22:12:25

  Java集合源码分析之Set概述与总结

  Java集合源码分析系列到此就结束了，关于Set的知识会在这里进行简单的总结，除此之外，则是学习之后的一些感受。 Set概述 Set是一个包含不可重元素的集合，也就是所有的元素都是唯一的。文档说明如下： A collection that contains no duplicate elements. More formally, sets contain no pair of elements e1 and e2 such that e1.equals(e2), and at most one null element. As implied by its name, this inte
• 11.05 22:11:31
  发表了文章 2021-11-05 22:11:31

  TypeScript 面向对象程序设计（OOP）

  在 JavaScript 中 ES6 之前我们使用函数（构造器函数）和基于原型来创建一个自定义的类，但这种方式总会让人产生困惑，特别是习惯了 Java、PHP 等面向对象编程的同学来说更加难以理解。 抽象一个类 面向对象编程的基本单位是对象，但对象又是由类实例化的，所以我们第一步需要先知道怎么去声明一个类。 类的声明 类的声明使用 class 关键词，类名与变量、函数等命名规则类似，这里要首写字母大写，类名后跟上一对花括号可以理解为的类的主体，类的主体三部分组成：成员属性、构造函数、成员方法。
• 11.05 22:10:53
  发表了文章 2021-11-05 22:10:53

  使用Profile抓住慢查询

  在很多情况下，DBA都要对数据库的性能进行分析处理，找出降低性能的根源 而Mongo就有一种分析工具来检测并追踪影响性能的慢查询---Profile 有两种方式可以控制Profiling的开关和级别， 第一种是直接在启动参数中进行设置，如下: 如果想要全局开启Profiling，则可以在mongod启动时加上参数 mongod --profile 1 --slowms 100 # 1表示追踪级别，100表示慢查询判定时间(ms) 若是配置文件中开启的话，配置如下： operationProfiling: slowOpThresholdMs: 100 mode: s
• 11.05 21:34:19
  发表了文章 2021-11-05 21:34:19

  老师，你确定Java注释不会被执行吗？

  之前在博客上分享过一篇文章，涉及到 Java 中的注释，就信誓旦旦地写了一句话：“注释是不会被执行的！”结果，有小伙伴留言说，“老师，你确定吗？” 我这个人一直有个优点，就是能听得进去别人的声音，管你是赞美的还是批评的，从来都是虚心接受。因为我相信，大多数小伙伴都是出于善的目的。 况且，我在技术上从来没想过要成为多牛逼的大佬，就是喜欢分享的感觉，而已。很多文章中出现的错误，我都原封不动的保留，因为如果把修正了，那么留言中那些指出错误的人，在后来的读者眼里，就会觉得不合时宜。 那些 diss 我的小伙伴们，放心，我是不会介意的。 尽管如此，但对于注释这件事，真的是不能忍啊！注释肯定不会
• 11.05 21:33:22
  发表了文章 2021-11-05 21:33:22

  HBase Filter 过滤器之RowFilter详解

  前言：本文详细介绍了HBase RowFilter过滤器Java&Shell API的使用，并贴出了相关示例代码以供参考。RowFilter 基于行键进行过滤，在工作中涉及到需要通过HBase Rowkey进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文：HBase Filter 过滤器之比较器 Comparator 原理及源码学习 一。Java Api 头部代码 public class RowFilterDemo { private static boolean isok = false; private static String tableName
• 11.05 21:31:34
  发表了文章 2021-11-05 21:31:34

  大数据和人工智能工程上的一些点

  大数据 大数据这个词最早出现在上世纪90年代的美国，直到2012年后才火起来。大数据没有一个明确的概念，之所以称之为大是因为数据量太大超过了单台计算机的资源，这时就需要分布式的数据处理工具，以便能在用户可容忍的时间内进行数据处理。大数据从业人员肯定会去了解谷歌的mapreduce论文和hadoop开源工具。然而海量数据本来是静态，只有通过对数据进行分析和利用才能让数据产生价值。正所谓量变产生质变。 人工智能 人工智能在1956年的达特茅斯会议上被提出来，它研究的是如何制造智能机器或模拟人类的智能行为。大数据与人工智能之间可以说是相辅相成，人工智能的基础是数据，而数据的利用又离不开人工智能。各
• 11.05 21:28:57
  发表了文章 2021-11-05 21:28:57

  SSL与SSH的区别

  在OSI七层模型中,这两个安全传输协议其实都是建立在应用层上的 在最初的设计意图中； SSL(Secure Sockets Layer (SSL) and Transport Layer Security (TLS))被设计为加强Web安全传输(HTTP/HTTPS/)的协议(事实上还有SMTP/NNTP等) ，默认使用443端口 SSH(Secure Shell)更多的则被设计为加强Telnet/FTP安全的传输协议,默认地,它使用22端口. ssl是通讯链路的附加层。可以包含很多协议。https, ftps, ..... ssh只是加密的shell，最初是用来替代telnet的。通过p
• 11.05 21:28:05
  发表了文章 2021-11-05 21:28:05

  什么情况下不能使用 Java 泛型

  1. 前言 Java 1.5 引入了泛型来保证类型安全，防止在运行时发生类型转换异常，让类型参数化，提高了代码的可读性和重用率。但是有些情况下泛型也是不允许使用的，今天就总结一下编码中不能使用泛型的一些场景。 2. 基本类型无法直接使用泛型 以下写法是错误的： // error Map<int,char> wrong= new HashMap<>() 复制代码 基本类型是不能够作为泛型类型的,需要使用它们对应的包装类。 // OK Map<Integer,Character> wrong= new HashMap<>() 复制代码 3. 泛型类型无法被直接实例化 泛型类型可以理解为一个
• 11.05 21:27:21
  发表了文章 2021-11-05 21:27:21

  如何在PostgreSQL故障切换后找回丢失的数据

  作者简介 陈华军，苏宁易购云软件公司架构专家，主要负责数据库产品的相关设计工作。十年以上数据库相关工作经验。PostgreSQL中文社区核心组成员，主要负责PostgreSQL中文手册翻译项目的维护。 1. 背景 PostgreSQL的HA方案一般都基于其原生的流复制技术，支持同步复制和异步复制模式。 同步复制模式虽然可以最大程度保证数据不丢失，但通常需要至少部署三台机器，确保有两台以上的备节点。 因此很多一主一备HA集群，都是使用异步复制。 在异步复制下，主库宕机，把备节点切换为新的主节点后，可能会丢失最近更新的少量数据。 如果这些丢失的数据对业务比较重要，那么，能不能从数据库里找回来呢?
• 11.05 21:26:20
  发表了文章 2021-11-05 21:26:20

  PostgreSQL 数据类型

  本章节，我们将讨论 PostgreSQL 的数据类型，数据类型是我们再创建表的时候为每个字段设置的。 设置数据类型的好处： PostgreSQL提 供了丰富的数据类型。用户可以使用 CREATE TYPE 命令在数据库中创建新的数据类型。PostgreSQL 的数据类型有很多种，下面我们具体来说明。 数值类型 数值类型由 2 字节、4 字节或 8 字节的整数以及 4 字节或 8 字节的浮点数和可选精度的十进制数组成。 下表列出了可用的数值类型。
• 11.05 21:10:46
  发表了文章 2021-11-05 21:10:46

  一些docker的技巧和秘诀

  关于docker容器和镜像的关系 无论容器里做什么操作，写文件，删文件。该容器的基本镜像都不会有任何改变。这是因为Docker从父镜像建立增量镜像，只存储每个容器的更改。因此，如果你有一个300MB的父镜像，如果你在容器中安装了50MB的额外应用或服务，你的容器只有50MB，父镜像还是300MB。 但是可以使用Dockfile或commit命令来，把增量镜像和父镜像一起生成一个新的镜像。 dock top -- 显示容器中运行的进程 查看容器的root用户名和密码 docker logs <容器名orID> 2>&1 | grep '^User: ' | tail -n1 因为docker
• 11.05 21:08:59
  发表了文章 2021-11-05 21:08:59

  Vagrant 和 Docker的使用场景和区别?

  首先，相似之处是Vagrant和Docker都是虚拟化技术。Vagrant是基于Virtualbox的虚拟机来构建你的开发环境，而Docker则是基于LXC(LXC)轻量级容器虚拟技术。全面理解这两种虚拟技术的区别，需要阅读很多文档。我这里打个简单的比方，虚拟机之于容器虚拟技术相当于进程和线程。虚拟机内可以包含很多容器，正如一个进程中可以包含很多线程。虚拟机重，容器虚拟技术轻。前者的Image一般以GB计算，Docker则以100MB为单位计算。 当然，提问者肯定更希望从应用层面来了解两者的区别。简单点讲，Vagrant就是你的开发环境的部署工具；而docker是你的运行环境部署工具。 很多
• 11.05 21:08:14
  发表了文章 2021-11-05 21:08:14

  下一代容器架构已出，Docker何去何处？看看这里的6问6答！！

  我们今天讨论的是《下一代容器架构已出，Docker何去何处？》 其实就目前来说，下一代容器架构可以约等于≒Podman+Skopeo+Buildah 其实这半年来很多自媒体都在鼓吹新的容器架构，吹嘘将要很快的替代Docker。但是很少人讨论新的架构和老的架构的区别，以及目前迁移的可能性等等等等。。。这些都是摆在企业面前去接触新架构的大山。所以，我们今天不做具体的新容器架构实战，我们只回答以下几个问题。 Q1 什么是Linux容器以及它如何工作？ 一句话回答：就像港口的集装箱 （1）linux容器又名LXC(Linux Container)，我们要形象的理解Linux容器的话，我们可以
• 11.05 21:07:28
  发表了文章 2021-11-05 21:07:28

  PostgreSQL连接（JOIN）

  PostgreSQL JOIN子句用于把两个或多个表的行结合起来，基于这些表之间的共同变量。 在PostgreSQL中，JOIN有五种连接类型： CROSS JOIN：交叉连接 内连接：内连接 LEFT OUTER JOIN：左外连接 右外连接：右外连接 FULL OUTER JOIN：全外连接 接下来让我们创建两张表COMPANY和DEPARTMENT。
• 11.05 21:06:57
  发表了文章 2021-11-05 21:06:57

  PostgreSQL TRANSACTION（事务）

  TRANSACTION（事务）是数据库管理系统执行过程中的一个逻辑单位，由一个有限的数据库操作序列构成。 数据库事务通常包含了一个序列的对数据库的读/写操作。包含有以下两个目的： 为数据库操作序列提供了一个从失败中恢复到正常状态的方法，同时提供了数据库即使在异常状态下仍能保持一致性的方法。 当多个应用程序在并发访问数据库时，可以在这些应用程序之间提供一个隔离方法，以防止彼此的操作互相干扰。 当事务被提交给了数据库管理系统（DBMS），则 DBMS 需要确保该事务中的所有操作都成功完成且其结果被永久保存在数据库中，如果事务中有的操作没有成功完成，则事务中的所有操作都需要回滚，回到事务执行前的
• 11.05 21:05:13
  发表了文章 2021-11-05 21:05:13

  HBase 和 Hive 的差别是什么，各自适用在什么场景中？

  网络上有篇deck，题目为 NoSQL and Big Data Processing - Hbase, Hive and Pig cs。kent。edu/~jin/Cloud12Spring/HbaseHivePig.pptx)，从 关系型数据库开始，到 NoSQL, 到 CAP 原理，再到 HBase 和 Hive，基本描述了整个数据存储的演进路线以及原因。 以下是我个人对这篇deck的整理，和deck的结构基本相同。虽然不能直接回答题主的问题，但相信读完这个deck之后，这个问题一定可以迎刃而解。 1. RDBMS 让数据集保持在一台单一的机器上是RDBMS提供ACID特性和丰富查询
• 11.05 21:03:59
  发表了文章 2021-11-05 21:03:59

  吃透了这些Redis知识点，面试官一定觉得你很厉害

  是数据结构而非类型 很多文章都会说，redis支持5种常用的数据类型，这其实是存在很大的歧义。redis里存的都是二进制数据，其实就是字节数组（byte[]），这些字节数据是没有数据类型的，只有把它们按照合理的格式解码后，可以变成一个字符串，整数或对象，此时才具有数据类型。 这一点必须要记住。所以任何东西只要能转化成字节数组（byte[]）的，都可以存到redis里。管你是字符串、数字、对象、图片、声音、视频、还是文件，只要变成byte数组。 因此redis里的String指的并不是字符串，它其实表示的是一种最简单的数据结构，即一个key只能对应一个value。这里的key和value都是b
• 11.05 21:03:03
  发表了文章 2021-11-05 21:03:03

  Hbase作者为什么允许一张表可以有多个列簇?

  HBase的设计目标是海量，高吞吐存储。数据在底层是基于LSMT那一套的实现（当然分了很多region，支持分布式）。简单来说，要维护一套memstore + 可分裂的filestore的存储，差不多就是： 新数据写入/更改先写入WAL，然后进入memstore memstore满了就进filestore filestore太大了就分裂 而这一套机制实现的单位是column family——每个column family有自己的memstore和filestore。尽管在高层上看起来是同一张表，但是表里每一个column family的存储都是相互独立的。如果和mysql比较的话，colum
• 11.05 21:02:31
  发表了文章 2021-11-05 21:02:31

  HBase 操作和性能配置选项

  设置 hbase.regionserver.handler.count（在 hbase-site.xml）为用于并发的核心 x 轴。 可选地，将调用队列分成单独的读取和写入队列以用于区分服务。该参数 hbase.ipc.server.callqueue.handler.factor 指定调用队列的数量： 0 意味着单个共享队列。 1 意味着每个处理程序的一个队列。 一个0和1之间的值，按处理程序的数量成比例地分配队列数。例如，0.5 的值在每个处理程序之间共享一个队列。 使用 hbase.ipc.server.callqueue.read.ratio（hbase.ipc.server.call
• 11.05 21:01:54
  发表了文章 2021-11-05 21:01:54

  很详细Redis入门教程

  这篇文章主要介绍了很详细Redis入门教程,本文详细介绍了Redis数据库各个方面的知识,需要的朋友可以参考下 【redis是什么】 redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。 redis的官网地址，非常好记，是redis.io。（特意查了一下，域名后缀io属于国家域名，是british Indian Ocean territory，即英属印度洋领地） 目前，Vmware在资助着redis项目的开发和维护。 【redis的作者何许人也】 开门见山，先看照片： 是不是出乎了你的意料，嗯，高手总会有些地方与众不同的。 这
• 11.05 21:00:55
  发表了文章 2021-11-05 21:00:55

  一次HBase读超时的调优

  现象：因为系统实时性要求比较高，HBase超时时间设置为2秒。偶尔会出现（几个小时）出现一波超时的情况，看了监控IO、CPU等并没有出现明显大波动。不过集群是高读写的，每秒几万的请求。就开始参与协助帮忙集群的排查、调优工作。 汗，最关键的是集群都用上了SSD，这是开大的节奏。 先来看看HBase主要的几个参数： 1、major compaction（大合并操作，几天执行一次，或者手动执行。对IO影响很大，对性能影响也很大） 2、memstore：regions数量、列簇数量有影响 ，一个列簇就需要一个memstore ,会占用region server的内存。 3、负载均衡：是不是某
• 11.05 21:00:24
  发表了文章 2021-11-05 21:00:24

  一次HBase读超时的调优

  现象：因为系统实时性要求比较高，HBase超时时间设置为2秒。偶尔会出现（几个小时）出现一波超时的情况，看了监控IO、CPU等并没有出现明显大波动。不过集群是高读写的，每秒几万的请求。就开始参与协助帮忙集群的排查、调优工作。 汗，最关键的是集群都用上了SSD，这是开大的节奏。 先来看看HBase主要的几个参数： 1、major compaction（大合并操作，几天执行一次，或者手动执行。对IO影响很大，对性能影响也很大） 2、memstore：regions数量、列簇数量有影响 ，一个列簇就需要一个memstore ,会占用region server的内存。 3、负载均衡：是不是某
• 11.05 20:59:52
  发表了文章 2021-11-05 20:59:52

  HBase 性能调优第一弹：内存篇

  这是使用 HBase 最不可避免的一个话题，就是 HBase 的性能调优，而且通常建立在我们对 HBase 内部运行机制比较了解的基础上进行的，因此无论怎么说，调优这块都是一个相对复杂的事情。这一篇我们先来介绍与 HBase 内存最相关的调优内容。 1. 合理配置 JVM 内存 这里首先涉及 HBase 服务的堆内存设置。一般刚部署的 HBase 集群，默认配置只给 Master 和 RegionServer 分配了 1G 的内存，RegionServer 中 MemStore 默认占 0.4 即 400MB 左右的空间，而一个 MemStore 刷写阈值默认 128M，所以一个 Regi
• 11.05 20:58:21
  发表了文章 2021-11-05 20:58:21

  mongodb 基于oplog的时间点恢复

  本文简单介绍mongodb时间点恢复的过程： 1.首先创建hezi集合，并插入10000条数据； MongoDB Enterprise liuhe_rs:PRIMARY>use liuwenhe MongoDB Enterprise liuhe_rs:PRIMARY>for ( var i = 0; i < 100000; i++) { db.hezi.insert({id: i}); } MongoDB Enterprise liuhe_rs:PRIMARY> db.hezi.count(); 100000 2.执行备份操作，使用参数 --oplog ，会在备份路径下产生oplog.b
• 11.05 20:57:05
  发表了文章 2021-11-05 20:57:05

  MongoDB的选举过程

  MongoDB的复制集具有自动容忍部分节点宕机的功能,在复制集出现问题时时,会触发选举相关的过程,完成主从节点自动切换. 每个复制集成员都会在后台运行与复制集所有节点的心跳线程,在两种情况下会触发状态检测过程: 1).复制集成员心跳检测结果发生变化,比如某个节点挂了或者新增节点. 2).超过4s没有执行状态检测过程. 在状态检测过程大致包含以下步骤: 1).检测自身是否处于选举过程,如果是,退出本次过程. 2).维护一个主节点的备用列表,列表中所有节点都可能被选举为主节点,每个节点都会检测自身以及全局条件是否满足: a.是否看见复制集中是否有Majority在线. b.自身
• 11.05 20:56:04
  发表了文章 2021-11-05 20:56:04

  Redis 21问，你接得住不？

  1.什么是redis? Redis 是一个基于内存的高性能key-value数据库。 2.Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB，不像 memcached只能保存1MB的数据，因此Redis可以用来实现
• 11.05 20:55:31
  发表了文章 2021-11-05 20:55:31

  《Redis 使用手册》：一网打尽

  今天想要自来水式地推荐一本去年的新书《Redis 使用手册》。Redis 可算是现今内存数据库的实施标准，拥有丰富的数据结构和强大的功能，适用于各种不同的开发场景。对于泛化的大数据研发工程师来说，Redis 是职业生涯中绕不过去的一道坎。这本书由超过十年经验的 Redis 专家，擅长技术协作的黄健宏先生撰写，至少有以下几个特点，使得它非常适合大数据研发方向的新手。 内容详尽，循序渐进 全书一共分为三个部分总二十章。第一章仅用八页就介绍完安装 redis 和 redis-py 等准备工作，毫不拖泥带水混页数。第二章到第十章针对 Redis 开箱即用的数据结构从基础到复杂，从常用到专用一一列举
• 11.05 20:55:00
  发表了文章 2021-11-05 20:55:00

  Hive、Hbase、mysql的区别

  1、Hive和HBase的区别 　　1）hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 　　2）hive是面向行存储的数据库。 　　3）Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。 　　4）HBase为查询而生的，它通过组织起节点內所有机器的內存，提供一個超大的內存Hash表 。 　　5）hbase不是关系型数据库，而是一个在hdfs上开发的面向列的分布式数据库，不支持sql。 　　6）hbase是物理表，不是逻辑表，提供一个超大的内存hash表，搜索引擎通过它来存储索引
• 11.05 20:53:44
  发表了文章 2021-11-05 20:53:44

  CockroachDB之本地以及分布式查询处理

  译者注：本文详细介绍了CockroachDB的两种查询处理方式：本地及分布式，其中详细描述了设计分布式引擎的目的，为了达到分布式，还存在哪些遗留问题。以下为译文。 当CockroachDB节点接收到查询SQL时，大概会发生什么事情呢： pgwire模块负责与客户端应用通信，从客户端接收查询请求。将SQL文本分析并转换为抽象语法树（Abstract Syntax Tree，简称AST）。然后进一步分析并将其转换为逻辑查询计划，该计划是关系运算符的树，如过滤器，渲染（项目），连接。 顺便说一下，逻辑计划树是由EXPLAIN语句报告的数据。 然后将逻辑计划交给负责执行查询的back-end层
• 11.05 20:52:57
  发表了文章 2021-11-05 20:52:57

  HBase 1.0 之后在最近两年加的一些新功能

  HBase作为BigTable的开源实现（之一，但也是应用最广的），其架构应该很多人即使完全没看过HBase的代码也都很清楚，毕竟干这个的几乎没人没读过BigTable的论文。但一个系统除了最基础的架构外还需要有一些细节的优化和实用的功能，很多功能大家就不见得了解了。因此感觉有必要介绍下最近两年HBase新增的一些比较重要的功能。以0.98为基准，在此假设0.98所包含的功能是大家所了解的，毕竟0.98.0是2014年2月发布了的。 HBase 1.0.0 在2015年2月发布后，首先最直观的改变是版本号采用了semantic versioning的语义，a.b.c的版本号，a major
• 11.04 22:17:10
  发表了文章 2021-11-04 22:17:10

  Apache Storm与Apache Spark对比

  随着实时数据的增加，对实时数据流的需求也在增长。更不用说，流技术正在引领大数据世界。使用更新的实时流媒体平台，用户选择一个平台变得很复杂。Apache Storm和Spark是该列表中最流行的两种实时技术。 让我们根据它们的功能比较Apache Storm和Spark，并帮助用户做出选择。本文的目的是Apache Storm Vs与Apache Spark无关，不是要对两者进行判断，而是要研究两者之间的异同。 什么是Apache Storm与Apache Spark？ 要了解Spark Vs Storm，让我们首先了解两者的基础！ Apache Storm Apache Storm是一个
• 11.04 22:15:33
  发表了文章 2021-11-04 22:15:33

  Docker的优缺点有哪些？

  对比一下，同样要安装运行一个软件，用Docker和不用Docker的差异： 下载安装： Docker：pull一个image下来就可以了。 包管理：用发行版自带命令，直接apt-get或者yum install。但很多时候，需要同时下载安装依赖的库，不过发行版的包管理系统通常会帮你搞定——前提是不要跟你现在的包发生冲突，否则有你搞的。 源码编译：发行版仓库里面的有可能版本有点老，你需要用最新版的功能。怎么办？去官网/Github下载源码，编译安装——等等，不要说的那么轻巧，你有对应的编译环境么？没有的话要先安装配置好编译环境。你知道用什么命令什么参数编译么？你装好编译依赖的底层库了么？