张友东（林青）_个人页

实时分析性数据库 Druid 架构解析

Druid 是一个实时分析型的数据库，用于大规模实时数据导入、快速查询分析的场景，包括网站访问点击流分析、网络性能监控分析、应用性能指标存储与分析、供应链分析、广告分析等。 ![image.png](https://intranetproxy.alipay.com/skylark/lark/0/2020/png/34834/1600427846485-f227ea8b-07c5-47

物联网数据库 IoTDB 解析

Apache IoTDB 是专为物联网时序数据打造的数据库，提供数据采集、存储、分析的功能。IoTDB 提供端云一体化的解决方案，在云端，提供高性能的数据读写以及丰富的查询能力，针对物联网场景定制高效的目录组织结构，并与 Apache Hadoop、Spark、Flink 等大数据系统无缝打通；在边缘端，提供轻量化的 TsFile 管理能力，端上的数据写到本地 TsFile，并提供一定的基础查询能力，同时支持将 TsFile 数据同步到云端。

MongoDB 4.2 内核解析 - Change Stream

MongoDB BI Connector 实战指南

MongoDB 使用 BI Connector 来支持 BI 组件直接使用 SQL 或 ODBC 数据源方式直接访问 MongoDB，在早期 MongoDB 直接使用 Postgresql FDW 来实现 SQL 到 MQL 的转换，后来实现更加轻量级的 mongosqld 来支持 BI 工具的连接。

MongoDB Spark Connector 实战指南

Why Spark with MongoDB? 高性能，官方号称 100x faster，因为可以全内存运行，性能提升肯定是很明显的 简单易用，支持 Java、Python、Scala、SQL 等多种语言，使得构建分析应用非常简单 统一构建 ，支持多种数据源，通过 Spark RDD 屏蔽...

Redis 混合存储最佳实践指南

Redis 混合存储实例是阿里云自主研发的兼容Redis协议和特性的云数据库产品，混合存储实例突破 Redis 数据必须全部存储到内存的限制，使用磁盘存储全量数据，并将热数据缓存到内存，实现访问性能与存储成本的完美平衡。

MongoDB Sharding 请勿复用已删除的 namespace

SERVER-17397: Dropping a Database or Collection in a Sharded Cluster may not fully succeed 是 MongoDB 里老大难的问题，库或集合删除操作如果没有完全执行成功，再新建相同名字的集合，可能导致读到老版本数据的问题。

MongoDB 定位 oplog 必须全表扫描吗？

MongoDB oplog （类似于 MySQL binlog） 记录数据库的所有修改操作，除了用于主备同步；oplog 还能玩出很多花样，比如 全量备份 + 增量备份所有的 oplog，就能实现 MongoDB 恢复到任意时间点的功能 通过 oplog，除了实现到备节点的同步，也可以额外再往单独的集群同步数据（甚至是异构的数据库），实现容灾、多活等场景，比如阿里云开源的 MongoShake 就能实现基于 oplog 的增量同步。

MongoDB compact 命令详解

为什么需要 compact 一图胜千言 remove 与 drop 的区别 MongoDB 里删除一个集合里所有文档，有两种方式 db.collection.remove({}, {multi: true})，逐个文档从 btree 里删除，最后所有文档被删除，但文件物理空间不会被回收 db.

MongoDB sharding 集合不分片性能更高？

最近云上用户用户遇到一个 sharding 集群性能问题的疑惑，比较有代表性，简单分享一下 测试配置 mongos x 2、shard x 3 测试1：集合不开启分片，批量 insert 导入数据，每个 batch 100 个文档 测试2：集合开启分片，随机生成 shardKey，chunk 已...

MongoDB 4.2 新特性解读

MongoDB World 2019 上发布新版本 MongoDB 4.2 Beta，包含分布式事务、全文检索、Wildcard 索引等多项数据库新特性，本文尝试从技术角度解读。

MongoDB killOp 案例详解

MongoDB 提供 currentOp 命令，列出当前正在执行的查询操作，并提供 killOp 命令，用于中止一些耗时比较长，影响线上业务的操作，作为一种应急手段。 下图是一个 currentOp 命令的输出项之一，用户在获取到 opid 后，调用 killOp() 并没有把这个请求干掉。

MongoDB 如何使用内存？为什么内存满了？

最近接到多个MongoDB内存方面的线上case及社区问题咨询，主要集中在: 为什么我的 MongoDB 使用了 XX GB 内存？ 一个机器上部署多个 Mongod 实例/进程，WiredTiger cache 应该如何配置？ MongoDB 是否应该使用 SWAP 空间来降低内存压力？ M.

MongoDB 4.0 事务实现解析

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储，提供三节点副本集的高可用架构，容灾切换，故障迁移完全透明化。

MongoDB 4.0 RC 版本强势登陆

SQL反模式：SQL 建模与使用指南

上周末花了几个小时刷完《SQL反模式》这本书，书里介绍了数据库应用开发者最长遇到的一些问题，虽然这本书面向的读者是使用数据库的应用开发者，但它对数据库管理员、数据库开发者同样会有启发，强烈推荐阅读。

MongoDB 无法启动，WiredTiger 如何恢复数据（二）？

InnoDB 内部实现原理解析

InnoDB 是 MySQL 的默认存储引擎，本文解析 InnoDB 的内部实现机制。

In-place update in WiredTiger

RocksDB 写入流程详解

最初的写入流程，继承自 leveldb，多个 写线程组成一个 group， leader 负责 group 的 WAL 及 memtable 的提交，提交完后唤醒所有的 follwer，向上层返回。 支持 allow_concurrent_memtable_write 选项，在1的基础上，leader 提交完 WAL 后，group 里所有线程并发写 memtable。

MongoDB 存储引擎 WiredTiger 原理解析

在团队内部分享了 Wiredtiger 引擎的原理，为此画了多张图来辅助说明，对了解 Wiredtiger 应该是非常有帮助的，内容分享出来给大家。暂时没时间整理文字版，对实现原理非常感兴趣的同学，如果PPT没讲明白，可以找我私下交流。

阿里云数据库MongoDB版正式支持3.4、RocksDB、TerarkDB存储引擎

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储，提供三节点副本集的高可用架构，容灾切换，故障迁移完全透明化。

论MongoDB索引选择的重要性

MongoDB Primary 为何持续出现 oplog 全表扫描？

线上某 MongoDB 复制集实例（包含 Primary、Secondary、Hidden 3个节点 ），Primary 节点突然 IOPS 很高，调查后发现，其中 Hidden 处于 RECOVERING 状态，同时 Priamry 上持续有一全表扫描 oplog 的操作，正是这个 oplog 的 COLLSCAN 导致IO很高。

MongoDB serverStatus.globalLock 深入解析

MongoDB的用户在遇到性能问题时，经常会关注到 serverStatus.globalLock 指标，但对指标的含义不是很明确，本文会深入解释下 globalLock 指标的含义。 PRIMARY> db.

MongoDB 哈希分片为什么数据大小不均匀？

MongoDB 哈希分片为什么数据大小？ 今天接到一个用户反馈的问题，sharding集群，使用wiredtiger引擎，某个DB下集合全部用的hash分片，show dbs 发现其中一个shard里该DB的大小，跟其他的集合差别很大，其他基本在60G左右，而这个shard在200G左右？

MongoDB World 2017 参会全记录

本文主要给大家分享上周（6.19-6.21）在芝加哥参加 MongoDB Wolrd 2017 的一些收获，MongoDB World 是 每年 MongoDB 数据库的盛会，来自全球的 MongoDB 技术爱好者聚集在一起讨论 MongoDB 产品及技术的发展情况。

MongoDB sharding chunk 分裂与迁移详解

MongoDB最佳实践及性能优化(DTCC中国数据库技术大会分享PPT)

上周五在北京DTCC分享了「32 Tips to Boost MongoDB Performance」，本文是分享的PPT以及重要内容的注解。 注解：本次分享主要「自底向上」的介绍提升 MongoDB 服务性能需要注意的问题，从硬件、操作系统、服务端一直到应用端，前面3个层次的建议主要面向DBA及运维人员，而最上层的应用开发建议主要面向开发者。

MongoDB dropdatabase 后，数据能恢复么？

最近好几个社区用户咨询，错误的执行了 dropDatabse 把数据库误删除了（或 dropCollection 误删集合），有什么方法能恢复数据？本文主要介绍几种可能有效的恢复方案。 方案1：通过备份集恢复 如果对 MongoDB 做了全量备份 + 增量备份，那么可以通过备份集及来恢复数据。

MongoDB查询优化：从 10s 到 10ms

本文是我前同事付秋雷最近遇到到一个关于MongoDB执行计划选择的问题，非常有意思，在探索源码之后，他将整个问题搞明白并整理分享出来。付秋雷(他的博客）曾是Tair（阿里内部用得非常官方的KV存储系统）的核心开发，目前就职于蘑菇街。

MongoDB CPU 利用率高，怎么破？

经常有用户咨询「MongoDB CPU 利用率很高，都快跑满了」，应该怎么办？ 遇到这个问题，99.9999% 的可能性是「用户使用上不合理导致」，本文主要介绍从应用的角度如何排查 MongoDB CPU 利用率高的问题 Step1: 分析数据库正在执行的请求 用户可以通过 Mongo Shell 连接，并执行 db.currentOp() 命令，能看到数据库当前正在执行的操作，如下是该命令的一个输出示例，标识一个正在执行的操作。

MongoDB无法启动，如何恢复数据？

近日有 MongoDB 用户遇到一个问题，使用 Wiredtiger 存储引擎的 MongoDB 无法启动，咨询我数据能否恢复回来，能恢复多少是多少 ... 问题出现的场景据用户描述是「mongod磁盘写满了，导致进程 crash」，尝试重新启动，结果 wiredtiger 报错，错误信息类似如下，类似的问题 mongodb jira 上也有人提过，可以参考 SERVER-26924，说明此时 MongoDB 数据文件已经损坏。

MongoDB journal 与 oplog，究竟谁先写入？

MongoDB journal 与 oplog，谁先写入？最近经常被人问到，本文主要科普一下 MongoDB 里 oplog 以及 journal 这两个概念。 journal journal 是 MongoDB 存储引擎层的概念，目前 MongoDB主要支持 mmapv1、wiredtiger、mongorocks 等存储引擎，都支持配置journal。

分片集群Mongos到Shard请求管理

MongoDB Sharded Cluster 原理 如果你还不了解 MongoDB Sharded cluster，可以先看文档认识一下 中文简介：MongoDB Sharded cluster架构原理 英文汇总：https://docs.mongodb.com/manual/sharding/ Mongos 到 Shard请求管理 Mongos 是 MongoDB 分片集群的访问入口，Mongos 收到 Client 访问请求，会根据从 Config Server 获取的路由表将请求转发到后端对应的 Shard 上。

MongoDB秒级备份恢复(SDCC上海站数据库核心技术与应用实战峰会分享PPT)

本文是我3月18日在CSDN举办的SDCC上分享的PPT内容，主要介绍如何对MongoDB复制集及分片集群实现任意时间点的备份恢复，猛击这里下载PDF版本

MongoDB 杭州用户会全记录（千寻位置、妈妈帮、阿里云专家等精彩分享）

MongoDB杭州用户交流会于2017年3月12日下午在阿里巴巴西溪园区举行，吸引了来自全国各地的近300名用户参与，千寻位置、妈妈帮、阿里云等公司的5位技术专家分享了MongoDB 的运维管理及使用经验，干货满满。

MongoDB 3.4 Collation 特性解析

MongoDB生态 - 社区开源工具篇

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储，提供三节点副本集的高可用架构，容灾切换，故障迁移完全透明化。

Mongo shell：最强大的 MongoDB 管理工具

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储，提供三节点副本集的高可用架构，容灾切换，故障迁移完全透明化。

MongoDB应用案例：使用 MongoDB 存储商品分类信息

mongorocks引擎原理解析

MongoDB最佳实践及问题案例分析

介绍MongoDB最佳时间以及线上问题的案例分析

MongoDB 3.2.9 请求 hang 分析及 wiredtiger 调优

MongoDB 3.2.9 版本在 wiredtiger 上做了很多改进，但不幸的时，这个版本引入了一个新的 bug，持续大量 insert/update 场景，有一定的可能导致 wiredtiger 进入 deadlock，MongoDB 官方迅速的在3.2.10里修复了该问题，该版本在 wir.

MongoDB 生态 - 可视化管理工具

工欲善其事，必先利其器，我们在使用数据库时，通常需要各种工具的支持来提高效率；很多新用户在刚接触 MongoDB 时，遇到的问题是『不知道有哪些现成的工具可以使用』，本系列文章将主要介绍 MongoDB 生态在工具、driver、可视化管理等方面的支持情况。 本文主要介绍 MongoDB 的一些可

MongoDB 生态 - 客户端 Driver 支持

工欲善其事，必先利其器，我们在使用数据库时，通常需要各种工具的支持来提高效率；很多新用户在刚接触 MongoDB 时，遇到的问题是『不知道有哪些现成的工具可以使用』，本系列文章将主要介绍 MongoDB 生态在工具、driver、可视化管理等方面的支持情况。 本文主要介绍 MongoDB 对各个语

MongoDB 生态 - 官方命令行工具

MongoDB 生态 - 官方工具篇 工欲善其事，必先利其器，我们在使用数据库时，通常需要各种工具的支持来提高效率；很多新用户在刚接触 MongoDB 时，遇到的问题是『不知道有哪些现成的工具可以使用』，本系列文章将主要介绍 MongoDB 生态在工具、driver、可视化管理等方面的支持情况。

什么场景应该用 MongoDB ？

月初在云栖社区上发起了一个 MongoDB 使用场景及运维管理问题交流探讨 的技术话题，有近5000人关注了该话题讨论，这里就 MongoDB 的使用场景做个简单的总结，谈谈什么场景该用 MongoDB? 很多人比较关心 MongoDB 的适用场景，也有用户在话题里分享了自己的业务场景，比如 案

MongoDB分布式架构演进

文章内容为2016年 PostgresSQL 中国用户会上分享内容，主要介绍 MongoDB 高可用、可扩展的分布式架构的演进过程。

MongoDB Secondary 延时高（同步锁）问题分析

背景介绍 MongoDB 复制集里 Secondary 不断从主上批量拉取 oplog，然后在本地重放，以保证数据与 Primary 一致。同步原理参考MongoDB复制集同步原理解析 Secondary 拉取到一批 oplog 后，在重放这批 oplog 时，会加一个特殊的 Lock::ParallelBatchWriterMode 的锁，这个锁会阻塞所有的读请求，直到这批 oplog 重放完成。