张友东（林青）_个人页

MongoDB Secondary 延时高（同步锁）问题分析

背景介绍 MongoDB 复制集里 Secondary 不断从主上批量拉取 oplog，然后在本地重放，以保证数据与 Primary 一致。同步原理参考MongoDB复制集同步原理解析 Secondary 拉取到一批 oplog 后，在重放这批 oplog 时，会加一个特殊的 Lock::ParallelBatchWriterMode 的锁，这个锁会阻塞所有的读请求，直到这批 oplog 重放完成。

【云栖干货】MongoDB疑难杂症分析及优化

本文主要介绍阿里云 MongoDB 数据库上客户遇到的问题，及相应的解决方案。

MongoDB sharding迁移那些事（三）

如果不了解 MongoDB Sharded Cluster 原理，请先阅读 MongoDB Sharded cluster架构原理 关于MongoDB Sharding，你应该知道的 关于 sharding 迁移，会分3个部分来介绍，本文为第三部分 负载均衡及迁移策略 chunk 迁移流程 Balancer 运维管理 在前面2个部分里，介绍了 MongoDB sharding 的迁移策略以及 chunk 迁移的步骤，本文将主要介绍如何管理 Balancer，以更好的为业务服务。

MongoDB sharding迁移那些事（二）

如果不了解 MongoDB Sharded Cluster 原理，请先阅读 MongoDB Sharded cluster架构原理 关于MongoDB Sharding，你应该知道的 关于 sharding 迁移，会分3个部分来介绍，本文为第二部分 负载均衡及迁移策略 chunk 迁移

MongoDB sharding迁移那些事（一）

如果不了解 MongoDB Sharded Cluster 原理，请先阅读 MongoDB Sharded cluster架构原理 关于MongoDB Sharding，你应该知道的 关于 sharding 迁移，会分3个部分来介绍，本文为第一部分 负载均衡及迁移策略 chunk 迁移

MongoDB readConcern 原理解析

MongoDB 可以通过 writeConcern 来定制写策略，3.2版本后又引入了 readConcern 来灵活的定制读策略。 readConcern vs readPreference MongoDB 控制读策略，还有一个 readPreference 的设置，为了避免混淆，先简单说明下

关于MongoDB Sharding，你应该知道的

MongoDB Sharded Cluster 原理 如果你还不了解 MongoDB Sharded cluster，可以先看文档认识一下 中文简介：MongoDB Sharded cluster架构原理 英文汇总：https://docs.mongodb.com/manual/shard

网络分区引发的 oplog 乱序问题

线上一个Secondary节点crash，错误原因是出现了 OplogOutOfOrder 错误，也就是说Secondary 重放了一条比『已经重放过最新的 oplog』更早的操作，经过分析，发现问题是因网络分区导致出现2个 Primary 的问题导致，详细的过程如下表分析。 说明：Node2、N

MongoDB 如何保证 oplog 顺序？

MongoDB 复制集里，主备节点间通过 oplog 来同步数据，Priamry 上写入数据时，会记录一条oplog，Secondary 从 Primary 节点拉取 oplog并重放，以保证最终存储相同的数据集。 oplog 主要特性 幂等性，每一条oplog，重放一次或多次，得到的结果是一样

为什么 MongoDB 连接数被用满了？

使用 MongoDB 时，可能会遇到因为 mongod 连接数用满了，导致客户端无法连接的问题。mongod的最大连接数通过 net.maxIncomingConnections 指定，默认值为1000000，相当于没有限制，生产环境强烈建议根据实际需求配置，以避免客户端误用导致 mongod 负.

MongoDB Sharded Cluster 路由策略

本文是对MongoDB 世界大会上『Life of a Sharded Write』主题分享的总结，这个分享很有意思，主要内容是介绍 MongoDB Sharded Cluster 里写操作的路由策略，以及config server变为复制集后面临的一些挑战。 如果不了解 Sharded Cl

MongoDB位置查询内存使用优化

MongoDB 创建大量集合测试问题

机器宕机引发的复制集心跳异常问题

MongoDB复制集同步原理解析

MongoDB副本集数据同步](https://docs.mongodb.com/manual/core/replica-set-sync/)主要包含2个步骤 intial sync，可以理解为全量同步 replication，追同步源的oplog，可以理解为增量同步 本文是对MongoDB高

大量的集合为何导致Secondary无法同步？

Secondary节点为何阻塞请求近一个小时？

看到Secondary节点上的日志，我的内心的崩溃的，鉴权请求居然耗时2977790ms（约50分钟），经详细统计，这个Secondary节点上，所有16:54之后发起的用户请求，都阻塞到17:54左右才返回，处理时间最长的请求约1个小时。 2016-06-17T17:54:57.575+0800

MongoDB复制集自适应oplog管理

MongoDB writeConcern原理解析

MongoDB支持客户端灵活配置写入策略（writeConcern），以满足不同场景的需求。 db.collection.insert({x: 1}, {writeConcern: {w: 1}}) writeConcern选项 MongoDB支持的WriteConncern选项如下 w

MongoDB云数据库常见问题诊断

重要的内容 MongoDB的主备节点在运行过程中是不固定的，实例重启、升级、节点故障等都有可能导致主备切换，在生产环境应该使用副本集的方式来正确连接MongoDB来实现高可用。 连接问题 用户可通过DMS或mongo shell连接MongoDB云数据库，以下场景都基于用户使用mongo sh

MongoDB Secondary同步慢问题分析(续)

在MongoDB Scondary同步慢问题分析文中介绍了因Primary上写入qps过大，导致Secondary节点的同步无法追上的问题，本文再分享一个case，因oplog的写入被放大，导致同步追不上的问题。 MongoDB用于同步的oplog具有一个重要的『幂等』特性，也就是说，一条oplo

MongoDB-3.2 oplog删除策略优化

MongoDB Secondary同步慢问题分析

MongoDB Scondary同步慢问题分析 问题背景 最近生产环境出现多次Primary写入QPS太高，导致Seconary的同步无法跟上的问题（Secondary上的最新oplog时间戳比Primary上最旧oplog时间戳小），使得Secondary变成RECOVERING状态，这时需要

如何通过公网访问MongoDB云数据库?

基于安全原因考虑，阿里云MongoDB云数据库目前只支持从阿里云ECS上访问，无法通过公网直接访问，不方便用户在本地开发环境里直接进行测试，本文介绍能让用户通过公网访问MongoDB云数据库的方案，切记本文的方案仅可用于测试环境，生产环境连接MongoDB云数据库请参考使用正确的姿势连接复.

Redis用户见面会在线报名

Redis用户见面会在线报名，阿里云邀请了众多Redis和数据库领域的专家一起交流；欢迎广大Redis爱好者报名，与专家面对面交流。

MongoDB索引原理

MongoDB索引原理 为什么需要索引？ 当你抱怨MongoDB集合查询效率低的时候，可能你就需要考虑使用索引了，为了方便后续介绍，先科普下MongoDB里的索引机制（同样适用于其他的数据库比如mysql）。 mongo-9552:PRIMARY> db.person.find() { "_

MongoDB Sharded cluster架构原理

为什么需要Sharded cluster？ MongoDB目前3大核心优势：『灵活模式』+ 『高可用性』 + 『可扩展性』，通过json文档来实现灵活模式，通过复制集来保证高可用，通过Sharded cluster来保证可扩展性。 当MongoDB复制集遇到下面的业务场景时，你就需要考虑使用Sh

MongoDB原理：复制集状态同步机制

MongoDB管理: 如何让mongod产生core文件？

3.0+版本的mongod捕获了SIGSEGV信号，打印当前的执行堆栈，然后退出。 // src/mongo/util/signal_handlers_synchronous.cpp struct sigaction addrSignals; memset(&addrSignals, 0, s

MongoDB管理：如何优雅的重启复制集？

啊！你还不了解MongoDB复制集？先看这里科普一下 复制集的成员启动后，会选举出一个Primary，Primary需要得到大多数成员的投票。所有的写入操作都必须向Primary发起，通过oplog将写操作同步到Secondary。 在复制集运行的过程中，难免会遇到需要重启节点的场景，比如复

MongoDB Driver：使用正确的姿势连接复制集

MongoDB复制集（Replica Set）通过存储多份数据副本来保证数据的高可靠，通过自动的主备切换机制来保证服务的高可用。**但需要注意的时，连接副本集的姿势如果不对，服务高可用将不复存在。** 使用复制集时你需要知道的 MongoDB复制集里Primary节点是不固定的，当遇到复制集

MongoDB管理：副本集创建集合时慎用{autoIndexId: false}选项

MongoDB管理：如何重命名数据库

MongoDB管理：慎用local、admin数据库

MongoDB副本集默认会创建local、admin数据库，local数据库主要存储副本集的元数据，admin数据库则主要存储MongoDB的用户、角色等信息。 慎用local数据库 local数据库，从名字可以看出，它只会在本地存储数据，即local数据库里的内容不会同步到副本集里其他节点上去

MongoDB管理: 使用killOp干掉Long Running Operation

MongoDB提供了killOp请求，用于干掉运行时间很长的请求，killOp通常需要与currentOp组合起来使用；先根据currentOp查询到请求的opid，然后根据opid发送killOp的请求。 currentOp currentOp的使用，参考官方文档 currentOp会将后端

MongoDB Wiredtiger存储引擎实现原理

Mongodb Wiredtiger存储引擎实现原理 Mongodb-3.2已经WiredTiger设置为了默认的存储引擎，最近通过阅读wiredtiger源代码（在不了解其内部实现的情况下，读代码难度相当大，代码量太大，强烈建议官方多出些介绍文章），理清了wiredtiger的大致原理，并简单总

MongoDB如何使用wiredTiger？

Mongodb 3.0支持用户自定义存储引擎，用户可配置使用mmapv1或者wiredTiger存储引擎，本文主要介绍Mongodb是如何使用wiredTiger数据库作为底层的数据存储层。目前还没有读过wiredTiger的源码，本文的内容都是基于wiredTiger官方文档，以及Mongodb.

MongoDB复制集原理

复制集简介 Mongodb复制集由一组Mongod实例（进程）组成，包含一个Primary节点和多个Secondary节点，Mongodb Driver（客户端）的所有数据都写入Primary，Secondary从Primary同步写入的数据，以保持复制集内所有成员存储相同的数据集，提供数据的高可

MongoDB权限管理代码分析

本文主要介绍Mongodb RBAC（role based access control）权限管理机制，其核心是给每个用户赋予一定的权限，用户连接mongodb前需先验证，验证通过后即拥有用户的权限，权限决定了用户在某一组资源（如某个DB、某个特定集合）上可以执行哪些操作（比如增删改查、建索引）。.

MongoDB请求处理流程

Mongodb多存储引擎支持机制介绍了Mongodb存储层创建数据库、创建集合、插入文档等数据库操作接口，本文将介绍mongodb处理客户端请求的模型。 Mongod在启动时会调用createServer创建一个PortMessageServer对象，其继承MessageServer和List

MongoDB多存储引擎支持机制

Mongodb mmapv1存储引擎解析中介绍了Mongodb默认的mmapv1引擎的实现机制，在Mongodb 3.0版本中，引入了WiredTiger存储引擎，同时还有实验版本的In-memory引擎、rocks引擎，本文将介绍Mongodb是如何支持多存储引擎的。 DatabaseH

MongoDB mmapv1存储引擎解析

mongodb的mongod服务管理一个数据目录，可包含多个DB，每个DB的数据单独组织，本文主要介绍mmapv1存储引擎的数据组织方式。 Database 每个Database(DB)由一个.ns文件及若干个数据文件组成 $ll mydb.* -rw------- 1 ydzhang

redis debug命令详解

redis lua原理分析

redis slaveof自己会发生什么

Redis主备同步

Redis数据结构