中间件

消息中间件核心实体（0） 最近两周在做的一个新项目，一个主从复制的组件，这两天刚跑通测试。 从之前讨论的架构来说，消息中间件也是有主从复制这个模块的，像Rocket就支持主从模式。 在做这个项目之前已经写过两个版本的主从复制模块，基本思路是： Slave主动和Master建立链接 Sla...

总架构理解Middleware 通过scrapy官网最新的架构图来理解： 这个图较之前的图顺序更加清晰，从图中我们可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之间都可以设置中间件，两者是双向的，并且是可以设置多层. 关于Downloader Middleware我在http://www.cnblogs.com/zhaof/p/7198407.html   这篇博客中已经写了详细的使用介绍。

7月27日，云栖社区、阿里中间件举办了首届阿里巴巴中间件技术峰会，揭秘阿里10年分布式技术干货。在首届阿里巴巴中间件技术峰会上，阿里巴巴中间件技术专家焦方飞为大家分享阿里巴巴海量数据场景下的OLAP解决方案，此外还对阿里新推出的高性能时序数据库进行了简单介绍，精彩不容错过。

前言 接上一篇的《业务方对消息中间件的需求》，在可用性和可靠性的基础上，讨论各种架构的优缺点，最后给出自己关于消息中间件的架构思考。 Kafka 首先还是来看Kafka的系统架构（做消息中间件逃不开要去了解Kafka）。

接上一篇的《什么是分布式消息中间件？》，这一篇来介绍一下消息中间件相关的一些概念和专业术语。   Topic 主题，从逻辑上讲一个Topic就是一个Queue，即一个队列；从存储上讲，一个Topic存储了一类相同的消息，是一类消息的集合。

在云环境中，应用发布与管理会变得十分复杂。本地开发完成的应用需要登录到每一台服务器进行发布和部署；后续还会有应用的重启，扩容等。服务器的不断增加对于运维人员将是一个极大的挑战。同时，当应用开发完毕部署到生产环境之后，通常需要对应用运行状态进行一些监控，比如 CPU 使用率、机器负载、内存使用率和网路流量等。

本次挑战赛的主题为“挑战双十一万亿级消息引擎”，比赛场景当然离不开大家最熟悉的阿里双11，海量业务场景下的技术需求模拟，赛题本身具有非常强的实战意义。本次内部赛题目主要解决的是NewSQL领域中使用最频繁的一个场景--分页排序，其对应的SQL执行为order by id limit k,n。

米斯特白帽培训讲义 漏洞篇 Web 中间件 讲师：gh0stkey 整理：飞龙 协议：CC BY-NC-SA 4.0 简介 中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。

淘宝根据自身业务需求研发了TDDL（Taobao Distributed Data Layer）框架，主要用于解决分库分表场景下的访问路由（持久层与数据访问层的配合）以及异构数据库之间的数据同步，它是一个基于集中式配置的JDBC DataSource实现，具有分库分表、Master/Salve、动态数据源配置等功能。

摄像头输入： Video: h264 (Main), yuvj420p, 640x480 [SAR 1:1 DAR 4:3], 25 fps, 25 tbr, 90k tbn, 50 tbc Audio: pcm_alaw, 8000 Hz, mono, s16, 64 kb/s   摄像头ffm...

中间件简介 django 中的中间件（middleware），在django中，中间件其实就是一个类，在请求到来和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法。 在django项目的settings模块中，有一个 MIDDLEWARE_CLASSES 变量，其中每一个...

阿里中间件或许正在发起“第二次去IOE”行动......

一：什么是Qpid？--->Qpid 是 Apache 开发的一款面向对象的消息中间件，它是一个 AMQP 的实现，可以和其他符合 AMQP 协议的系统进行通信。--->Qpid 提供了 C++/Python/Java/C# 等主流编程语言的客户端库，安装使用非常方便。

本篇文章主要描述了如何配置Spring-JMS，至于为何这样配置及Spring-JMS相关介绍，请阅读这篇文章：Spring整合JMS(消息中间件)。我们这里的消息broker用的是ActiveMQ。 一、相关配置 本篇主要讲解如何在Spring中配置JMS，关于Spring本身的配置本文就不多做介绍了。 1.1 配置maven依赖 在使用Spring-JMS之前，先

本篇文章主要描述了如何配置Spring-JMS，至于为何这样配置及Spring-JMS相关介绍，请阅读这篇文章：Spring整合JMS(消息中间件)。我们这里的消息broker用的是ActiveMQ。 一、相关配置 本篇主要讲解如何在Spring中配置JMS，关于Spring本身的配置本文就不多做介绍了。 1.1 配置maven依赖 在使用Spring-JMS之前，先

本篇主要介绍了异步消息机制及Spring对JMS封装，本篇文章讲解较为详细，如果想直接看如何配置，可以参考： Spring整合JMS(消息中间件)实例，但还是建议大家先看完本篇文章。 一、消息异步处理 类似于RMI、Hessian、Burlap等远程方法调用，它们都是同步的，所谓同步调用就是客户端必须等待操作完成，如果远程服务没有返回任何响应，客户端会一直等待直到服务完成

［一］任务队列的好处 --->松耦合：生产者和消费者无需知道彼此实现的细节，只需要约定好任务的描述格式。这使得生产者和消费者可以由不同的团队使用不同的编程语言编写。 --->易于扩展：消费者可以有多个，而且可以分布在不同的机器。

由阿里中间件与天池平台联合举办的“阿里中间件性能挑战赛”，大赛不仅为选手们开放双十一实时交易真实场景，还提供了丰厚奖金、诱人激励，欢迎社会人才加入挑战。大赛主要考察选手的网络编程能力和性能调优能力。我们希望通过大赛吸引和沉淀优秀的编程高手，加强内外部技术人员的交流与碰撞，并让技术发声。

继《如何设计开发一个可用的web容器》之后又一如何系列文章，《如何设计一个数据库中间件》 ==========广告时间========== 鄙人的新书《Tomcat内核设计剖析》已经在京东预售了，有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。

Spark是一个由加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持.

Spark是一个小巧玲珑的项目，由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，充分体现了精简之美。 Spark之依赖 （1）Map Reduce模型 作为一个分布式计算框架，Spark采用了MapReduce

受害人口述悲惨的遭遇—— 1、最近一段时间（更换了预发机器后）我负责的一个应用的预发环境(线上稳定得像个婴儿~)特别不稳定，最先是应用频频的过几天就发现提供的接口不工作了，但容器Jetty还在跑得欢，于是jstack/jmap看，发现没有一个线程在跑我的war包中的程序，但是容器里个中间件的sar

BufferedInputStream是一个带有内存缓冲的InputStream. BufferedInputStream是继承自FilterInputStream。 FilterInputStream继承自InputStream属于输入流中的链接流，同时引用了InputStream，将In

了解完Apach MINA的一些基本概念Apache MINA (1) 简介 ，开始进入MINA相关的代码学习，以一个简单HelloWorld程序开始，完成客户端与服务端之间的通讯。 准备工作： org.apache.mina 版本4.0 org.slf4j 1.6.1 （Simple

当大家都在关注搜索的速度的时候，往往伴随业务的快速发展，数据服务质量成为了实时搜索或者垂直搜索中的新问题。实时搜索和垂直搜索是不一样的问题，下面的问题就是垂直场景下得实时搜索问题。也可以理解垂直搜索都不实时，其他的实时先排队吧。问题比较抽象，只谈总体上的现象，对于具体如何解绝问题的细节，不做说明。.

在分布式环境开发中经常会使用socket，或者使用rmi来对外提供服务，常用的办法是将写一个java代码，然后部署到服务器上，但是问题来了。如何将这个服务成为一个可靠的系统服务，不会应为风吹草动就挂了，那就不好了。 所以想到使用apache commons 下面的daemon框架来充当守护进程。首

单维度聚合分析，主要解决类似以下场景的问题 (1)同一个用户搜索输入关键词 (2)某个时间段内搜索词排行榜 (3)某些关键词联合出现情况 (4)IP位置 维度下的关键词聚合情况 (5)其他任何参与搜索的单维度搜索请求统计 (6)平均命中率、hits=0、查询平均响应时间 ......

前段时间，夜晚突然收到报警，紧急上线排查。由于dba操作不当，大片数据回滚，发生锁表的情况，请求返回时间过长，使得系统打印出大量的RejectedExecutionException的异常。定位到代码片段类似： Java代码 ThreadPoolExecutor workers = 

Worker模式 想解决的问题 异步执行一些任务，有返回或无返回结果 使用动机 有些时候想执行一些异步任务，如异步网络通信、daemon任务，但又不想去管理这任务的生命周。这个时候可以使用Worker模式，它会帮您管理与执行任务，并能非常方便地获取结果 结构 很多

Solrflux 开源code google 地址 http://code.google.com/p/solrflux/ 1.Solrflux 概述    Solrflux 主要工作是完成 Sql 语法到solr语法的转换，并执行查询，保存结果。    当前solrflux已经停止更新了，

     在分布式环境当中使用erlang语言来构建底层应用，利用erlang的简洁的脚本语言可以简化代码的复杂度，并且还能很大程度地提高系统的容错性和稳定性。 erlang固然有他的优势，但是，它在开源社区开发人员的活跃性远远不及java社区，在java社区中，在分布式场景中使用的中间件，比如，

1. GC的选择  4core、8g memory 首选cms，cms的各参数的调节需要观察。 2. swap配置   性能优先，建议关掉。关掉的代价需要评估。关掉之后buffer/cache等变化需要观察！ 3. newSize maxnewsize 尽量小 并且值相同，PermSize

下面的内容包括概念都是个人想到的，不专业或者不规范请知晓。理解意义就行。   1.为什么是facet 搜索与推荐本来是不分家的，搜索没有推荐就是存储了，有推荐的搜索才是真正的搜索，才体现搜索的“情感”(query解析、排序、页面展示)、搜索引擎的“难点”（用户意图理解、最有价值信息、最友好交互

淘宝系统依赖关系比较复杂。A系统依赖B系统资源，当B系统发生故障的时候，A系统势必会被拖累，导致A系统也发生故障                                  图：[ A]--依赖-->[B] 这里的依赖要区分两种情况 1、A强依赖于B     任何强依赖都要尽可能的转化

弱依赖“并发请求数阀值”这个值设置多少合适？     “并发请求数阀值”在大部分情况下可以理解为同时工作的线程数阀值，这个值不是越大越好，也不是越小越好，而是在最高QPS输出的情况下这个值越小越好。这个也是系统性能优化的一个方向，高QPS，少线程。     线程它是驱动业务逻辑执行的载体，在执行

solr调优步骤参考这篇blog主要以实践出发，从顶到底，从大到细的思路来进一步描述，solr优化，并且是基于横向发展来说的（管理更多core），对于纵向的（core内部、搜索核心技术）。 例如分词、queryparse、分词、实时、分布式的优化、排序等偏轻！ 文章有不合理，或者错误的请及时反馈

--------Dynamo and Cassandra ---------- 这两套系统，其实是同源的，我其实不是很愿意来说这两套系统，因为他们用的技术比较学术化，所以比较复杂一些。。Anyway ,I'll try my best !   提到这两个系统，他们在核心思路上是非常类似的，但有