面向流的设计思想

简介: 面向流的设计思想

特别说明:本文包含大量代码片段,若要获得更好阅读观感,请点击文末“阅读原文”或访问我的博客。

响应式编程(Reactive Programming)的本质是异步非阻塞的高响应式处理,最核心思想则为Everything is stream,即针对流进行处理,这是其根本。从这个角度讲,我们可以将响应式编程的设计思想视为Stream-Oriented Design,即面向流的设计。

正如面向对象设计以对象为基本设计要素,函数式编程思想以函数为基本设计要素,响应式编程则应该以流为基本设计要素。这带来设计思想上根本的变化,包括:

  • 以流作为建模的元素
  • 流存在松耦合的上下游关系
  • 以流为重用的单位
  • 对流进行转换、运算、合并与拆

在Rx框架中,一个流就是一个Observable或者Flowable。例如我们要统计网页的字数,则流的源头就是对网页内容的获取,而流就是Observable<String>类型的网页内容。至于统计操作,则需要经历分词、字数统计两个阶段,则可以视为是对流的转换与运算操作:

Flowable.fromFuture(pageContent)
    .flatMap(content -> Flowable.fromArray(s.split(" ")))
    .map(w -> new Pair<>(w, 1))
    .groupBy(Pair::getKey);

由于Rx框架提供了诸如merge、combineLatest、zip等操作符来完成多个流之间的组合,我们就可以分别建立各自的流,然后再利用这些操作符对其进行合并,或者反其道而行之。这样就能尽可能地分解出诸多原子的可重用的流。例如,针对UI的click操作以及response响应,我们就可以分别建立两个流,然后利用combineLatest进行组合。无论哪个流发射了数据,它都会将这两个流最近发射的数据组合起来,并按照指定的函数进行运算。

Akka Stream提出来的Graph更能体现流作为建模元素的思想。只要规划好我们的流程,思考组成这些流程的步骤的输入和输出,就可以分别将这些步骤分别建模为Source、Sink、Flow以及Fan-in、Fan-out和BidiFlow,如下图所示:

image.png

例如针对银行交易业务,如果我们需要执行如下流程:

  • 根据给定的账户编号获得所有的账户
  • 根据账户同时获得所有的银行交易(BackingTransaction)和结算交易(SettlementTransaction)
  • 获得这些交易后对交易进行验证
  • 验证后的数据分别用于用于审计和计算净值

我们对该流程进行领域建模时,实则可以绘制一个可以表达Akka Streams中Graph的可视化图:

image.png

通过这样的可视化图,我们就可以针对这些图中的节点建模为Akka Streams中的Graph Shape。至于流的广播与合并,则对应着框架的Broadcast Fan-out与Merge Fan-In。除了入口的accountNos是Source,以及用于最后的审计与净值计算作为Sink外,其余节点都是Flow类型。实现代码如下:

val graph = RunnableGraph.fromGraph(GraphDSL.create(netTxnSink) { implicit b => ms =>
    import GraphDSL.Implicits._
    val accountBroadcast = b.add(Broadcast[Account](2))
    val txnBroadcast = b.add(Broadcast[Transaction](2))
    val merge = b.add(Merge[Transaction](2))
    val accounts = Flow[String].map(queryAccount(_, AccountRepository))
    val bankingTxns = Flow[Account].mapConcat(getBankingTransactions)
    val settlementTxns = Flow[Account].mapConcat(getSettlementTransactions)
    val validation = Flow[Transaction].map(validate)
    accountNos ~> accounts ~> accountBroadcast ~> bankingTxns ~> merge ~> validation ~> txnBroadcast ~> ms
                              accountBroadcast ~> settlementTxns ~> merge
    txnBroadcast ~> audit
    ClosedShape
  })

Scala语言由于提供了操作符重载,隐式转换等语法糖,在语言的表现能力更符合DSL的语义。例如代码中的~>符号非常清晰地表达出了数据流动的方向,流经什么样的节点。最关键的是,这些Flow定义彼此之间并没有强耦合关系,只要保证传输的数据是正确的,就可以利用组合操作符将Flow与Flow连接起来。这样的Flow同样是Lazy的,可以很好地得到高效重用。

因此,使用响应式编程,需得围绕“流”为中心进行设计思考,并将其作为一个非常重要的重用元素进行组合。这也就是我所谓的面向流设计(Stream-Oriented Design)的想法来源。

相关文章
|
存储 C语言 C++
66 C++ - 流的概念和流类库的结构
66 C++ - 流的概念和流类库的结构
96 0
|
8月前
|
算法 Java 数据处理
Java算法模板 数据流快读
Java算法模板 数据流快读
60 2
|
9月前
|
存储 分布式计算 网络协议
流知识超详细总结!一文搞懂!
流知识超详细总结!一文搞懂!
64 5
流知识超详细总结!一文搞懂!
|
9月前
|
存储 Kubernetes 负载均衡
k8s 数据流向 与 核心概念详细介绍
k8s 数据流向 与 核心概念详细介绍
|
Linux
44 # 流的原理
44 # 流的原理
71 0
|
9月前
|
消息中间件 存储 监控
【ZeroMQ的SUB视角】深入探讨订阅者模式、C++编程实践与底层机制
【ZeroMQ的SUB视角】深入探讨订阅者模式、C++编程实践与底层机制
941 1
|
9月前
|
Unix Linux 测试技术
C++封装详解——从原理到实践
C++封装详解——从原理到实践
406 0
|
消息中间件 缓存 供应链
“消息驱动、事件驱动、流 ”基础概念解析
本文旨在帮助大家对近期消息领域的高频词“消息驱动(Message-Driven),事件驱动(Event-Driven)和流(Streaming)”有更清晰的了解和认知,其中事件驱动 EDA 作为 Gartner 预测的十大技术趋势之一, EventBridge 作为下一代消息中间件,也是目前的重点方向之一。
340 0
“消息驱动、事件驱动、流 ”基础概念解析
Netty如何实现高效且万能的解码器?(中)
Netty如何实现高效且万能的解码器?
180 0
Netty如何实现高效且万能的解码器?(中)
|
数据格式
Netty如何实现高效且万能的解码器?(上)
Netty如何实现高效且万能的解码器?
188 0
Netty如何实现高效且万能的解码器?(上)