搬家与流式处理

简介:

这两天搬家,身体很劳累,脑子算是没闲着。在把货物搬上楼的过程中,我琢磨了个自认为很高效的方法,本质和流式处理很像。

需求与尝试

一车货物,零零散散打了些包,停在楼下,需要搬到五楼去。劳力有三人。一开始的方案是每个人自己拿几样东西,自管自上楼去,再下楼来拿下一趟。搬了几趟后,有以下一些问题:
1. 搬运过程中,累的不是手臂,而是脚。光爬几次五楼,腿已经先受不了了。
2. 过程中为了方便,楼下车不锁,楼上门不关,这是潜在的一种风险因子。
3. 每个人在车上和楼上分别会花些时间整理货物,前者是为了携带,后者是为了摆放

流式方案

我给出的搬运方案其实也很简单,一个人负责把货物从车上运下来搬到一楼门口,另一个人负责把一楼的货物搬到三楼,另一个人负责把三楼的货物搬到五楼。实践了近二十次,效率比之前高很多,疲劳程度也有所减少。

分析

这个方案里有几个很明显的优势:
1. 一个人专门选择合适(体积和重量)的货物打包,后两人不必整顿零散的包裹
2. 每一个人搬运不超过两层,搬完后走下楼是一段喘息的时机,减缓爬楼梯的疲惫
3. 爬楼梯的人互相可以”照顾”,即爬五楼的如果动作快可以下到二楼去取货,爬三楼的有余力可以把货物放三楼半上让五楼的少走一段
4. 楼下车不用锁,一楼的人在更短时间内可以折返;楼上门不用关,五楼的人在很短时间内可以回去,并花部分时间整顿包裹
5. 有一个人不用爬楼梯,且三人不用走多余的趟次,从下往上顺序结束自己的任务

本质上这种搬运方式就是流水线,每个人各司其职,让每一堆货物从车搬上楼的延时最低,同时,把人看做计算资源的话,爬楼梯和下楼梯是两类处理任务,类似前半段是CPU密集型的,后半段CPU使用率不高,只有一些IO开销,所以人不会感觉太累。

这种方式还有几个别的优势。它有一种类似”背压”的机制:上层的人搬运的快慢可由下层的人感知,从而调节自身的搬运速度,从而影响整体延时。还有一点是计算单元之间存在控制消息:一个人告诉其他人”最后一趟了”或者”这趟好重”,其他人可以对应做出调节。最后一点,三个人的总体能是共享的:像我之前说的,搬得快的人可以为慢的人多分担一些楼梯步数,在每一趟货物的运输过程中互相帮助,整体的资源利用率可以达到比较优。

目录
相关文章
|
6月前
|
OLAP
云端问道5期-基于Hologres轻量高性能OLAP分析陪跑班获奖名单公布啦!
云端问道5期-基于Hologres轻量高性能OLAP分析陪跑班获奖名单公布啦!
447 3
|
7月前
|
运维 数据格式
实时数据同步的守护者:脏数据下载查看功能重磅上线
在复杂的数据同步过程中,难免会因为各种原因产生一些不准确、不完整或格式错误的脏数据。如果不能及时识别和处理这些脏数据,将可能影响数据的一致性和后续的业务分析。
105 5
|
8月前
|
SQL 关系型数据库 数据库
实时计算 Flink版产品使用问题之如何同步一个数据库的数据转换到另一个库
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
9月前
|
关系型数据库 MySQL OLAP
免费!数据传输服务DTS助您零成本畅享ClickHouse和SelectDB的疾速数据集成之旅!
DTS震撼发布全新数据目标支持:即刻连接 RDS MySQL 至 Clickhouse或 SelectDB,实现数据实时同步的无缝飞跃!现可立享一个月内免费体验,立即了解!
|
9月前
|
消息中间件 关系型数据库 Kafka
实时计算 Flink版产品使用合集之使用DTS从RDSMySQL数据库同步数据到云Kafka,增量同步数据延迟时间超过1秒。如何诊断问题并降低延迟
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
9月前
|
Oracle 关系型数据库 数据库
实时计算 Flink版产品使用合集之采集Oracle数据库时,归档日志大小暴增的原因是什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
SQL 安全 Cloud Native
用NineData三分钟搭建企业数据库安全访问平台,告别数据泄露与删库跑路
面对数据安全挑战,玖章算术公司研发了新一代云原生数据管理平台NineData,系统采用最新的云原生+AIGC技术,支持对内部员工和外部ISV伙伴做细粒度的数据库权限配置和操作审计,提供灵活的生产数据库操作自动化审批流程,内置了数百个数据库安全操作规范和敏感数据保护能力,可以帮助企业规避低级误操作,降低数据泄露和删库跑路的隐患。
657 1
|
canal SQL 弹性计算
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
|
数据采集 分布式计算 关系型数据库
大数据数据采集的数据迁移(同步/传输)的Sqoop之下载和配置安装
在大数据领域中,Sqoop是一款非常流行的数据迁移工具。它可以将关系型数据库中的数据快速移动到Hadoop生态系统中,方便我们进行更深入的分析和处理。本文将介绍如何下载和配置安装Sqoop,希望能够为大家提供一些帮助。
246 0
|
存储 分布式计算 大数据
Hologres X TapTap,毫秒级实时在线推荐
本文将会介绍TapTap基于Hologres在实时推荐场景的最佳实践。
1873 0
Hologres X TapTap,毫秒级实时在线推荐