生信分析场景下,如何将 BLAST 作业计算成本降低 91%

简介: Memory Machine Cloud 能够有效的为应用自动更换云主机实例,无需始终按照最高需求来设置固定的云主机类型。

客户名称:宏序生物

所属行业:医疗

客户简介:致力于在临床医学、生命健康提供一站式、全方位服务和系统解决方案。

宏序生物面临的挑战

宏序生物生信团队使用的主要计算分析工具之一是 BLAST,可将输入的核酸或蛋白质序列与数据库中的已知序列进行比对,获得序列相似度等信息。为实现IT资源的弹性伸缩和优化管理,宏序生物的大多数 BLAST 都已经在云服务器上运行。BLAST 工作负载在运行过程中并不会保持一直占用固定的算力资源比例,所需的云资源需求随时波动变化,包括 "高峰"和“低谷”的用量需求。

应对这种业务上的起伏波动,最简单粗放的解决方案是以业务最高峰时的云资源用量来匹配对应的云主机实例,这种方式本质上是一种不顾成本的过度配置。

举个例子,在BLAST 运行过程中的云主机实例按照最高业务压力时刻的配置为 32 个 vCPU 和 64GB 云内存,此时任务可以在 11 小时 44 分钟内完成,成本高达 17.22 美元。而如果考虑成本节省改为较低配置(按照各个时刻的资源消耗的平均值),可以将云主机实例成本降低到 12.63 美元,便宜 27%。但是带来的代价则是性能下降,低配置云主机实例会导致运行时间增加了 53%,达到 18 小时 4 分钟。

另一方面,如果客户为了节省成本而选择 Spot 云主机实例,在 Spot 云主机实例中运行 BLAST 可以显著降低成本,但也同样存在问题,如果发生 Spot 实例被回收,将停止作业,需要从头开始运行,影响整体生产效率。

MemVerge提供的解决方案

Memory Machine Cloud 的 WaveRider 功能,能够在应用运行时,根据当前的云主机业务压力,有效的为应用自动更换云主机实例,因此可以有效解决 "高峰" 时对于云资源的弹性需求,无需始终按照最高需求来设置固定的云主机类型。

MemVerge 的 SpotSurfer 技术使得长时间运行的 BLAST 在 Spot 云主机实例上安全运行成为可能,因为它们可以在 Spot 云主机实例被回收时,将应用运行时刻的状态保护起来,并迁移到新的实例中继续运行。

下图显示了 WaveRider 如何使宏序生物的 BLAST 工作负载能够根据业务压力来自动调整云主机实例类型。

云主机实例之间的变更和业务迁移是完全自动化的,不需要用户干预。自动化的相关策略(如设置限制最大云主机规格,设置变更时的步长等等)用户可以通过 Memory Machine Cloud 的 CLI 工具或者基于 Web 的 GUI 图形来设置。因此,这使得宏序生物团队可以根据需要自行调整 WaveRider 迁移规则以持续优化成本和性能。

WaveRider 功能为用户的那些起伏波动的业务,在性能和成本之间提供了完美的平衡,与高规格的云主机类型选项(32vCPU,32GB RAM)相比,成本降低了 93%,但执行时间几乎相同,为 12 小时 23 分钟 vs 11 小时 44 分钟。对于每天在云中运行 1,000 个 BLAST 应用程序的企业来说,使用 Memory Machine Cloud的 WaveRider 功能可以节省每天 16,065 美元,年度节省 4,173,000 美元。

以上产品已上架云市场,Get宏旭生物同款体验,30天免费试用中。

相关文章
|
JavaScript 前端开发 程序员
node.js这些常用命令,你都会了吗?
本文介绍了Node.js和npm的常用命令。在npm方面,包括安装、卸载、更新包,初始化项目,运行脚本等;在Node.js方面,涉及运行JavaScript文件、启用调试模式和查看版本信息等。掌握这些基础命令对于日常开发至关重要。
|
存储 缓存 固态存储
HBase 性能调优第一弹:内存篇
这是使用 HBase 最不可避免的一个话题,就是 HBase 的性能调优,而且通常建立在我们对 HBase 内部运行机制比较了解的基础上进行的,因此无论怎么说,调优这块都是一个相对复杂的事情。这一篇我们先来介绍与 HBase 内存最相关的调优内容。 1. 合理配置 JVM 内存 这里首先涉及 HBase 服务的堆内存设置。一般刚部署的 HBase 集群,默认配置只给 Master 和 RegionServer 分配了 1G 的内存,RegionServer 中 MemStore 默认占 0.4 即 400MB 左右的空间,而一个 MemStore 刷写阈值默认 128M,所以一个 Regi
1248 0
|
数据库 数据安全/隐私保护 Windows
|
4月前
|
SQL 安全 前端开发
如何开发一套EHS健康安全环境管理系统中的绩效管理板块?(附架构图+流程图+代码参考)
本文探讨了如何将EHS(环境、健康与安全)工作转化为可量化、可持续改进的绩效管理体系。许多企业将EHS视为被动合规任务,但通过绩效管理,可将其升级为驱动企业长期价值的工具。文章详细介绍了EHS绩效管理的核心模块、系统架构设计、数据模型、评分算法、前端展示、开发技巧及落地建议,涵盖了从业务流程设计到技术实现的完整路径。同时,还提供了业务指标定义、规则引擎配置、数据采集与分析、可视化看板展示等内容,并结合示例代码与架构图,帮助开发者与管理者理解如何构建一个闭环的EHS绩效管理系统。
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
1824 4
|
安全 程序员 编译器
【实战经验】17个C++编程常见错误及其解决方案
想必不少程序员都有类似的经历:辛苦敲完项目代码,内心满是对作品品质的自信,然而当静态扫描工具登场时,却揭示出诸多隐藏的警告问题。为了让自己的编程之路更加顺畅,也为了持续精进技艺,我想借此机会汇总分享那些常被我们无意间忽视却又导致警告的编程小细节,以此作为对未来的自我警示和提升。
1353 95
|
XML 前端开发 小程序
用Prompt技巧激发无限创意
本文深入探讨当前最前沿的prompt engineering方案,结合OpenAI、Anthropic和Google等大模型公司的资料,以及开源社区中宝贵的prompt技巧分享,全面解析这一领域的实践策略。
620 13
|
机器学习/深度学习 并行计算 数据可视化
[transformer]论文实现:Attention Is All You Need(下)
[transformer]论文实现:Attention Is All You Need(下)
373 2
|
Java Python
Java调用Python脚本
Java调用Python脚本
292 0
|
C语言 C++ Linux
查看gcc/g++默认include路径
转自:http://gcc.gnu.org/ml/gcc-help/2007-09/msg00205.html   `gcc -print-prog-name=cc1plus` -v `g++ -print-prog-name=cc1plus` -v   例如,CentOS 6.
2163 0

热门文章

最新文章