生信分析场景下,如何将 BLAST 作业计算成本降低 91%

简介: Memory Machine Cloud 能够有效的为应用自动更换云主机实例,无需始终按照最高需求来设置固定的云主机类型。

客户名称:宏序生物
所属行业:医疗
客户简介:致力于在临床医学、生命健康提供一站式、全方位服务和系统解决方案。

宏序生物面临的挑战

宏序生物生信团队使用的主要计算分析工具之一是 BLAST,可将输入的核酸或蛋白质序列与数据库中的已知序列进行比对,获得序列相似度等信息。为实现IT资源的弹性伸缩和优化管理,宏序生物的大多数 BLAST 都已经在云服务器上运行。BLAST 工作负载在运行过程中并不会保持一直占用固定的算力资源比例,所需的云资源需求随时波动变化,包括 "高峰"和“低谷”的用量需求。
图片 1.png

应对这种业务上的起伏波动,最简单粗放的解决方案是以业务最高峰时的云资源用量来匹配对应的云主机实例,这种方式本质上是一种不顾成本的过度配置。

举个例子,在BLAST 运行过程中的云主机实例按照最高业务压力时刻的配置为 32 个 vCPU 和 64GB 云内存,此时任务可以在 11 小时 44 分钟内完成,成本高达 17.22 美元。而如果考虑成本节省改为较低配置(按照各个时刻的资源消耗的平均值),可以将云主机实例成本降低到 12.63 美元,便宜 27%。但是带来的代价则是性能下降,低配置云主机实例会导致运行时间增加了 53%,达到 18 小时 4 分钟。

另一方面,如果客户为了节省成本而选择 Spot 云主机实例,在 Spot 云主机实例中运行 BLAST 可以显著降低成本,但也同样存在问题,如果发生 Spot 实例被回收,将停止作业,需要从头开始运行,影响整体生产效率。

MemVerge提供的解决方案

Memory Machine Cloud 的 WaveRider 功能,能够在应用运行时,根据当前的云主机业务压力,有效的为应用自动更换云主机实例,因此可以有效解决 "高峰" 时对于云资源的弹性需求,无需始终按照最高需求来设置固定的云主机类型。

MemVerge 的 SpotSurfer 技术使得长时间运行的 BLAST 在 Spot 云主机实例上安全运行成为可能,因为它们可以在 Spot 云主机实例被回收时,将应用运行时刻的状态保护起来,并迁移到新的实例中继续运行。

下图显示了 WaveRider 如何使宏序生物的 BLAST 工作负载能够根据业务压力来自动调整云主机实例类型。

图片 2.png

云主机实例之间的变更和业务迁移是完全自动化的,不需要用户干预。自动化的相关策略(如设置限制最大云主机规格,设置变更时的步长等等)用户可以通过 Memory Machine Cloud 的 CLI 工具或者基于 Web 的 GUI 图形来设置。因此,这使得宏序生物团队可以根据需要自行调整 WaveRider 迁移规则以持续优化成本和性能。

图片 3.png

WaveRider 功能为用户的那些起伏波动的业务,在性能和成本之间提供了完美的平衡,与高规格的云主机类型选项(32vCPU,32GB RAM)相比,成本降低了 93%,但执行时间几乎相同,为 12 小时 23 分钟 vs 11 小时 44 分钟。对于每天在云中运行 1,000 个 BLAST 应用程序的企业来说,使用 Memory Machine Cloud的 WaveRider 功能可以节省每天 16,065 美元,年度节省 4,173,000 美元。

以上产品已上架云市场,Get宏旭生物同款体验,30天免费试用中。

目录
相关文章
|
Unix 关系型数据库 MySQL
|
8月前
|
存储 弹性计算 缓存
企业级云服务器租用一年需要多少预算?199元2核4G5M带宽阿里云u1实例评测
阿里云企业用户专享,仅需199元/年即可租用ECS通用算力型u1实例(2核4G、5M带宽、80G云盘),适用于中小企业官网、电商展示、数据分析等场景。支持多地域部署,新老用户均可享受,性价比高,助力企业稳定运营。
557 7
|
12月前
|
机器学习/深度学习 人工智能 算法
PeptideBERT:基于Transformer用于肽性质预测的语言模型
本文介绍了PeptideBERT模型及其在昇腾设备上的部署方法。PeptideBERT是一种基于Transformer架构的蛋白质语言模型,通过微调预训练模型ProtBERT,可预测肽的溶血性、溶解性和抗非特异性吸附性等关键性质。其输入表示包括词嵌入、物理化学属性编码和位置编码,并采用多头自注意力机制捕捉序列依赖关系。
|
7月前
|
机器学习/深度学习 数据采集 缓存
蛋白质结构预测:从AlphaFold到未来的计算生物学革命
蒋星熠Jaxonic以“摘星者”视角,融合深度学习与几何工程,详解蛋白质结构预测的模块化实践。从序列到三维结构,贯穿可解释性、轻量架构与性能权衡,助力科研与工业落地。
|
8月前
|
BI Windows 容器
AD域组策略管理
ADManager Plus是一款基于Web的Active Directory组策略管理工具,支持多域GPO管理,提供GPO创建、编辑、启用、禁用、删除、链接、继承控制等功能,支持批量操作,提升管理效率。内置丰富报表,如GPO清单、阻止继承容器等,便于快速获取GPO信息,优化AD策略管理。
220 6
|
人工智能 Java API
支持 40+ 插件,Spring AI Alibaba 简化智能体私有数据集成
通过使用社区官方提供的超过 20 种 RAG 数据源和 20 种 Tool Calling 接口,开发者可以轻松接入多种外部数据源(如 GitHub、飞书、云 OSS 等)以及调用各种工具(如天气预报、地图导航、翻译服务等)。这些默认实现大大简化了智能体的开发过程,使得开发者无需从零开始,便可以快速构建功能强大的智能体系统。通过这种方式,智能体不仅能够高效处理复杂任务,还能适应各种应用场景,提供更加智能、精准的服务。
1830 102
|
监控 Kubernetes Cloud Native
多语言应用监控最优选,ARMS 应用监控 eBPF 版正式发布
多语言应用监控最优选,ARMS 应用监控 eBPF 版正式发布
131623 130
|
人工智能 安全
太空垃圾清理技术:保障轨道安全的必要措施
【10月更文挑战第8天】太空垃圾清理是保障轨道安全的必要措施。通过发展多种清理技术,提高清理效率,降低清理成本,可以有效缓解太空垃圾问题对太空活动的影响。同时,加强国际合作,共同制定太空垃圾清理的标准和规范,也是未来太空垃圾清理工作的重要方向。太空是全人类的共同财产,保护太空环境需要各个国家之间共同努力与合作。
|
算法 应用服务中间件 数据库
这或许是我写的最全的BLAST教程
Basic local alignment search tool (BLAST) 包括:blastn, blastp, blastx, tblastn, tblastx等. 使用conda安装即可。
5473 0
|
存储 机器学习/深度学习 传感器
langchain 入门指南 - 实现一个多模态 chatbot
langchain 入门指南 - 实现一个多模态 chatbot
723 0

热门文章

最新文章