云场景实践研究第80期：华大基因

基于BGI Online的基因数据分析需求，华大基因在阿里云平台上，设计了计算资源弹性伸缩、多级存储、海量存储计算与数据安全的云平台架构。

通过专线接入，来传输测序中心几十TB/day的数据；通过平台多数据中心部署，计算能力放至数据所在地，为美国、欧洲与中国等提供测序；混合使用阿里云的多种计算服务，数据通过 OSS来互通。通过 ECS在线上高灵活度地输出基因测序、利用 批量计算测序可大规模降低成本、 MaxCompute实现MapReduce小时级测序。

合作过程中，阿里云为华大基因提供了企业级支持服务和专家服务，保障华大基因的云上业务搭建与运转。包括指导产品选型与使用技术、提供APM报告及相应性能的分析优化；排查整改系统安全隐患、对生产高峰的任务支持进行专门保障。从曾经三四天才能输出一人基因分析，到如今实现了22小时内达成千人基因组分析的人类梦想。

华大基因通过阿里云为BGI Online（安全、⾼效、易⽤的⽣物信息服务云平台，为⽣物信息领域的各类科研工作者和工具开发者提供便利）注入弹性，同时也释放了每个数据中心部署耗费的大量人力、财力和物力，其总体架构如下：
前端通过WEB服务呈现系统业务和提供用户操作，WEB请求通过SLB做负载均衡，并在阿里云提供的VPC和云盾的防护下提供高可用的服务。
后端管理系统的业务数据和处理业务逻辑，后端服务部署在多台ECS上，并采用RDS服务存储业务数据。
任务管理引擎接受前端请求，管理计算资源实现生物信息数据的分析，阿里云提供了海量的ECS节点，并对每个ECS节点提供了完整、详细的API文档，通过对接ECS节点实现了计算资源的弹性伸缩和强大的分布式计算能力。
存储管理负责基因数据的存储和管理，运用OSS和OAS实现了基因数据的冷热存储，除了OSS和OAS本身提供的加密存储外，还对接OSS服务实现数据的去身份化，提高了平台的安全性。
文件传输通过部署在ECS上的服务提供，庞大的基因数据上云是数据流的起始端和瓶颈，阿里云通过铺设阿里机房到华大集群的专线，提升了数据传输的速度。

---

迁移上阿里云后的成效

实现了用户定制化和个性化体验，不仅降低了数据分析门槛，用户也可直接在线上简单操作即可完成启动分析。云上业务搭建与运转获得了保障，包括指导产品选型与使用技术、提供APM报告及相应性能的分析优化。在2016年，基于华大基因开发的新一代基因云计算平台BGI Online，华大基因、阿里云和安徽医科大学三方共同协作在21小时47分12秒内完成了1000例人类全外显子组数据的分析，创造了基因数据分析的“深圳速度”。

关于华大基因的更多实践详情： 基因大数据分析的云计算实践 、 金鑫：基因应用现状解析及华大基因的数据平台架构

原文发布日期：2018-1-10

云栖社区场景研究小组成员：董普庆，仲浩。