更多云场景实践研究案例，点击这里：
【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽
基云惠康公司，立志通过基因来惠及大众健康，通过使用批量计算服务，最终使批量计算的成本控制在了两位数，比最开始直接在ECS上搭建分析流程节省了近90%的成本。本文将从数据分析与解读流程的角度，带领大家了解基云惠康如何借助阿里云的力量降低数据分析成本。
基云惠康公司，立志通过基因来惠及大众健康，通过使用批量计算服务，最终使批量计算的成本控制在了两位数，比最开始直接在ECS上搭建分析流程节省了近90%的成本。本文将从数据分析与解读流程的角度，带领大家了解基云惠康如何借助阿里云的力量降低数据分析成本。
“俗话说时间就是金钱，这在使用“云”分析基因数据时体现的淋漓尽致。要想分析时间短，就需要更多的计算资源，相应的成本就会直线上升，而要想节约成本，就需要以时间换取资源。”
基云惠康公司成立于2014年，公司的口号是知基因，惠健康。惠健康的第一步就是要知基因，知基因就要对基因数据进行分析与解读。要知道人全基因组测序的原始数据一般在300G左右，压缩为fastq格式也要60G左右，怎么快速低成本的分析这些数据是一个比较棘手的问题。后来由于“云”的大势所趋，经过综合分析对比AWS、腾讯云、百度云和阿里云，公司最终决定将基因数据分析流程搭建在阿里云上。
采用的阿里云产品
- 阿里云负载均衡 SLB
- 阿里云云服务器 ECS
- 阿里云云数据库 RDS
- 阿里云云数据库 MySQL 版
- 阿里云云数据库 Redis
- 阿里云表格存储 TableStore
- 阿里云批量计算 BatchCompute
- 阿里云对象储存 OSS
- 阿里云归档存储 OAS
- 阿里云基础防护
- 阿里云安骑士
- 阿里云云监控
为什么使用阿里云
自购服务器搭集群价格高昂，基因数据比较敏感。
在小集群上数据分析流程冗长，完成一个样本分析的成本很高，时间也长。
需要在保证数据分析结果准确性的前提下，取得时间和成本上的最佳平衡。
关于基云惠康
基云惠康科技有限公司成立于2014年， 团队由遗传学、生物学、计算机、生物信息、大数据背景的专家组成，致力于通过基因组技术改善大众健康。公司专注于全基因组数据分析、解读和基因应用的开发，其自主研发的基因组云分析和解读服务（Genome Analysis and Interpretation in Cloud）GAIC能够以更快的速度、更低的成本完成人类基因组数据的分析和解读。公司已获得中关村高新技术企业和国家高新技术企业称号，并参与了国家“精准医疗”项目。
基云惠康痛点所在
在上云前，公司原打算是自己购买服务器搭集群，后来由于搭建成本的原因，加之基因数据比较敏感，决定将基因数据分析流程搭建在阿里云上。在上云初期，公司直接在阿里云上买了几台ECS服务器，组建成一个小集群，在集群上搭建了半自动数据分析流程。分析一个人全基因组数据还需要手动调用资源，拼接分析流程，完成一个样本的分析成本很高，时间也很长。迫切需要一种降低成本的解决方案。
为什么选择阿里云？
基云惠康通过上云降低了数据分析成本
基云惠康可以说是首家将基因数据分析业务部署到阿里云上的公司。在2014年末，
阿里云开发出了一款强大的计算服务--“帝喾”，基云惠康公司参与了该服务的内测。在15年7月，阿里云在云栖大会正式发布了帝喾服务，改名为批量计算。此后随着批量计算的重大升级和迁移，公司的技术人员也会对数据分析流程进行针对性的调整升级。到目前为止，基云惠康公司已在阿里云的批量计算服务上分析了上千的人的基因样本数据，经过不断的调整优化，数据分析成本已降到了很低。
使用阿里云产品构建数据分析平台架构
基于公司的现实情况，阿里云提供的这个解决方案架构还是很完善的，包括
归档存储、表格存储以及其他的产品都投入实施。
基因数据存储可选的
阿里云服务有OSS和归档存储，对于近期使用的样本数据采用对象存储，对于超1年未使用的样本数据将转存到归档存储中。
基因数据分析模块有
ECS和批量计算。其中一台
ECS作为批量计算的镜像，一台
ECS作为分析流程交互服务器，使用批量计算来进行数据分析。完成一个人的全基因组数据分析大概需要使用500核时的计算资源。
安全与监控模块有
基础防护、安骑士和云监控，对这些服务的使用是必须的。基云惠康对基因数据的保护除使用阿里云自身提供的安全防护外，还使用了自研的三层加密隔离防护技术。
数据库存储包括了
RDS、Redis、TableStore。对基云惠康来说，使用了
RDS中的mysql关系数据库来存储样本的解读报告等数据。Redis作为对外提供解读服务的缓存加速服务。计划使用
TableStore表格存储解读后的用户突变数据。
Web服务中使用了http服务器和负载均衡。
在阿里云批量计算服务上运行基因组数据分析业务
这是使用
阿里云批量计算服务处理人基因组数据作业的有向无环图，图例中的每个节点都是流程的一个任务，每个任务又包含多个处理步骤，对应调用的资源也不尽相同。
1、data_preparation，为基因组数据准备任务，包括数据完整性验证、数据质量校验等。
2、split_R1和split_R2，双端测序两个fastq文件的切分job，每个切分步骤中又包括了gz文件解压、数据切分、压缩成gz格式等任务。
3、QC_mapping，该任务会根据上一步切分的文件个数启用相应个数的实例，每个实例处理同一编号R1和R2两个文件，包括对文件进行BWA比对，使用samtools将得到的bam文件按照染色体输出任务，每个实例得到1-22，X,Y,M共25个bam文件。
4、Mergechr_Analysis，这一步会启用25个实例，分别处理包括MT在内的25个染色体对应的bam文件，将每条染色体零散的bam文件合并成对应染色体完整的bam文件并进行dup操作，染色体数据统计和cnv的检测。
5、gatk0、gatk1、gatk2、gatk3，将得到的比对后的bam文件使用GATK软件进行变异检测。检测突变的过程包括了RealignerTargetCreator、IndelRealigner、BaseRecalibrator、PrintReads、UnifiedGenotyper、VariantRecalibrator、ApplyRecalibration等过程。如果对GATK的变异检测流程感兴趣可以到GATK官网具体查询。
6、Mergebam，该任务是将包括MT在内的25条染色体bam文件合并成一个完整的bam文件，并对数据进行一些统计工作以进行后续的分析。
7、MarkDuplicates，去除PCR重复reads。
8、SV，用来检测结构变异及注释。
9、result，汇总最终得到的结果文件，这些结果包括了突变结果（snp、indel、cnv、sv等）、数据质控和统计结果、bam文件等。
使用阿里云批量计算服务后的成效
在使用了
阿里云批量计算服务之后，整个人全基因组数据分析下来耗时12个小时左右，共使用500核时左右的资源，使用批量计算的成本控制在了两位数，比最开始直接在ECS上搭建分析流程节省了近90%的成本。
在成本节省的同时，批量计算服务使大批量的基因数据同时分析成为可能，目前已实际运行过同时提交100个全外显子组数据，在12个小时内全部分析完成。
关于基
云惠康的更多实践详情：
我们是如何在阿里云上搭建人全基因组数据分析与解读流程
原文发布日期：2017-2-9
云栖社区场景研究小组成员：董普庆，仲浩。
