【Spark Summit East 2017】加速云上Spark基因测序的数据驱动方法以及案例研究

简介: 本讲义出自Lucy Lu与Eric Kaczmarek在Spark Summit East 2017上的演讲,主要介绍了正在研发中的基于Spark的编程平台GATK4(Genome Analysis Toolkit version 4 ),并用案例讲解了如何在云上配置Spark集群加速对于基因序列的测序工作。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Lucy Lu与Eric Kaczmarek在Spark Summit East 2017上的演讲,主要介绍了正在研发中的基于Spark的编程平台GATK4(Genome Analysis Toolkit version 4 ),并用案例讲解了如何在云上配置Spark集群加速对于基因序列的测序工作。除此之外还介绍了名为PAT的内部数据分析框架,并介绍了如何使用PAT快速建立Spark与虚拟机合适的配置组合来优化对于云的硬件资源以及Spark计算并行性的使用。


c44824e20d94eba4a3df01cc685f38105c166cd2

ffe40d3f59fd82e639305cd617bcf0bc7bad45de

652bba4f7ef8b42fea35f3c772e786d154b86db9

154d458064c562e9cf20198aef68b16c9830b5bd

b8828d86ba750e82174e88c0edeab9fa90adf4b6

a78d9e726d784e8d743d4a20d4b65467281cce7c

fe50c6a45fab7f31f6057d43d484921090f5be14

9fd8d1bdd6898817ef0813fed949a7ee75a4e991

9076574ea83eb8e28e8c1aea105748e7f3c76eba

ad5fd82ad78d2aaa4aaf64efc1bc84b4beca369c

170f1982853c8594942c492240c7b7c2fcb4895e

80d64d67238177639d755dddac5e5d3f7f8f534f

7f243e003aa26e0b1b7250d1a579274852a84b02

449bc82ce697caa5b804dd336d5486cb4cd3a1ca

2dcd68d57af23a3b247159394b3b582a6358dbcf

e9d7c58b66379d4a483261960118d791136c10ba

810a0c2994a3b8092e152e31773608504b072a34

0f139ca7f19c2a913cd40fca57dec151654f2ae9

cd4dfd670ca4965f5a6f28369edd164fe920f2b4

9ba81e51f3dd459e1aa31dcdfcf4a9cbec17d334

267c63fb53a93aeae2844fc16d49114f0dfb55f1

相关文章
|
6月前
|
SQL 分布式计算 数据可视化
Spark SQL案例【电商购买数据分析】
Spark SQL案例【电商购买数据分析】
|
SQL 分布式计算 资源调度
线上 hive on spark 作业执行超时问题排查案例分享
线上 hive on spark 作业执行超时问题排查案例分享
|
27天前
|
分布式计算 大数据 Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
45 5
|
27天前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
46 3
|
27天前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
54 0
|
27天前
|
分布式计算 大数据 Spark
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(二)
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(二)
37 1
|
20天前
|
设计模式 数据采集 分布式计算
企业spark案例 —出租车轨迹分析
企业spark案例 —出租车轨迹分析
51 0
|
27天前
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
51 0
|
27天前
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(一)
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(一)
28 0
|
27天前
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(二)
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(二)
39 0