AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用ADAM处理Terabyte级基因数据集

2017-02-18 2095
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Frank Austin Nothaft在Spark Summit East 2017上的演讲，主要介绍了构建于Spark分布式计算框架之上的符合Apache 2许可的库ADAM，ADAM允许基因分析在Spark上集群上无缝地进行分布，并为编写基因组分析算法提供了清晰的API，演讲还讨论了ADAM与Hbase对于大型变体数据集进行交互式探索。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Frank Austin Nothaft在Spark Summit East 2017上的演讲，主要介绍了构建于Spark分布式计算框架之上的符合Apache 2许可的库ADAM，ADAM允许基因分析在Spark上集群上无缝地进行分布，并为编写基因组分析算法提供了清晰的API，演讲还讨论了ADAM与Hbase对于大型变体数据集进行交互式探索。


65855fed3ce088715b98342c80b170a187b77378

2b41327bff344cdb23f2fbd7a4c5d0dbb87f94d8

77a662d0ae9cc9192171410420c3b4c7297b9235

7333ad733eb7c738db821e6591f4eae7f48d9c2b

2a18f7bf522de30447a836b42f5d39d0270a6b60

bc3ec56dd951b0aa4f467777bff2774619cbd8eb

a6e9b4a16f84cd7eb27efa0ecaec336959ec06b0


14232512be9dcaf2546052cb43ff3a2581608d90

f46ddcb0355340cee202c935c385264321ac93d6

0600d89ce7ea7cebc2a581ff3095655a02a7275b

f2a10d0df3ad40318c32e2fd13ee63b56961fcfb

25b0086f16ebf9fff6a614f4f0b1afec5b11bb0f

8cfd2e611e7976de561a9ba95a07e892d5cd4d84

468fbef0efb90bd32df87fe10b3077ae4578b330

67db0e79c1d92b27a9ad482fe3a43bdfe1f95293

aa67286466842295ee14c32361a025d502e483a5

1a125ef38da2533e0a24e8210ec43959c25d4b93

f9cfbebb2e617ae7a7bace67da0408ac0d4068ba


c143afe2d788a563cc9c5cc2073c93088816123c

adb299943b058fd586c467b217f14986d0898018

2ae356f0b372821e0d9a6965e8f4f69c21abdac9

796a02be062e67cfa35009902ac0e201ba47b1c5

文章标签：
Apache
API
算法
大数据
分布式计算
关键词：
apache spark数据集
apache spark east
apache spark summit
apache spark summit east
apache spark基因
小猫吃鱼569
目录
相关文章
yuanzhengme
|
6月前
|
存储 缓存 分布式计算
Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
【2月更文挑战第13天】Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
yuanzhengme
73 1
晓之以理的喵~~
|
6月前
|
分布式计算 大数据 数据处理
Spark RDD（弹性分布式数据集）
Spark RDD（弹性分布式数据集）
晓之以理的喵~~
108 0
热烈的马
|
6月前
|
机器学习/深度学习 分布式计算 搜索推荐
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
热烈的马
212 0
热烈的马
|
6月前
|
机器学习/深度学习 分布式计算 前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
热烈的马
73 0
热烈的马
|
6月前
|
机器学习/深度学习 分布式计算 大数据
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
热烈的马
69 0
热烈的马
|
6月前
|
存储 分布式计算 搜索推荐
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
热烈的马
183 0
热烈的马
|
6月前
|
机器学习/深度学习 分布式计算 大数据
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
热烈的马
101 0
fanstuck
|
存储 分布式计算 资源调度
Spark框架深度理解三：运行架构、核心数据集RDD
Spark框架深度理解三：运行架构、核心数据集RDD
fanstuck
386 0
Spark框架深度理解三：运行架构、核心数据集RDD
游客wkxim4agoo6le
|
JSON 分布式计算 Java
Spark2.X弹性分布式数据集（二）
笔记
游客wkxim4agoo6le
113 0
Spark2.X弹性分布式数据集（二）
游客wkxim4agoo6le
|
存储 分布式计算 并行计算
Spark2.X弹性分布式数据集（一）
笔记
游客wkxim4agoo6le
127 0
Spark2.X弹性分布式数据集（一）

热门文章

最新文章

  • 1
    spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    Spark Job的提交与task本地化分析（源码阅读八）
  • 4
    Spark-构建基于Spark的推荐引擎
  • 5
    Spark PruneDependency 依赖关系 RangePartitioner
  • 6
    Spark Master启动源码分析
  • 7
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 8
    Spark编程语言选择：Scala、Java和Python
  • 9
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 10
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 1
    bigdata-36-Spark转换算子与动作算子
    46
  • 2
    Paimon 与 Spark 的集成（二）：查询优化
    118220
  • 3
    阿里云 EMR Serverless Spark 版免费邀测中
    947
  • 4
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    353
  • 5
    安装Spark
    89
  • 6
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    107
  • 7
    Spark读取变更Hudi数据集Schema实现分析
    128
  • 8
    实战|使用Spark Streaming写入Hudi
    280
  • 9
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    142
  • 10
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    98

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月