AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】在Spark集群中内置Elasticsearch

2017-02-13 3155
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Oscar Castaneda在Spark Summit EU上的演讲，在使用ES-Hadoop进行开发的过程中，使Elasticsearch运行在Spark集群外部是一件非常繁琐的事情，为了在开发过程中更好地Elasticsearch实例，并且尽可能地降低开发团队之间的依赖关系，使用ES快照作为团队合作的接口，并且提高QA的效率，所提提出了在Spark集群中内置Elasticsearch的方式。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Oscar Castaneda在Spark Summit EU上的演讲，在使用ES-Hadoop进行开发的过程中，使Elasticsearch运行在Spark集群外部是一件非常繁琐的事情，为了在开发过程中更好地Elasticsearch实例，并且尽可能地降低开发团队之间的依赖关系，使用ES快照作为团队合作的接口，并且提高QA的效率，所以提出了在Spark集群中内置Elasticsearch的方式。


df541f77f980ecf2d5582e22287d09ab80e26617

f016af61314474ea89885275caea27bec55429d2

28dee895eee9c5c7c3b4d29f2ee94d6137159258

d9a19d0a13aaf8131b681f0ba69e7b6054e7335d

f6c68de54afb79607d554db481e0f753b7c6e1be

3f2082197aec4de595d38cd18e5a4545997646b5

ecb281b2968065cfabde31e85cd5a37fc6b79b4f

6b1182568c8cc7fc2bf4894b5f639ea71038153f

f05245bb53a9a3f3f810f0f2eb44b9720628e81a

e580ea867d2bca50ee4f7613e8a18d2a8c4c7cb1

bec79c9db301a05ba36bf8027f66d8674a5550c7

f6e329ded2b252522b48ffa6b6e4921c2a3eece2

26ada11cfaf50b1331303f5aded43529c4fd0f81

90155d7bd3d37912ff015b7c3489aca45564334d

2c271215a5850ead320ba44b81ddb090d3818808

5ecb08a1d3b19a3bc82d134ce5e7fc9ea99bdfb8

22303e74da86786dc899de67b83a055b10355fc5

6b8ebf4d3a15eb368e981e1ed392a557fd327d6d

cfabeac37953f9b28fb1a6c6d04e20096ac318b0

a5c79f29cb4b4246ab506519bcfcb55136cca49a

e4db9f40218f5d33b32b5f8b9d244121a3400bfa

07c81d75eb212fc3c0dc3bd0ffcab1ae6fb58d3c

807a906884874c2c3b8ddffb9e97e3c6c0551452

60ab87f3a2c9371b073d6ef184634515ec316dbd

f78c3030ec9e8189187e3dacbc9183db0035610c

add1fe03f9a3c9d56c65501006a79e8360272121

153d8f30dc2a38ad5d33d2b715e8c2d00d0ae42f

2195db75acc63b2933c6824be68d850a9ddca463

文章标签：
检索分析服务 Elasticsearch版
分布式计算
Spark
大数据
MaxCompute
关键词：
检索分析服务 Elasticsearch版集群
apache spark集群
集群检索分析服务 Elasticsearch版
apache spark summit集群
检索分析服务 Elasticsearch版spark
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务，构建一个高效、精准的语义搜索系统，模拟电商场景，深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch（Elastic）就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch，如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理，最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
小猫吃鱼569
目录
相关文章
阿里云基础设施.
|
9月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度，可以帮助您在不影响集群中正在运行的在线业务的前提下，打破资源边界，根据各集群实际剩余资源来进行调度，最大化您多集群中闲置资源的利用率。
阿里云基础设施.
429 26
游客tvgb6vci6chtq
|
11月前
|
存储 分布式计算 调度
Spark Master HA 主从切换过程不会影响到集群已有作业的运行， 为什么？
Spark Master 的高可用性（HA）机制确保主节点故障时，备用主节点能无缝接管集群管理，保障稳定运行。关键在于： 1. **Driver 和 Executor 独立**：任务执行不依赖 Master。 2. **应用状态保持**：备用 Master 通过 ZooKeeper 恢复集群状态。 3. **ZooKeeper 协调**：快速选举新 Master 并同步状态。 4. **容错机制**：任务可在其他 Executor 上重新调度。 这些特性保证了集群在 Master 故障时仍能正常运行。
游客tvgb6vci6chtq
262 7
武子康
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
武子康
145 0
武子康
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
武子康
131 0
武子康
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
武子康
209 0
武子康
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
武子康
290 0
武子康
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
302 0
小宋1021
|
8月前
|
安全 Java Linux
Linux安装Elasticsearch详细教程
Linux安装Elasticsearch详细教程
小宋1021
1487 64
pickstar-33775
|
7月前
|
JSON 安全 数据可视化
Elasticsearch(es)在Windows系统上的安装与部署(含Kibana)
Kibana 是 Elastic Stack（原 ELK Stack）中的核心数据可视化工具，主要与 Elasticsearch 配合使用，提供强大的数据探索、分析和展示功能。elasticsearch安装在windows上一般是zip文件，解压到对应目录。文件，elasticsearch8.x以上版本是自动开启安全认证的。kibana安装在windows上一般是zip文件，解压到对应目录。elasticsearch的默认端口是9200，访问。默认用户是elastic，密码需要重置。
pickstar-33775
3732 0
土木林森
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤，包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch，以及常见问题的解决方法。通过这些步骤，你可以快速搭建起这个强大的分布式搜索和分析引擎。
土木林森
476 5

热门文章

最新文章

  • 1
    开源大数据技术专场（上午）:Spark、HBase、JStorm应用与实践
  • 2
    欢迎加入Spark中国社区
  • 3
    Spark SQL玩起来
  • 4
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 5
    Spark SQL性能优化
  • 6
    【译】使用Spark SQL 运行大规模基因组工作流
  • 7
    入门 spark
  • 8
    Spark集群部署和启动与关闭
  • 9
    《Spark大数据处理：技术、应用与性能优化》——3.3　本章小结
  • 10
    干翻Hadoop系列文章【02】：Hadoop、Hive、Spark的区别和联系
  • 1
    顺企网 API 开发实战：搜索 / 详情接口从 0 到 1 落地（附 Elasticsearch 优化 + 错误速查）
    156
  • 2
    多模块项目使用ElasticSearch报错
    138
  • 3
    （ELK）ElasticSearch8.7 搭配 SpringDataElasticSearch5.1 的使用
    247
  • 4
    Elasticsearch Enterprise 9.1.5 发布 - 分布式搜索和分析引擎
    303
  • 5
    Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
    320
  • 6
    探索 Elasticsearch 8：利用 Spring Boot 3 和 Spring Data Elasticsearch5
    540
  • 7
    从“字”到“画”：基于Elasticsearch Serverless 的多模态商品搜索实践
    381
  • 8
    如何在 Elasticsearch 中构建你的智能 AI 助手？
    216
  • 9
    森马服饰从 Elasticsearch 到阿里云 SelectDB 的架构演进之路
    150
  • 10
    孚盟选用Lindorm升级自建Elasticsearch，护航跨境电商出海
    612

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    安全设备篇——WAF