AI 助理
备案控制台
开发者社区 数据库 NoSQL数据库 文章 正文

HBase+Spark技术双周刊 第六期

2019-04-08 2923
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 Tair（兼容Redis），内存型 2GB
推荐场景：
通过缓存加速数据库访问
云原生多模数据库 Lindorm，多引擎 多规格 0-4节点
推荐场景：
海量数据下Lindorm查询实践
Redis 开源版，标准版 2GB
推荐场景：
搭建游戏排行榜
简介： 近期直播回看 技术沙龙 问答专栏

【点击订阅HBase+Spark技术双周刊】

400083221

近期线上直播


HBase中Coprocessor的介绍以及实际业务场景中的使用
本期直播中，快手大数据高级研发工程师陈杨将讲解HBase coprocessor的原理以及使用场景，coprocessor整个流程实战，包括开发，加载，运行以及管理，并结合1、2分析coprocessor在rsgroup中的具体使用。

HBase源码解析

本期直播中，陆金所研发工程师米麒麟将帮助大家解析HBase Read读流程源码、HBase Write写流程源码以及HBase Flush & Compact流程源码。

Phoenix queryserver
本期直播中，阿里数据库产品专家瑾谦将为大家解答三个问题，即：什么是Phoenix QueryServer？为什么要用QueryServer？怎样使用QueryServer？

直播往期回顾——视频回看及PPT下载

线下沙龙


中国HBase技术社区第十届meetup——HBase生态实践（杭州站）

中国HBase技术社区第十届meetup——HBase生态实践（杭州站）回顾，4位数据库技术大咖共话HBase技术实践。

问答专栏


欢迎大家提问，一起探讨HBase&Spark技术

技术社群


【HBase生态+Spark社区大群】
群福利：群内每周进行群直播技术分享及问答
加入方式1：点击link申请加入
加入方式2：钉钉扫码加入
1

文章标签：
云数据库HBase版
数据库
大数据
Hbase
分布式数据库
关键词：
apache spark技术
云数据库HBase版技术
apache spark hbase
云数据库HBase版spark
hbase apache spark
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入，无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
hbase小能手
目录
相关文章
土木林森
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
94 2
土木林森
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
65 1
喜欢猪猪
|
3月前
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
喜欢猪猪
75 0
张飞的猪
|
5月前
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
155 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
1941623231718325
|
6月前
|
分布式计算 Hadoop 大数据
大数据技术：Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要** Hadoop是分布式系统基础架构，擅长处理大规模批处理任务，依赖HDFS和MapReduce，具有高可靠性和生态多样性。Spark是快速数据处理引擎，侧重内存计算，提供多语言接口，支持机器学习和流处理，处理速度远超Hadoop，适合实时分析和交互式查询。两者在资源占用和生态系统上有差异，适用于不同应用场景。选择时需依据具体需求。
1941623231718325
286 1
jjczqyjxgdegi
|
6月前
|
机器学习/深度学习 分布式计算 API
技术好文：Spark机器学习笔记一
技术好文：Spark机器学习笔记一
jjczqyjxgdegi
43 0
游客zn7mvnkypuy76
|
6月前
|
存储 SQL 分布式计算
技术心得记录：深入学习HBase架构原理
技术心得记录：深入学习HBase架构原理
游客zn7mvnkypuy76
90 0
hnrk7epeorhrk
|
6月前
|
存储 缓存 分布式计算
必知的技术知识：Hbase配置（伪分布式模式）
必知的技术知识：Hbase配置（伪分布式模式）
hnrk7epeorhrk
641 0
开源大数据EMR
|
SQL 分布式计算 Scala
[转载] 是时候学习真正的 spark 技术了
spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...
开源大数据EMR
2526 0
郑小健
|
1月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
105 2
ClickHouse与大数据生态集成：Spark & Flink 实战
数据库

NoSQL数据库

热门文章

最新文章

  • 1
    MongoDB Sharded cluster架构原理
  • 2
    HBase全网最佳学习资料汇总
  • 3
    阿里云图数据库GDB揭秘
  • 4
    分布式(hadoop)内核研发面试指南
  • 5
    bcache / 如何使用bcache构建LVM,软RAID / 如何优化bcache
  • 6
    MongoDB复制集同步原理解析
  • 7
    Redis短连接性能优化
  • 8
    Redis与KV存储(RocksDB)融合之编码方式
  • 9
    阿里云MongoDB与EMR的HelloWorld
  • 10
    MongoDB 生态 - 客户端 Driver 支持
  • 1
    阿里云与MongoDB庆祝合作五周年，展望AI赋能新未来
    36
  • 2
    MongoDB主备副本集方案：两台服务器使用非对称部署的方式实现高可用与容灾备份
    55
  • 3
    【赵渝强老师】Redis的AOF数据持久化
    52
  • 4
    【赵渝强老师】Redis的RDB数据持久化
    53
  • 5
    【赵渝强老师】安装部署Memcached
    39
  • 6
    【赵渝强老师】Memcached集群的架构
    40
  • 7
    【赵渝强老师】Memcached的数据存储方式
    42
  • 8
    【赵渝强老师】MongoDB的In-Memory存储引擎
    25
  • 9
    【赵渝强老师】MongoDB的WiredTiger存储引擎
    34
  • 10
    【赵渝强老师】MongoDB的MMAPv1存储引擎
    27

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 云数据库HBase版使用教程
  • HBase入门教程
  • 分布式数据库 HBase 快速入门
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
  • 基于EMR Serverless StarRocks一键玩转世界杯
  • 5分钟上手Flink MySQL连接器
  • 使用Flink实时发现最热Github项目
  • 海量数据下Lindorm查询实践
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月