AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

大佬们，我实时需求需要查询 离线hive表，这个怎么办?只能hive关联hbase?然后去查?

大佬们，我实时需求需要查询 离线hive表，这个怎么办?只能hive关联hbase?然后去查?

展开
收起
圆葱猪肉包 2023-03-27 14:13:03 302 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 凌云Cloud
    发表文章、提出问题、分享经验、结交志同道合的朋友

    最好的方式及基于流批一体化计算引擎，如Flink、Spark，将 Hive 表中的数据实时读取到流式计算引擎中进行处理和查询。

    可以使用 Flink 的 Table API 或 SQL API 通过 JDBC 或 Hive Catalog 将 Hive 表加载到 Flink 的内存中，并将其转换为 Flink 的 Table。然后，可以使用 Flink 的 Table API 或 SQL API 对 Hive 表进行实时查询和处理，例如聚合、过滤等。

    如果需求是需要实时查询 Hive 表的历史数据，可以将 Hive 表的数据导入到 HBase 中，然后使用 HBase 提供的实时查询能力进行查询。不过这种方案需要考虑数据同步和一致性等问题，比较复杂。

    2023-03-27 17:32:48
    赞同 展开评论
问答分类：
SQL 分布式数据库 HIVE Hbase 云数据库HBase版
问答标签：
Hive表 hive云数据库HBase版 Hive hbase 云数据库HBase版hive 查询Hive
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
在Flink CDC中这种方式必须是hive的用户创建的表，创建的hdfs文件才能挂载没有其他方法?
58
0
0
Hologres是否支持查询hive表
47
1
0
Hive如何访问高安全EMR HBase
40
1
0
为什么StarRocks On Hive的查询性能比Trino On Hive好，但比本地存储查询差
182
1
0
StarRocks Hive外表查询在TPCH 100G数据集上的总耗时是多少？
74
1
0
StarRocksOnHive和TrinoOn Hive查询的是哪一份数据，数据是如何存储和压缩的？
62
1
0
我如何将一个oss 挂载到emr集群。 以便通过hive sql 查询oss 里的日志数据？
61
0
0
DataWorks通过脚本模式配置离线同步任务，从Hive同步数据到HBase，是参数位置不对吗？
55
1
0
E-MapReduce在beeline访问thriftserver执行sql查询hive数据报错
60
1
0
请教一个问题。我在用spark读取hbase数据时，默认是一个regoin一个task。发现有些re
1129
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199210
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • 基于云服务器的数仓搭建-hive/spark安装
  • 第七届入侵检测挑战赛报名开启！
  • 链路诊断最佳实践：1 分钟定位错慢根因
  • 让跨 project 联查更轻松，SLS StoreView 查询和分析实践
  • 双11安全保卫战｜阿里云特别活动+阿里集团情报特别活动

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink cdc 有没得官方介绍文档？
  • web-ui 加载会非常慢是什么原因呢？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • FlinkKafkaConsumer 1.11的clientId什么的看不到这个怎么解决吗？
  • 我的也是flink1.7 连接kafka，接收kafka数据，不知道有啥影响?
  • Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
  • "flink-cdc-connector-mysql，这个报错怎么解决的？
    • 展开全部
  • 流计算StreamCompute
  • 流计算精品翻译: The Dataflow Model
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
  • Apache Flink 漫谈系列(10) - JOIN LATERAL
  • 实时计算在「阿里影业实时报表业务」技术解读
  • 小红书如何实现高效推荐？解密背后的大数据计算平台架构
  • OPPO 实时数仓揭秘：从顶层设计实现离线与实时的平滑迁移
  • Flink 的经典场景和业务故事有哪些？看看他们就知道了
  • 基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
    • 展开全部
    还有其他疑问?
    咨询AI助理