实时计算 Flink版产品使用问题之把hdfs集群里的core-site.xml hdfs.xml两个文件放到flink/conf/目录下,启动集群说找不到hdfs,该如何解决

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗?

有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗?



参考答案:

可以,没影响



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/611394



问题二:Flink有个大json文件,一个文件1,2g,请教下这种flink sql咋读出来?

Flink有个大json文件,一个文件1,2g,文件里面是一个json列表[],里面每行是一条数据,[ ]中括号是单独两行,请教下这种flink sql咋读出来?



参考答案:

这种直接用json格式读都会报OOM吧,之前用spark sql遇到过相同场景一个文件2g,指定特殊分割符,按照txt格式读取,把数组中的json对象拆分成一行,然后在把一行行数据解析成json,



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/611393



问题三:StreamAPI中的flatmap算子,在flinksql中怎么实现?

StreamAPI中的flatmap算子,在flinksql中怎么实现?看了遍官网好像没有特别合适的函数



参考答案:

可以试一试explode函数 ,



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/610806



问题四:flink1.12,1.19有没有办法办法,打开sql-client即默认进入myhive呢?

flink1.12,配置conf/sql-client.defaults.yaml的hive catalog之后,sql-client启动后,就直接可以查看myhive下面的表。

flink1.19,配置conf/sql-client.defaults.yaml的hive catalog之后,sql-client启动后,无法查看myhive,执行create catalog的sql后,才可以查看mysql下的表。关闭并重新启动sql-client,还是会提示myhive不存在。

1.19有没有办法办法,打开sql-client即默认进入myhive呢?



参考答案:

-i 指定初始化 SQL ,



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/610805



问题五:Flink把hdfs集群里的core-启动集群说找不到hdfs,如何解决?

Flink把hdfs集群里的core-site.xml hdfs.xml两个文 件放到flink/conf/目录下,启动集群说找不到hdfs?



参考答案:

不是那样配置的env.hadoop.conf.dir,在那个flink配置加这个参数,后面参数是你那些配置



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/610803

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
|
Java
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
102 34
|
3月前
|
Java
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
78 2
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
|
3月前
|
XML Java 应用服务中间件
tomcat学习一:tomcat 目录及配置文件学习 server.xml 等
这篇文章是关于Apache Tomcat服务器的目录结构、配置文件(特别是server.xml)的详细介绍和学习指南。
146 0
tomcat学习一:tomcat 目录及配置文件学习 server.xml 等
|
3月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
55 3
|
3月前
|
分布式计算 Java Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
57 2
|
3月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
55 1
|
3月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
70 1
|
5月前
|
存储 分布式计算 Hadoop
|
3月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
213 6
|
3月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
78 3

相关产品

  • 实时计算 Flink版