鱼跟猫
鱼跟猫_个人页
鱼跟猫
文章
16
问答
13
视频
0
个人介绍
开源计算爱好者
擅长的技术
- Java
暂无更多信息
2019年09月
-
09.29 12:17:37
发表了文章
2019-09-29 12:17:37
EMR上如何进行流式SQL调试
本文将简单介绍EMR提供的一个流式SQL调试工具。
2019年07月
-
07.15 11:06:20发表了文章
2019-07-15 11:06:20
【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法
现在还没有一个统一的流式SQL语法标准，各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题，社区版本在流式SQL上迟迟没有动作。EMR Spark在今年上半年提供了自己设计版本的流式SQL支持，也会在后续的更新中吸收和支持这些优秀的设计建议。
2019年06月
-
06.26 17:15:42发表了文章
2019-06-26 17:15:42
使用Spark SQL进行流式机器学习计算（上）
今天来和大家简单说一下如何使用Spark SQL进行流式数据的机器学习处理 -
06.17 11:28:03发表了文章
2019-06-17 11:28:03
通过Spark SQL实时归档SLS数据
我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天，我再举例说明一下如何使用Spark SQL进行流式应用的开发。
-
发表了文章
2019-09-29
EMR上如何进行流式SQL调试
-
发表了文章
2019-07-15
【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法
-
发表了文章
2019-06-26
使用Spark SQL进行流式机器学习计算（上）
-
发表了文章
2019-06-17
通过Spark SQL实时归档SLS数据
-
发表了文章
2019-04-12
基于Spark SQL实现对HDFS操作的实时监控报警
-
发表了文章
2019-03-20
如何在E-MapReduce上进行Kafka集群间数据复制
-
发表了文章
2019-02-26
通过WebUI查看Structured Streaming作业统计信息
-
发表了文章
2018-08-09
一种堆外内存缓存策略加速数据写OSS
-
发表了文章
2018-08-09
E-MapReduce上如何采集Kafka客户端Metrics
-
发表了文章
2018-05-11
如何使用Kafka Connect实现同步RDS binlog数据
-
发表了文章
2018-03-01
E-MapReduce Kafka Benchmark - I
-
发表了文章
2018-02-09
如何在E-MapReduce上提交Storm作业处理Kafka数据
-
发表了文章
2017-11-16
E-MapReduce上如何升级EMR-Core
-
发表了文章
2016-12-21
如何在E-MapReduce上使用引导操作安装kafka组件
-
发表了文章
2016-09-22
尝新阿里云E-MapReduce MetaService服务
-
发表了文章
2016-03-24
如何在E-MapReduce中玩转OSS
滑动查看更多
-
提交了问题
2016-06-12
在E-MapReduce中使用pyspark访问hive数据时报错
-
回答了问题
2019-07-17
在E-MapReduce中使用pyspark访问hive数据时报错
使用pyspark时需要指定一个“mysql-connector-java” jar包，运行命令行如下： /opt/apps/spark-1.6.1-bin-hadoop2.6/bin/pyspark --driver-class-path /opt/apps/apache-hive-2.0.0-bin/lib/mysql-connector-java-3.1.14-bin.jar赞1 踩0 评论0 -
提交了问题
2016-06-01
hadoop HA 集群中使用zeppline的Spark sql访问Hive数据失败
-
回答了问题
2019-07-17
hadoop HA 集群中使用zeppline的Spark sql访问Hive数据失败
我碰到的场景是修改zeppline的解释器的Spark master参数为yarn-client解决的赞0 踩0 评论0 -
提交了问题
2016-05-24
Hive作业中的自定义解析jar出现“ClassNotFoundException：com.alibaba.fastjson.JSONObject ”
-
提交了问题
2016-05-24
E-MapReduce的hive作业如何加载自定义jar包
-
提交了问题
2016-05-24
MapReduce作业读写OSS报错
-
回答了问题
2019-07-17
Hive作业中的自定义解析jar出现“ClassNotFoundException：com.alibaba.fastjson.JSONObject ”
自定义解析jar需要打成一个fat包，将需要的依赖包打进去赞0 踩0 评论0 -
回答了问题
2019-07-17
E-MapReduce的hive作业如何加载自定义jar包
目前还不支持方便地加载OSS中的jar包，建议执行计划中加一个hadoop作业: hadoop fs -get oss://xxx localpath绕过。赞0 踩0 评论0 -
回答了问题
2019-07-17
MapReduce作业读写OSS报错
检查OSS的endpioint是否正确赞0 踩0 评论0 -
提交了问题
2016-05-23
pom中已经添加了emr-core-1.1.2但还是出现OdpsOps类找不到的问题。
-
回答了问题
2019-07-17
pom中已经添加了emr-core-1.1.2但还是出现OdpsOps类找不到的问题。
E-MapReduce产品文档https://help.aliyun.com/document_detail/28116.html?spm=5176.product9091098_28066.6.137.i8mWzk 说明了emr-sdk支持了ODPS数据源的操作接口所以需要添加 com.aliyun.emr emr-sdk_2.10 1.1.2赞0 踩0 评论0 -
回答了问题
2019-07-17
ECS按量付费有高配机型吗？
可以给ECS提工单开通高配机型。另外如果有集群需求的话可以了解下阿里云的E-MapReduce。赞0 踩0 评论0
滑动查看更多
暂无更多信息