开发者社区> 问答> 正文

如何监控AWS EMR集群中托管的spark中的hive thrift服务器运行状况?

我们使用JDBC连接到我们的spark EMR集群上的hive thrift服务器。我们遇到了一些thrift服务器崩溃的瞬态问题,需要手动重启。

我们想知道是否有任何[希望简单]的方式来监控服务器的健康状况?至少,我们希望在它发生故障时收到警报。拥有其他服务器运行状况指标也很不错。

展开
收起
社区小助手 2018-12-21 13:49:23 3317 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    Hive thrift服务器只是一个spark应用程序,它还为您提供Spark UI来监控您正在执行的所有查询,内存消耗和更多信息。

    任何spark UI的默认端口是4040.但如果没有。

    然后jps在主机上执行命令。它将列出所有java应用程序及其相应的进程ID。执行后netstat -ntpul | grep ,将列出与该进程相关的所有端口。

    2019-07-17 23:23:25
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载