开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里如何给cdh开yarn的web ui账号查看权限?

Flink CDC里如何给cdh开yarn的web ui账号查看权限?

展开
收起
小小鹿鹿鹿 2024-05-07 18:46:05 103 0
1 条回答
写回答
取消 提交回答
  • 在Apache Flink CDC与CDH (Cloudera Data Hub) 集成时,如果你需要开启YARN (Yet Another Resource Negotiator) 的Web UI来查看Flink作业的资源管理和运行状态,通常涉及到以下步骤:

    1. 配置CDH集群安全

      • 如果你的CDH集群启用了Kerberos,你需要确保所有相关服务(包括YARN)都配置了正确的Kerberos principal(服务主体名)和keytabs(身份验证令牌)。
      • 用户账户也需要有适当的Kerberos票证才能访问Web UI。
    2. 设置YARN Web UI访问权限

      • 在YARN的配置文件yarn-site.xml中,可能需要调整yarn.webapp.filter.classes属性来添加或配置权限过滤器,例如HadoopHttpFilter,以允许特定用户或组访问Web UI。
      • 还可能需要在CDH的管理界面(如Cloudera Manager)中配置服务级别的权限,允许指定用户或角色访问YARN Web UI。
    3. 配置Flink作业提交

      • 当你通过YARN模式提交Flink作业时,确保提交作业的用户有权限在YARN上启动应用程序。
      • 使用具有足够权限的用户身份执行flink run命令或者通过Flink的Web UI提交作业。
    4. 访问YARN Web UI

      • 一旦权限配置正确,你可以通过浏览器访问YARN的Web UI,默认地址通常是http://<ResourceManager-Host>:8088/
      • 在Kerberos环境中,你可能需要通过kinit命令获取Kerberos票证,然后才能无阻碍地访问Web UI。

    请注意,具体的配置步骤可能会因CDH版本和你的集群配置而异,建议参考CDH的官方文档或联系CDH支持获取详细指导。如果使用Cloudera Manager,很多这些配置可以通过图形界面进行,减少了直接编辑XML配置文件的需求。

    2024-05-12 08:50:30
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载