开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有兄弟使用 flink on k8s 命令提交任务的时候,限制 cpu 内存 参数的没 比如在容

有兄弟使用 flink on k8s 命令提交任务的时候,限制 cpu 内存 参数的没 比如在容器中有 limits 和 requests 参数,命令提交任务的时候是什么参数?

展开
收起
十一0204 2023-04-11 09:41:17 782 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云 Flink on K8s 中,使用 kubectl 命令行工具提交 Flink 任务时,可以通过 --overrides 参数来指定容器的 CPU 和内存资源限制。

    具体来说,--overrides 参数可以指定容器的资源限制和请求,格式如下所示:

    --overrides='{ "apiVersion":"v1", "spec":{ "containers":[{ "name":"<container-name>", "resources":{ "limits":{ "cpu":"<cpu-limit>", "memory":"<memory-limit>" }, "requests":{ "cpu":"<cpu-request>", "memory":"<memory-request>" } } }] } }'
    

    其中,<container-name> 是容器的名称,<cpu-limit><memory-limit> 是容器的 CPU 和内存资源限制,<cpu-request><memory-request> 是容器的 CPU 和内存资源请求。这些参数可以根据您的实际需求进行设置。

    2023-04-26 22:11:03
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    在使用 Flink on Kubernetes 提交任务时,可以通过配置 Flink 的资源需求和限制来控制任务在 Kubernetes 上的资源使用情况。具体来说,可以通过以下两个参数来设置:

    taskmanager.cpu 和 taskmanager.memory.process.size:这两个参数分别用于设置每个 TaskManager 容器的 CPU 和内存资源需求。在提交任务时,可以通过命令行参数 --taskmanager.cpu 和 --taskmanager.memory.process.size 来覆盖配置文件中的默认值。例如: ./bin/flink run -m kubernetes-cluster:8081 --detached --taskmanager.cpu 2 --taskmanager.memory.process.size 2048m examples/streaming/WordCount.jar taskmanager.resources.cpu 和 taskmanager.resources.memory:这两个参数分别用于设置每个 TaskManager 容器的 CPU 和内存资源限制。在提交任务时,可以通过命令行参数 --taskmanager.resources.cpu 和 --taskmanager.resources.memory 来覆盖配置文件中的默认值。例如: ./bin/flink run -m kubernetes-cluster:8081 --detached --taskmanager.resources.cpu 2 --taskmanager.resources.memory 2048m examples/streaming/WordCount.jar 需要注意的是,Kubernetes 中的资源限制和需求参数分别对应容器的 limits 和 requests 字段。因此,Flink on Kubernetes 中的上述参数实际上也是通过设置容器的 limits 和 requests 字段来实现的。

    2023-04-17 16:41:26
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    可以使用kubectl的resources选项来设置CPU和内存资源限制。

    --resources=limits.cpu=1,limits.memory=1Gi,requests.cpu=0.5,requests.memory=512Mi
    
    • resources选项设置了CPU和内存资源的限制。
    • limits.cpu表示CPU资源的最大限制。
    • limits.memory表示内存资源的最大限制。
    • requests.cpu表示CPU资源的最小需求量,requests.memory表示内存资源的最小需求量。
    2023-04-11 10:51:28
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载