开发者社区> 问答> 正文

控制计算并发有那几个方面?

控制计算并发有那几个方面?

展开
收起
代价码 2024-08-06 20:08:51 16 0
1 条回答
写回答
取消 提交回答
  • 控制计算并发主要涉及以下几个方面:

    1.存储与计算节点并发配置

    • 存储节点和计算节点的默认扫描并发额度均为256。修改此值可能影响集群性能,故建议保持默认。
    • 使用命令设置:SET ADB_CONFIG WORKER_MAX_RUNNING_SOURCE_SPLITS_PER_NODE=256;(存储节点)和 SET ADB_CONFIG EXECUTOR_MAX_RUNNING_SOURCE_SPLITS_PER_NODE=256;(计算节点)。
    • 查看配置:使用 SHOW ADB_CONFIG 命令。

    • 注意:更改配置可能不会立即生效,需考虑运行中任务的影响。

    2.任务调度限流

    • 通过Datatphin平台,可根据业务需求和资源状况,配置调度限流规则,确保高优先级任务优先执行及系统稳定性。
    • 功能包括按任务优先级和资源空闲情况控制任务下发数量,适合性能瓶颈或资源分配紧张场景。

    3.PostgreSQL并发控制插件

    • 通过创建扩展 pg_concurrency_control 并设置如 pg_concurrency_control.query_concurrency = 10 来控制Select查询的并发数。

    4.自适应并发控制(ASMAdaptiveConcurrency)

    • 利用自适应算法动态调整并发限制,确保服务负载可控,避免过载。例如,根据实际Latency与理想Latency的偏差调整并发数。
    • 建议配合服务网格的重试功能使用,以应对计算MinRTT期间因限制并发导致的请求拒绝。

    综上,控制计算并发可通过配置节点并发额度、利用调度平台限流、安装数据库并发控制插件及实施自适应并发策略等方式实现,旨在优化资源分配与系统稳定性。

    通过函数计算设置伸缩组自定义实例移出策略: https://help.aliyun.com/zh/auto-scaling/use-cases/create-a-custom-scale-in-policy-by-using-function-compute

    SLB应用场景:https://help.aliyun.com/zh/slb/product-overview/slb-overview?

    函数计算应用场景:https://help.aliyun.com/zh/fc/product-overview/product-introduction/?

    2024-08-06 20:49:14
    赞同 2 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载