函数计算的负载均衡和流控是什么？

函数调用请求到达前端服务器（Frontend Server）后，首先向资源调度服务申请函数实例，再将请求发送给相关的函数实例处理。因此资源调度服务是系统的关键链路。为了支撑每秒近百万次的资源调度请求，我们将资源调度服务的负载进行分片（Partition），横向扩展到多台机器上，避免单点瓶颈。

分片机制包含两层信息的映射：首先将指定函数的资源调度请求映射到对应的分片上；然后将分片调度请求映射到对应的分片服务器（Partition Server）上。函数实例服务负载均衡架构如下图所示，前端服务器首先确定请求所属的分片，然后通过分片映射表找到对应的分片服务器（函数实例调度节点），再将请求发送给该节点处理。

分片管理器（Partition Manager）将负载拆分为 N 个分片，并为每个分片指定对应的分片服务器，将分片的位置信息存储在分片映射表中（Partition Map Table）。分片服务器通过周期性的心跳向分片管理器汇报分片和节点的负载信息，分片管理器通过以下三种分片操作实现负载均衡。

分片迁移（Partition Move），将分片迁移到另一台分片服务器。当分片管理器发现某一台服务器的负载较高时，可通过分片迁移来平衡负载。

分片分裂（Partition Split），将负载很高的分片分裂为多个分片。通常一个分片上主要的请求来自少数被密集调用的函数。当函数负载增加超过一台分片服务器的处理能力时，分片管理器将相关分片分裂为多个分片，并指派给不同的分片服务器处理。

分片合并（Partition Merge），将多个低负载的分片合并为一个分片。

分片管理器监控整个集群的分片和服务器负载，通过分片的迁移、分裂、合并三种操作实现集群处理能力的横向扩展和负载均衡。集群不但可以支撑近乎无限的函数，而且单个函数的处理能力没有上限。

在多租户环境下，流控是保证服务质量的关键。对用户而言，当函数的调用量超过预期值时，例如函数逻辑错误产生大量非预期调用，系统应当及时流控，确保用户的费用可控。函数计算允许用户配置最大函数运行实例数来限制应用负载。当应用负载上升、系统在扩容时，如果函数实例数达到配额上限，那么将停止扩容并返回流控错误。

除了用户层面的流控，当函数的负载动态变化导致节点过载时，系统也应当及时流控，避免用户间互相影响。例如在一个分片上，多个用户函数负载增加， 导致分片服务器过载。此时即使每个用户都未用满配额，系统也需要流控。在该场景下的流控，不但要及时，更要做到公平。调用量越大的函数，请求被流控的概率应当越高。

资料来源：《弹性计算—无处不在的算力》