独家解读 etcd 3.4版本 |云原生生态周报 Vol. 18

本文涉及的产品
应用实时监控服务-可观测链路OpenTelemetry版,每月50GB免费额度
云原生网关 MSE Higress,422元/月
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 关注“阿里巴巴云原生”公众号,回复关键词“资料”,即可获得 2019 全年 meetup 活动 PPT 合集及 K8s 最全知识图谱。业界要闻etcd 发布 3.4 版本etcd 发布了 3.4 版本,是最近性能提升最大的一次发布,相信各位已经期待已久了!这次升级带来稳定性和性能等方面诸多优化,例如底层存储优化,客户端优化等多个方面。

c1

关注“阿里巴巴云原生”公众号,回复关键词“资料”,即可获得 2019 全年 meetup 活动 PPT 合集及 K8s 最全知识图谱。

业界要闻

etcd 发布 3.4 版本

etcd 发布了 3.4 版本,是最近性能提升最大的一次发布,相信各位已经期待已久了!这次升级带来稳定性和性能等方面诸多优化,例如底层存储优化,客户端优化等多个方面。

「阿里巴巴云原生」公众号将在下周带来更详细的解读分析。

  • 阿里联合谷歌共同研发,raft learner 新特性

使用过 zookeeper 的人一定听说过 observer,etcd 中新的 raft learner 类似于 observer, 它不参与 raft 投票选举。通过这个新的角色的引入,降低了加入新节点时给老集群的额外压力,增加了集群的稳定性。除此之外还可以使用它作为集群的热备或服务一些读请求。
c2

这一新 feature 是由阿里巴巴工程师和谷歌工程师共同研发的,未来我们将带来更详细的解读分析,敬请期待。

  • 更好的底层存储实现

本次 etcd 存储升级针对大规模的集群有重点优化,分为两方面:

  • key/value 存储层,通过将底层读事务优化为全并发,大幅度提升了 etcd 读写性能。经 Kuberentes 5000节点性能测试,表明在大规模读压力下,P99 写的延时降低 97.4%;
  • lease 存储优化,通过优化 lease 底层存储实现和算法更新,将查询,过期失效等 lease 操作时间复杂度降低。并且新的 lease checkpoint 机制确保了 etcd 集群切换 leader 后 lease ttl 的准确。
  • 优化的 raft 投票选 leader 机制

etcd 中用 raft 规定了日志复制和选主的机制。旧有的机制在选主过程中存在隐患,当网络分区或新加入节点不稳定时会出现,导致整个集群不稳定。新的 pre-vote 机制解决这一问题,提升了集群的稳定性。

  • 新的客户端负载均衡

etcd 设计上可以容忍网络分区和服务层的部分失效,但是之前的机制依赖旧的 grpc, 这次更新基于新的 gprc版本重新优化了客户端负载均衡,使负载真正均衡,并且解决了之前 failover 失败问题

阿里巴巴已对这一更新进行了测试,效果良好。此次更新已合入 Kubernetets master, 预计在 Kubernetes 1.16x 版本发布。

Kubebuilder v2.0 正式版发布

对应 controller-runtime v0.2.0 版本,新版的文档说明:https://book.kubebuilder.io 。新旧版本一些区别:

  1. 生成的代码框架调整,目录结构更加扁平化;
  2. controller-runtime 提供的 DelegatingClient 支持 patch 接口(v1.x 时吐槽很多),webhook 不再支持自动生成 cert 证书,目前官方是推荐用户部署 cert-manager 配合使用;
  3. 简化为自定义资源编写 defaults 和 validation 的方法。

5 年了,第一篇 Kubernetes 项目历程报告发布

 https://www.cncf.io/cncf-kubernetes-project-journey/
从报告提供的各类图表中,可以直观感受到 Kubernetes 从 2014 年到今天这 5 年来的变化,以及当前 Kubernetes 在云原生领域和全球的巨大影响力。

c3

上游重要进展

Kubernetes

1.KEP:把 scheduler 中的 priorities、predicates 函数设置为 deprecated

https://github.com/kubernetes/enhancements/pull/1230
因为 scheduling framework 的所有 extension points 都已经实现,并将会在 1.17 中变为 beta 版本,希望将当前 scheduler 中的 priorities、predicates 函数开始设置为 deprecated,并将它们改为 scheduling framework 的插件。

2.KEP:允许 exec 命令使用 -u 参数指定 username

https://github.com/kubernetes/enhancements/pull/1224
按照 KEP 作者的说法,exec 指定 username 便于用户进入容器 debug。但问题在于,CRI 标准接口里是不支持 user 这个 exec 参数的,只是 Docker、Kata、gVisior 这些大多数的 container runtime 实现版本里支持。但社区希望推的是统一接口,尽量抹平不同实现版本的差异性,所以这个 KEP 能否被接受还得打个问号。

3.PR:HPA 中新增 scaling constraints

https://github.com/kubernetes/kubernetes/pull/82256
这个 PR 用于给 HPA 添加 scale down/up 的限制。在 API 层面的改动是在 HorizontalPodAutoscalerSpec 结构中新增了一个 Constraints,HPAScaleConstraints 中定义了 ScaleUp 和 ScaleDown 的限制,在 HPAScaleConstraintRateValue 中支持 3 种限制方式:Pods 数量、Percent 百分比、PeriodSeconds 周期。

4.bugfix

  1. 增加 kube-apiserver 到 aggregated apiserver的discovery 接口超时;https://github.com/kubernetes/kubernetes/pull/82204
  2. 解决因为 klog 的问题导致 CoreDNS crash; https://github.com/kubernetes/kubernetes/pull/82128
  3. kube-apiserver 调用 webhook 升级为 http/1.1。 https://github.com/kubernetes/kubernetes/pull/82090

开源项目推荐

octant 项目

一个基于 web 的轻量级、可扩展的平台,帮助开发者理解复杂的 Kubernetes 集群。
这个 web 平台主要是作为一个工具,给开发者展示一个应用在 Kubernetes 集群中的部署和运行,目前支持的比如资源展示、用于 debug 的端口转发、日志流、多集群管理等等。

kapp 项目

一个命令行工具,帮助用户管理大规模应用部署下的资源。

kapp 工具主要功能包括资源 diffing、label 标记、部署和删除管理等。和 Helm 不同的是,kapp 主要关注的是部署流程,而非打包或者 YAML 模板等,同时在一定程度上支持 GitOps 工作流。

c4

本周阅读推荐

1. 《How  does "kubectl exec" works?》 

通过网路请求和源码分析,解析了一次 kubectl exec 请求是如何从客户端经过 kube-apiserver 和 kubelet,最终建立起到容器内的命令通道。

2. 《Kubernetes Evolution》

访谈了来自22个公司的人员,“你认为 K8s 的未来和最佳机遇是什么?”

3. 《Kubernetes Concerns》

访谈了来自22个公司的人员,“你对当前 K8s 的使用上有什么担心之处?”

4. 《How Kubernetes works》

本文从小白的视角,介绍了 Kubernetes 的集群结构、一些基本的资源概念以及 master/worker 的各类基础组件,适合于没有接触过或刚开始 K8s 的同学阅读。

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
4月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
3月前
|
关系型数据库 分布式数据库 数据库
开源云原生数据库PolarDB PostgreSQL 15兼容版本正式发布
PolarDB进行了深度的内核优化,从而实现以更低的成本提供商业数据库的性能。
|
6月前
|
存储 Kubernetes 安全
云上攻防-云原生篇&K8s安全&Config泄漏&Etcd存储&Dashboard鉴权&Proxy暴露
云上攻防-云原生篇&K8s安全&Config泄漏&Etcd存储&Dashboard鉴权&Proxy暴露
134 5
|
6月前
|
Cloud Native 安全 Docker
云上攻防-云原生篇&Docker安全&系统内核&版本&CDK自动利用&容器逃逸
云上攻防-云原生篇&Docker安全&系统内核&版本&CDK自动利用&容器逃逸
127 5
|
6月前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库AnalyticDB产品使用合集之 orcale的行转列函数wm_concat 在pg版本有对应的相关函数吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
5月前
|
消息中间件 监控 Cloud Native
阿里云云原生生态强调事件驱动架构(EDA),借助EventBridge和EventMesh实现微服务间的高效协作。
【7月更文挑战第3天】阿里云云原生生态强调事件驱动架构(EDA),借助EventBridge和EventMesh实现微服务间的高效协作。EDA提升系统弹性和可维护性,促进业务敏捷性。实施路径包括事件模型设计、集成阿里云服务、开发事件处理器和监控优化。通过阿里云服务,开发者能轻松构建响应式、可扩展的云原生应用,加速创新并驱动数字化转型。
100 0
|
6月前
|
运维 Kubernetes Cloud Native
Canonical 开源 MicroK8 | 云原生生态周报 Vol. 25
Canonical 开源 MicroK8 | 云原生生态周报 Vol. 25
|
7月前
|
消息中间件 监控 Cloud Native
【阿里云云原生专栏】事件驱动架构在阿里云云原生生态中的角色与实施路径
【5月更文挑战第23天】本文探讨了事件驱动架构在阿里云云原生生态中的关键作用,强调其在微服务协同和应用创新中的效率提升。阿里云提供了EventBridge和EventMesh等服务支持EDA,其中EventBridge作为事件中枢,实现跨平台事件传递,而EventMesh提供高性能事件处理。通过事件模型设计、服务集成、开发处理器和监控优化四个步骤,用户可在阿里云上实施事件驱动架构,构建敏捷响应的云原生应用。随着云原生技术发展,EDA将成为企业数字化转型的重要推动力。
123 0
|
6天前
|
Kubernetes Cloud Native 微服务
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
|
24天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####