网络

wrk 压测
perf 系统性能分析工具

overlay 多了一个解封包的动作，其次每个包的有效长度要去掉封装的包头，这是性能差的主要原因，纯三层的underlay模式性能就有很大的提升。其次你访问svc 的方式，无论是通过clusterIP 还是node port 都需要经过kube-proxy ，kube-proxy iptables 模式性能瓶颈很明显，可以换成ipvs 模式再试一下，当然换成cilium 的ebpf 去掉kube-proxy性能提升会更明显

所以分布式水平无限扩容只是个噱头，实际会随着各个节点间的通信慢慢成为瓶颈

macvlan/ipvlan提升网络性能外，我们还可以使用Cilium来提升性能，Cilium为云原生提供了网络、可观测性、网络安全等解决方案，同时它是一个高性能的网络CNI插件，高性能的原因是优化了数据发送的路径，减少了iptables开销

大规模集群

https://andblog.cn/3096

https://zhuanlan.zhihu.com/p/73125817

https://cloud.tencent.com/developer/article/1553950

阿里巴巴通过一系列的增强与优化，成功将 Kubernetes 应用到生产环境并达到了单集群 10000 节点的超大规模，具体包括：

1. 通过将索引和数据分离、数据 shard 等方式提高 etcd 存储容量，并最终通过改进 etcd 底层 bbolt db 存储引擎的块分配算法，大幅提高了 etcd 在存储大数据量场景下的性能，通过单 etcd 集群支持大规模 Kubernetes 集群，大幅简化了整个系统架构的复杂性；
2. 通过落地 Kubernetes 轻量级心跳、改进 HA 集群下多个 API Server 节点的负载均衡、ListWatch 机制中增加 bookmark、通过索引与 Cache 的方式改进了 Kubernetes 大规模集群中最头疼的 List 性能瓶颈，使得稳定的运行万节点集群成为可能；
3. 通过热备的方式大幅缩短了 controller/scheduler 在主备切换时的服务中断时间，提高了整个集群的可用性；
4. 阿里巴巴自研调度器在性能优化上最有效的两个思路：等价类处理以及随机松弛算法。