推荐网站建设案例,专业做鞋子网站有哪些,承包企业管理系统,网站建设 怎么跑业务简介
在Kubernetes集群中#xff0c;Ingress作为集群内服务对外暴露的访问接入点#xff0c;其几乎承载着集群内服务访问的所有流量。我们知道#xff0c;Nginx Ingress Controller是Kubernetes社区很重要的一个子项目#xff0c;其内部主要依托于高性能的负载均衡软件Ngi…简介
在Kubernetes集群中Ingress作为集群内服务对外暴露的访问接入点其几乎承载着集群内服务访问的所有流量。我们知道Nginx Ingress Controller是Kubernetes社区很重要的一个子项目其内部主要依托于高性能的负载均衡软件Nginx将Kubernetes Ingress资源对象实时地自动化转换为Nginx配置规则来对外提供期望的授权访问入口。
现实问题
当随着Kubernetes集群中部署的微服务越来越多对外暴露的路由规则越来越复杂服务后端Endpoint变化的越来越频繁那么对应地都会引起Nginx Ingress Controller组件内Nginx配置文件的变化越来越频繁而我们知道任何一行Nginx配置的变化都需要Reload Nginx才能生效这在变化频率较低的场景下索性还能接受但在高频率变化的场景下就会引起Nginx的频繁Reload。
而Nginx频繁Reload带来的问题这已是一个老生常谈的话题了其问题本质主要还是源于Nginx本身最初的架构设计模型 一般在Linux服务器中我们会配置使用Nginx的EPOLL多进程模式当我们修改了Nginx配置文件后需要通过
nginx -s reload
命令来重新热加载新的Nginx配置规则
当Nginx Master进程接收到reload signal后其会从指定路径重新加载新的Nginx配置文件内容并校验配置规则的有效性若检验为有效的配置文件则会依据新的配置文件中的worker_processes值fork出指定数量的新的Nginx Worker进程此时新fork出来的子进程完全继承了父进程的内存数据ngx_cycle其包含了新的解析后的Nginx配置规则同时将配置中的每一个Listen Socket FD注册到内核的EPOLL事件监听中此时这些新的Nginx Worker进程可以接收处理来自客户端的请求
同时Nginx Master进程会发送QUIT signal通知老的Nginx Worker进程平滑退出当老的Nginx Worker进程接收到QTUI信号后将其之前注册到EPOLL中的监听Event移除至此不再接收处理新的客户端请求并依据老配置文件中设置的worker_shutdown_timeout值来设置定时器然后继续处理完已接收的客户端请求若在worker_shutdown_timeout之前处理完已有的客户端请求则自动退出若未处理完则被强制Kill退出此时就会导致该客户端请求响应异常。
因此对于在高频率变化的场景下Nginx频繁Reload会带来较明显的请求访问问题
造成一定的QPS抖动和访问失败情况对于长连接服务会被频繁断掉造成大量的处于shutting down的Nginx Worker进程进而引起内存膨胀
动态更新
为缓解Nginx频繁Reload带来的影响我们需要通过动态更新的方式来加载Nginx配置规则即在不Fork新Nginx Worker进程的情况下来实时更新已加载到内存中的Nginx配置规则。
首先我们看下Nginx的配置文件样式主要包含下面几部分配置章节
# 1. main configuration
daemon off;
worker_processes 4;events {# 2. event configurationmulti_accept on;worker_connections 1024;use epoll;
}http {# 3. http main configurationaccess_log /var/log/nginx/access.log;error_log /var/log/nginx/error.log;upstream {# 4. upstream configurationserver 0.0.0.1;}server {# 5. server configurationserver_name _ ;listen 80 default_server;location / {# 6. location configurationproxy_pass http://upstream_balancer;}
}
而在Kubernetes集群中一个Ingress资源对象主要被解析映射到Nginx的HTTP Main Block、Server Block、Upstream Block和Location Block等章节的配置规则上因此我们可以将这几部分频繁变化的配置内容以Shared Memory的方式统一维持在内存中同时在Ingress Controller内部暴露出管控端口通过API的方式来实时管理Nginx路由规则配置
当K8S Ingress Controller监控到集群内Ingress及相关联的资源发生变化时均可通过Internal API将最新的Nginx配置规则推送到统一的共享内存配置中而不用再通过Reload Nginx的方式来使新配置生效至此当Nginx处理任何新接收的客户端请求时都可以基于最新的共享内存中的配置进行规则匹配和路由转发
配置说明
1、目前阿里云容器服务Kubernetes集群中最新版本的Nginx Ingress Controller组件默认已开启Upstream的动态更新同时支持应用服务的灰度发布和蓝绿发布功能具体配置说明可参考这里
我们可以通过如下命令来查看当前共享内存中的Nginx Upstream的配置列表
kubectl -n kube-system exec -it NGINX-INGRESS-CONOTROLLER-POD-NAME -- curl http://127.0.0.1:18080/configuration/backends
2、同时也支持HTTPS证书的动态更新可通过修改nginx-ingress-controller deployment的如下参数配置来开启Nginx Ingress Controller的证书动态更新
- args:- /nginx-ingress-controller- --configmap$(POD_NAMESPACE)/nginx-configuration- --tcp-services-configmap$(POD_NAMESPACE)/tcp-services- --udp-services-configmap$(POD_NAMESPACE)/udp-services- --annotations-prefixnginx.ingress.kubernetes.io- --publish-service$(POD_NAMESPACE)/nginx-ingress-lb- --enable-dynamic-certificatestrue ### 添加该配置- --v2
当开启HTTPS证书的动态更新后Ingress的TLS证书都统一维护在Nginx的共享内存中我们可通过如下命令来查看当前共享内存中配置的证书列表
kubectl -n kube-system exec -it NGINX-INGRESS-CONOTROLLER-POD-NAME -- curl http://127.0.0.1:18080/configuration/certs
3、进一步地我们也支持Nginx Server和Location配置的动态更新可通过修改nginx-ingress-controller deployment的如下参数配置来开启Nginx Ingress Controller的Server和Location的动态更新
- args:- /nginx-ingress-controller- --configmap$(POD_NAMESPACE)/nginx-configuration- --tcp-services-configmap$(POD_NAMESPACE)/tcp-services- --udp-services-configmap$(POD_NAMESPACE)/udp-services- --annotations-prefixnginx.ingress.kubernetes.io- --publish-service$(POD_NAMESPACE)/nginx-ingress-lb- --enable-dynamic-certificatestrue ### 添加该配置- --enable-dynamic-serverstrue ### 添加该配置同时也要enable-dynamic-certificates- --v2
同样地当我们开启了Nginx Ingress Controller的Server动态更新后所有Nginx Server和Location的配置都统一维护在共享内存中我们同样可以通过如下命令来查看当前共享内存中的Server配置列表
kubectl -n kube-system exec -it NGINX-INGRESS-CONOTROLLER-POD-NAME -- curl http://127.0.0.1:18080/configuration/servers
注意说明当开启Server的动态更新特性后部分Ingress Annotation配置暂不支持正在逐步优化支持中相应地您可直接通过ConfigMap方式来进行配置
原文链接 本文为云栖社区原创内容未经允许不得转载。
