Nginx后端节点的健康检查

简介本文主要介绍nginx后端节点的健康检查在此之前我们先来介绍下nignx反向代理主要使用的模块。一、nginx原生模块介绍我们在使用nginx做反向代理都会使用到以下两个模块1、ngx_http_proxy_module定义允许将请求传递到另一台服务器。此模块下常用指令如下proxy_pass proxy_cache proxy_connect_timeout proxy_read_timeout proxy_send_timeout proxy_next_upstream2、ngx_http_upstream_module用于定义可由proxy_passfastcgi_pass等指令引用的服务器组。此模块下常用指令如下upstream server ip_hash默认负载均衡配置http { upstream myapp1 { server srv1.example.com; server srv2.example.com; server srv3.example.com; } ​ server { listen 80; ​ location / { proxy_pass http://myapp1; } } }此时nginx默认的负载均衡策略是轮询外还有其他默认参数如下http { upstream myapp1 { server srv1.example.com weight1 max_fails1 fail_timeout10; server srv2.example.com weight1 max_fails1 fail_timeout10; server srv3.example.com weight1 max_fails1 fail_timeout10; } ​ server { listen 80; proxy_send_timeout60; proxy_connect_timeout60; proxy_read_timeout60; proxy_next_upstreamerror timeout; ​ location / { proxy_pass http://myapp1; } } }其中1.故障转移了解Syntax(语法): proxy_read_timeout time; Default(默认): proxy_read_timeout 60s; Context(上下文能够书写该字段的位置): http, server, location #定义从代理服务器读取响应的超时。 仅在两个连续的读操作之间设置超时而不是为整个响应的传输。 如果代理服务器在此时间内未传输任何内容则关闭连接。 ​ Syntax: proxy_connect_timeout time; Default: proxy_connect_timeout 60s; Context: http, server, location #定义与代理服务器建立连接的超时。 应该注意此超时通常不会超过75秒。 ​ ​ Syntax: proxy_send_timeout time; Default: proxy_send_timeout 60s; Context: http, server, location #设置将请求传输到代理服务器的超时。 仅在两个连续的写操作之间设置超时而不是为整个请求的传输。 如果代理服务器在此时间内未收到任何内容则关闭连接 ​ Syntax: proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | http_429 | non_idempotent | off ...; Default: proxy_next_upstream error timeout; Context: http, server, location #指定在何种情况下一个失败的请求应该被发送到下一台后端服务器 #error 和后端服务器建立连接时或者向后端服务器发送请求时或者从后端服务器接收响应头时出现错误 #timeout 和后端服务器建立连接时或者向后端服务器发送请求时或者从后端服务器接收响应头时出现超时 #invalid_header 后端服务器返回空响应或者非法响应头 #http_500 后端服务器返回的响应状态码为500 #http_502 后端服务器返回的响应状态码为502 #http_503 后端服务器返回的响应状态码为503 #http_504 后端服务器返回的响应状态码为504 #http_404 后端服务器返回的响应状态码为404 #off 停止将请求发送给下一台后端服务器从以上几个指令可以看出在默认配置下后端节点一旦出现error和timeout情况时nginx会通过proxy_next_upstream进行故障转移将发往不健康节点的请求自动转移至健康节点。其中timeout设置和proxy_send_timeout time、proxy_connect_timeout time、proxy_read_timeout time有关。除了error、timeout我们可以设置更详细的触发条件如http_502、http_503等。注意只有在没有向客户端发送任何数据以前将请求转给下一台后端服务器才是可行的。也就是说如果在传输响应到客户端时出现错误或者超时这类错误是不可能恢复的。2.健康检查Syntax: server address [parameters]; Default: — Context: upstream max_failsnumber 设定Nginx与服务器通信的尝试失败的次数。在fail_timeout参数定义的时间段内如果失败的次数达到此值Nginx就认为服务器不可用。此时在接下来的fail_timeout时间段服务器不会再被尝试。失败的尝试次数默认是1。设为0就会停止统计尝试次数即不对后端节点进行健康检查。认为服务器是一直可用的。 ​ fail_timeouttime 设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中服务器失败次数达到指定的尝试次数服务器就被认为不可用。 默认情况下该超时时间是10秒。以上有几点需要解释1.失败次数中的失败是怎么定义的官网解释是指由proxy_next_upstreamfastcgi_next_upstreamuwsgi_next_upstreamscgi_next_upstreammemcached_next_upstream和grpc_next_upstream指令定义也是前面说的error、time、http_xxx状态码等。2.如果mail_fail为0此时健康检查无效。因此此时整个nginx只会由proxy_next_upstream判断进行相关故障转移。小结在使用nginx上述的两个模块由以下缺点1.fail_time内的失败检测超时时间以系统设置为主效率低等待超时影响性能2.后端一旦有问题除后端禁用的fail_time时间段其他时间nginx会把请求转发给不健康节点的然后再转发给别的服务器这样以来就浪费了一次转发。因此除了上面介绍的nginx自带模块还有一个更专业的模块来专门提供负载均衡器内节点的健康检查的。这个就是淘宝技术团队开发的nginx模块。二、nginx_upstream_check_module模块高版本Nginx没有适配借助淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的健康状态如果后端服务器不可用则会将其踢出upstream所有的请求不转发到这台服务器。当期恢复正常时将其加入upstream。在淘宝自己的tengine上是自带了该模块的大家可以访问淘宝Tengine官网来获取该版本的nginx也可以到Gitbub如果没有使用淘宝的tengine的话可以通过补丁的方式来添加该模块到我们自己的nginx中。下载地址1https://github.com/yaoweibin/nginx_upstream_check_module下载地址2https://download.csdn.net/download/m0_60821938/89913605#打补丁 #注意不同版本对应的补丁 cd nginx-1.6.0 patch -p1 ../nginx_upstream_check_module-master/check_1.5.12.patch ./configure --usernginx --groupnginx --prefix/usr/local/nginx1.6 --sbin-path/usr/local/nginx1.6 --conf-path/usr/local/nginx1.6/nginx.conf --pid-path/var/run/nginx.pid --lock-path/var/run/nginx.lock --with-http_ssl_module --with-http_stub_status_module --with-http_gzip_static_module --with-http_gunzip_module --with-http_sub_module --with-pcre/usr/local/src/nginx/pcre-8.36 --with-zlib/usr/local/src/nginx/zlib-1.2.8 --add-module/usr/local/src/nginx/ngx_cache_purge-2.1 --add-module/usr/local/src/nginx/headers-more-nginx-module-master --add-module/usr/local/src/nginx/nginx_upstream_check_module-master ​ make #不要执行make install命令 ​ cd /usr/local/nginx1.6 #备份命令 cp nginx nginx.bak nginx -s stop cp -r /usr/local/src/nginx/nginx-1.6.0/objs/nginx .打完补丁后可进行如下配置http { ​ upstream cluster { ​ # simple round-robin ​ server 192.168.0.1:80; server 192.168.0.2:80; ​ check interval5000 rise1 fall3 timeout4000; ​ #check interval3000 rise2 fall5 timeout1000 typessl_hello; ​ #check interval3000 rise2 fall5 timeout1000 typehttp; #check_http_send HEAD / HTTP/1.0\r\n\r\n; #check_http_expect_alive http_2xx http_3xx; } ​ server { listen 80; ​ location / { proxy_pass http://cluster; } ​ location /status { ###openeuler中使用不正常 check_status; ​ access_log off; allow 192.168.166.1; ## 允许访问状态页面的客户端地址 deny all; } } ​ }其中Syntax: check intervalmilliseconds [fallcount] [risecount] [timeoutmilliseconds] [default_downtrue|false] [typetcp|http|ssl_hello|mysql|ajp] [portcheck_port] Default: 如果没有配置参数默认值是interval30000 fall5 rise2 timeout1000 default_downtrue typetcp Context: upstream 该指令可以打开后端服务器的健康检查功能。指令后面的参数意义是 interval向后端发送的健康检查包的间隔,单位为毫秒。 fall(fall_count): 如果连续失败次数达到fall_count服务器就被认为是down。 rise(rise_count): 如果连续成功次数达到rise_count服务器就被认为是up。 timeout: 后端健康请求的超时时间单位毫秒。 default_down: 设定初始时服务器的状态如果是true就说明默认是down的如果是false就是up的。默认值是true也就是一开始服务器认为是不可用要等健康检查包达到一定成功次数以后才会被认为是健康的。 type健康检查包的类型现在支持以下多种类型 tcp简单的tcp连接如果连接成功就说明后端正常。 ssl_hello发送一个初始的SSL hello包并接受服务器的SSL hello包。 http发送HTTP请求通过后端的回复包的状态来判断后端是否存活。 mysql: 向mysql服务器连接通过接收服务器的greeting包来判断后端是否存活。 ajp向后端发送AJP协议的Cping包通过接收Cpong包来判断后端是否存活。 port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口比如后端提供的是443端口的应用你可以去检查80端口的状态来判断后端健康状况。默认是0表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。 Syntax: check_keepalive_requests request_num Default: 1 Context: upstream 该指令可以配置一个连接发送的请求数其默认值为1表示Tengine完成1次请求后即关闭连接。 Syntax: check_http_send http_packet Default: GET / HTTP/1.0\r\n\r\n Context: upstream 该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量推荐采用HEAD方法。 当采用长连接进行健康检查时需在该指令中添加keep-alive请求头如HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n。 同时在采用GET方法的情况下请求uri的size不宜过大确保可以在1个interval内传输完成否则会被健康检查模块视为后端服务器或网络异常。 ​ Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ] Default: http_2xx | http_3xx Context: upstream 该指令指定HTTP回复的成功状态默认认为2XX和3XX的状态是健康的。例子如下server{ listen 80; upstream test{ server 192.168.3.12:8080 weight5 max_fails3 fail_timeout10s; server 192.168.3.13:8080 weight5 max_fails3 fail_timeout10s; check interval5000 rise1 fall3 timeout4000 typehttp default_downfalse; check_http_send HEAD /index.html HTTP/1.0\r\n\r\n; check_http_expect_alive http_2xx http_3xx; } ​ location / { ​ proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://test; proxy_next_upstream error timeout http_500 http_502 http_503; } #后端阶段健康状态监控 location /status { check_status; access_log off; } }以上我们同时使用了nginx原生的及淘宝的健康检查模块但是淘宝的间隔时是毫秒级而且可以自定义监控url定制监控页响应速度快比原生的敏感度要高。三、使用阿里巴巴的tengine实现后端节点状态检查1、安装tengineunzip tengine-3.1.0.zip cd tengine-3.1.0/ ./configure --prefix/usr/local/tengine --add-module/root/tengine-3.1.0/modules/ngx_http_upstream_check_module make make install2、修改配置文件user nginx; worker_processes 1; error_log logs/error.log info; error_log pipe:rollback logs/error_log interval1d baknum7 maxsize2G; pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; log_format main $remote_addr - $remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $http_x_forwarded_for; access_log logs/access.log main; access_log pipe:rollback logs/access_log interval1d baknum7 maxsize2G main; sendfile on; keepalive_timeout 65; gzip on; upstream webs { server 192.168.166.10:80; server 192.168.166.13:80; check interval5000 rise1 fall3 timeout4000 typehttp default_downfalse; check_http_send HEAD /index.html HTTP/1.0\r\n\r\n; check_http_expect_alive http_2xx http_3xx; } server { listen 80; server_name localhost; location / { proxy_pass http://webs; } location /status { check_status html; access_log off; allow all; deny all; } error_page 500 502 503 504 /50x.html; location /50x.html { root html; } } }