探讨4层代理和7层代理行为以及如何获取真实客户端IP

准备工作

实验环境

IP	角色
192.168.1.100	客户端请求IP
192.168.1.100	python 启动的HTTP服务
192.168.1.102	nginx服务
192.168.1.103	haproxy 服务

HTTP服务

这是一个简单的HTTP服务，主要打印HTTP报文用于分析客户端IP

#!/usr/bin/env python
# coding: utf-8import socket
from threading import Thread# 创建socket对象
sock_srv = socket.socket()# 绑定IP和port
sock_srv.bind(('0.0.0.0', 5001))# 开启服务
sock_srv.listen()# 定义一个函数, 处理来自客户端链接的处理
def socket_deal(conn: socket.socket, address: tuple):# 通过socket获取客户端的IP; 这里的客户端IP其实指的是TCP报文中的原始IP和原始Port# 就是上一个发起TCP发起的地址 print(address)# 打印HTTP的报文print(conn.recv(1024).decode())# 不做特殊处理，所有的请求均返回Hello Wordtemplate = """
HTTP/1.1 200 OK
Service: HTTP
Version: 1.1.2.2<h1>hello word</h1>"""conn.send(template.encode())# 关闭此次HTTP的请求conn.close()while True:# 接受Client的数据请求conn, address = sock_srv.accept()Thread(target=socket_deal, args=(conn, address)).start()

Nginx报文分析

nginx 4层代理

• 配置启动4层代理, 并请求 http://192.168.1.102 并观察 101 的请求信息

stream {server {listen 80 ;proxy_pass 192.168.1.100:5001;  		# Python的HTTP服务# proxy_protocol on;					# 可选性, 4层携带真实IP}
}

• 客户端请求4层转发，默认不传递客户端IP。

# print(address), 可以从socket得到客户端IP
('192.168.1.102', 52842)# 得到HTTP的报文信息如下
GET / HTTP/1.1
Host: 192.168.1.102
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9

• 客户端请求4层转发，要求传递客户端IP。

# print(address), 可以从socket得到客户端IP
('192.168.1.102', 52848)# 得到HTTP的报文信息如下，多了一行PROXY。其余信息不变
PROXY TCP4 192.168.1.100 192.168.1.102 55360 80
GET / HTTP/1.1
Host: 192.168.1.102
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9

nginx 7层代理

• 配置文件

server {                                                                           listen       80;                                                               server_name  localhost;                                                        location / {                                                                   proxy_pass http://192.168.1.100:8000/;                                                                         # proxy_set_header X-Forwarded-For $remote_addr;   # nginx 去掉注释请求携带客户端真实IP                                }                                                                              }

• 客户端请求7层代理，默认不传递客户端IP真实IP。

# print(address), 可以从socket得到客户端IP
('192.168.1.102', 52854)# 得到HTTP的报文信息如下.
GET / HTTP/1.0
Host: 192.168.1.100:5001
Connection: close
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9

• 客户端请求7层，要求传递客户端IP真实IP。

# print(address), 可以从socket得到客户端IP
('192.168.1.102', 52858)# 得到HTTP的报文信息如下，多了一行PROXY。其余信息不变
GET / HTTP/1.0
Host: 192.168.1.100:5001
Connection: close
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
X-Forwarded-For: 192.168.1.100

分析NGINX获取客户端IP方法

方式	修改header信息	是否修改原始报文	获取客户端IP方式
4层转发不带客户端IP	不修改	不修改	服务端可以获取上一层发起请求的socket 源IP, 但不是客户端真实IP
4层转发携带客户端IP	不修改	原始报文前增加PROXY格式内容	通过PROXY内容可以获取客户端IP
7层转发不带客户端IP	不修改	nginx重新封装HTTP报文	服务端 socket 获取
7层转发携带客户端IP	nginx 通过增加header信息传递客户端IP	nginx重新封装HTTP报文	通过nginx封装的报文获取XFF

1. 7层代理会对报文进行重新封装，封装过程中可以通过增加XFF的header传递客户端IP。

2. 4层转发不会修改报文。在不修改HTTP报文前提下，前置补充代理信息, 格式: PROXY TCP 客户端IP 代理端IP 客户端端口 代理端端口

Haproxy 代理分析

Haproxy 4层代理

• 配置

defaultsmode                    tcpfrontend  main *:80default_backend             appbackend appbalance     roundrobinserver  app1 192.168.1.100:5001 check # 不携带真实IP# server  app1 192.168.1.100:5001 send-proxy check  # 携带真实IP

• 客户端请求4层转发，默认不要求传递客户端IP

# print(address) 获取客户端的address信息
('192.168.1.103', 56790)# 这个信息和NGINX 4层信息一样
GET / HTTP/1.1
Host: 192.168.1.103
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9

• 客户端请求4层转发，要求传递客户端IP

# print(address) 获取客户端的address信息
('192.168.1.103', 58410)# 与Nginx 4层带真实IP一样, 报文之前增加了PROXY信息
PROXY TCP4 192.168.1.100 192.168.1.103 57871 80
GET / HTTP/1.1
Host: 192.168.1.103
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9

Haproxy 7层代理

• 配置

defaultsmode                    httpoption forwardfor       except 127.0.0.0/8   # 默认携带客户端IP，frontend  main *:80default_backend             appbackend appbalance     roundrobinserver  app1 192.168.1.100:5001 check 

• 客户端请求7层代理，默认传递客户端IP

# print(address) 获取客户端的address信息
('192.168.1.103', 53178)# 与Nginx 7层带客户端IP一样, 报文包含X-Forwarded-For
GET /favicon.ico HTTP/1.1
Host: 192.168.1.103
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: image/avif,image/webp,image/apng,image/svg+xml,image/*,*/*;q=0.8
Referer: http://192.168.1.103/
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
X-Forwarded-For: 192.168.1.100
Connection: close

• 客户端请求7层代理，注释不传递客户端IP

# print(address) 获取客户端的address信息
('192.168.1.103', 53576)# 与Nginx 7层不传递客户端IP一样, 报文包含没有X-Forwarded-For
GET / HTTP/1.1
Host: 192.168.1.103
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Connection: close

分析Haproxy获取客户端IP方法

其实和nginx一样

方式	修改header信息	是否修改原始报文	获取客户端IP方式
4层转发不带客户端IP	不修改	不修改	服务端可以获取上一层发起请求的socket 源IP, 但不是客户端真实IP
4层转发携带客户端IP	不修改	原始报文前增加PROXY格式内容	通过PROXY内容可以获取客户端IP
7层转发不带客户端IP	不修改	nginx重新封装HTTP报文	服务端 socket 获取
7层转发携带客户端IP	nginx 通过增加header信息传递客户端IP	nginx重新封装HTTP报文	通过nginx封装的报文获取XFF

案例小结

上述操作主要是完成: Nginx和Haproxy两款服务分别完成: 4层转发和7层代理。 携带IP与不携带客户端IP配置上的区别和报文展示

转发方式	传递方式	特点
7层代理	增加HTTP报文的header信息X-Forwarded-For, 进行传递客户端IP	在原始报文进行修改
4层代理	在HTTP报文前方附加一层PROXY信息, 进行传递客户端IP	不修改原始报文，在HTTP报文前方附加数据

提前了解一下: NGINX中参数设定protocol。开启后可以处理 “在HTTP报文前方附加数据” 混淆的HTTP报文结构

附伪代码获取客户端IP

#!/usr/bin/env python
# coding: utf-8
import socket
from threading import Thread# 创建socket对象
sock_srv = socket.socket()# 绑定IP和port
sock_srv.bind(('0.0.0.0', 5001))# 开启服务
sock_srv.listen()# 简单的Response结构
def response(content, status, msg, conn):template = """
HTTP/1.1 %d %s
Service: HTTP
Version: 1.1.2.2
Content-Type: text/html; charset=UTF-8
Connection: close%s  """ % (status, msg, content)return conn.send(template.encode())# 定义一个函数, 处理来自客户端链接的处理
def socket_deal(conn: socket.socket, address: tuple):try:# 通过socket获取客户端的IP; 这里的客户端IP其实指的是TCP报文中的原始IP和原始Port# 就是上一个发起TCP发起的地址_client_ip, _client_port = addressdata = conn.recv(1024).decode()# 打印HTTP的报文_data_lines = data.splitlines()# 代理模式_proxy_type = "可能HTTP代理"# header 信息收集extend_data = ["header信息", ]for line in _data_lines:# 如果4层传递客户端IP，会得到如下信息。if line.startswith('PROXY'):# PROXY TCP4 192.168.1.100 192.168.1.102 55360 80_, protocol, _c_ip, _p_ip, _c_port, _p_port = line.split()if protocol != 'TCP4':response("PROXY ERROR", 500, "PROXY_ERROR", conn)else:_proxy_type = "TCP代理"_client_ip = _c_ip# 有时候报文只收到PROXY信息, 就需要第二次接收报文信息if len(_data_lines) == 1:socket_deal(conn, (_c_ip, _c_port))return# 如果一次性收完报文信息则继续处理else:continueif ":" not in line:# 不是K:V 形式，那不是header。 可能是post数据, 也可能是HTTP协议。 此处忽略continue# 拿到header信息header_key, header_value = [item.strip() for item in line.split(":", 1)]if header_key == 'X-Forwarded-For':_client_ip = header_value# header 信息入库extend_data.append(":".join((header_key, header_value)))content = ["真实的客户端IP可能是" + _client_ip, "<br />"]content.extend(extend_data)response("<br />".join(content), 200, 'ok', conn)except Exception as e:print(e)finally:# 关闭此次HTTP的请求conn.close()while True:# 接受Client的数据请求conn, address = sock_srv.accept()Thread(target=socket_deal, args=(conn, address)).start()

实践: NGINX与HAProxy结合使用。

准备环境

IP	角色	标记	说明
192.168.1.100	客户端请求IP	client	浏览器请求4层转发到后端HTTP服务
192.168.1.102	NGINX实现提供4层转发	NGINX-PROXY	转发到104服务器
192.168.1.103	Haproxy提供4层转发	HAProxy	4层转发到102的7层
192.168.1.104	NGINX 7层服务	NGINX-HTTP	代表HTTP服务器。直接返回，并观察日志

1. 启动一台NGINX HTTP服务器，扮演正常访问的网站。 代号NGINX-HTTP
2. 另启动一台NGINX服务器，实现四层转发功能到NGINX HTTP服务器，代号NGINX-PROXY
3. 启动一台HAProxy服务器，实现四层转发功能到NGINX HTTP服务器，代号HAProxy
4. 在客户端分别访问NGINX-PROXY和HAProxy, 并采集NGINX-HTTP的日志
5. 在NGINX-PROXY和HAProxy交叉请求CURL，并携带Header信息: X-FORWARDED-FOR, 并采集NGINX-HTTP的日志
6. PROXY-PROTOCOL, 是四层转发开启携带真实IP补充协议，即: 在HTTP报文前方附加的数据。 参考文档

NGINX-HTTP服务器

• HTTP服务主要配置
• 因为4层转发携带了真实IP后, NGINX收到的不再是一个纯粹的HTTP报文。 所以需要在NGINX服务开启如下设置。 参考文档

http {# r:访问IP, 也就是代理端IP。 # P: PROXY-PROTOCOL的IP，也就是4层转发携带的补充报文的IP，也就是客户端IP。 # xff: 藏在Header中的X-Forwarded-For的IP。log_format  proxy_protocol_log  'r: $remote_addr p: $proxy_protocol_addr xff: $http_x_forwarded_for';server {access_log logs/proxy_protocol_access.log proxy_protocol_log;	# 观察IP: 访问IP，代理IP，XFFerror_log logs/proxy_protocol_error.loglisten       80 ;               		# 接收HTTP报文走80端口                                        listen       8000 proxy_protocol;     	# PROXY PROTOCOL 走8000端口，PROTOCOL 是通过四层转发获取真实IP的补充协议               server_name  localhost;   location / {root html;index index.html;}}
}

NGINX-PROXY服务器

关键配置

stream {server {listen 80 ;proxy_protocol on; 	# 需要开启使用PROXY PROTOCOL协议。proxy_pass 192.168.1.104:8000;}
}

浏览器访问, NGINX-HTTP(192.168.1.104)输出日志信息

tail logs/proxy_protocol_access.log
r: 192.168.1.102 p: 192.168.1.100 xff: -

CURL访问，NGINX-HTTP(192.168.1.104)输出日志信息

tail logs/proxy_protocol_access.log
r: 192.168.1.102 p: 192.168.1.103 xff: 192.168.1.199

HAProxy服务器

关键配置

defaultsmode  tcpbackend appbalance     roundrobinserver  app1 192.168.1.104:8000 send-proxy  	# send-proxy 开启支持PROXY-PROTOCOL

浏览器访问, NGINX-HTTP(192.168.1.104)输出日志信息

tail -f logs/proxy_protocol_access.log
r: 192.168.1.103 p: 192.168.1.100 xff: -

CURL访问，NGINX-HTTP(192.168.1.104)输出日志信息

tail -f logs/proxy_protocol_access.log
r: 192.168.1.103 p: 192.168.1.102 xff: 192.168.1.199

再次小结

我们尝试结合常见配置结构进行验证。 可以初步发现

1. 4层转发携带客户端IP是需要使用PROPXY-PROTOCOL协议支持。客户端IP会补充在这个协议内
2. 作为4层转发端，因为4层转发不修改报文，所以在HTTP报文前添加PROPXY-PROTOCOL信息。
   • 4层转发服务器需要开启 protocol 支持发送PROXY-PROTOCOL+HTTP的混淆报文结构
   • 4层目标服务器需要开启 protocol 支持接收PROXY-PROTOCOL+HTTP的混淆报文结构
3. 使用补充PROXY-PROTOCL后，HTTP的报文不在是一个纯粹的报文结构，所以作为服务网端NGINX开启了两种模式
   • listen 80; 支持处理普通HTTP请求，
   • listen 80 protocol; 支持处理PROXY-PROTOCOL + HTTP报文的形式。这也是四层代理携带IP的特有形式
4. 在选择HTTP服务器时，需要考虑HTTP服务是否支持PROXY-PROTOCOL。