nginx系列--（三）--http

本文主要介绍http模块accept read流程，！！！请求对应的响应直接在read流程里就会返回给用户，而不需要通过write事件，和redis一样，基本都不通过eventloop write事件来发送响应给客户端，除非一次发送不完，nginx write事件则只会写邮件的时候ssl ocsp的时候才会触发，略，

！！！http模块和stream模块的实现原理基本一样，都是通过handler来执行差异化操作，而主eventloop流程用的都是同一套代码

下拉刷新：间歇性奖励

无线上划：人类在没有标识的情况下很容易过量

#访问localhost:10086/hello返回的是nginx/html/hello/index.html
location /hello {root html; #root表示设置根目录，然后会自动访问hello目录，即要求location 路径对应的目录要一致index  index.html index.htm;
}#访问localhost:10086/hello返回的是nginx/html/index.html
location /hello {alias html;    #alias表示直接用这个目录index  index.html index.htm;
}

！！！笔记：源码流程第一个断点最好不要用入口点，而是要打在执行流程中，比如你要debug http处理请求流程，那么就不要把第一个断点打在请求分发的地方，因为这个dispatch点是可以接受各种不同类型的请求，后续会因为请求会走不同的调用路线，所以我们最好打在具体流程中，即我们要debughttp流程，那么就把断点打在http_handler中，而不是打在调用httphandler的地方，因为调用者肯定是调用handler，而handler是一个指针，不同请求，handler值不同，所以应该直接打在http_handler中，然后有http_handler再网上。可以在handler中打断点，但这样需要step_into往下走才知道在哪里会走到handler，在哪跳转到http_handler，所以直接在http_handler中打断点然后往上回溯要比handler中打断点，然后一行一行step into要简单的多。反正断点的核心就是关键路径上多打几个断点。

！！！注意：nginx是多进程，需要特殊设置，否则因为处理都是在子进程中而导致我们打的断点不起作用

！！！nginx是每个worker都可以同时处理监听套接字以及客户端套接字，nginx并没有分配一个专门的进程来处理监听套接字，而是每个worker在每一轮事件循环开始前都竞争一次accept_mutex，！！！每一轮都竞争accept_mutex肯定会降低效率的，不过如果启用了linux epoll的epollexclusive，就可以不开启accept_mutex，因为此时只会有一个进程的epoll中的listen fd会触发读事件，这是linux操作系统提供的，此时则不用每次都竞争accept_mutex锁，也就是说accept_mutex锁此时会失效，不过nginx肯定会对这个进行一个封装。

nginx可以关闭后台模式；nginx也可以以单进程多线程的方式运行

笔记：nginx对请求的处理流程是一样的，eventloop_for_死循环+epoll_wait+for_所有fd+handler，然后handler是一个指针，也就是说流程是一样的，只是调用的handler不同而已，注意，handler不止一个，他用一个数组来存，并按顺序调用，因为这个handler是注册制的，就是说如何处理tcp/udp发来的数据，完全由注册的handler决定，也就是说如果要是nginx支持自定义的x协议，那么流程如下：1：把handler数组册到指定的handler中；2：handler中的数组要有序，因为他是按顺序调用的，所以我们只要按顺序来注册，那么就可以保证请求按我们指定的流程来处理。

笔记：自己读完以后再去网上找文章查看对应的文章

！！！笔记：默认nginx应用层只支持http，所以conf里最外层的http{xxx}就告诉nginx这个块对应的是http模块。默认的nginx传输层支持TCP和udp，所以conf里最外层的stream{xxx}就告诉nginx这个块对应的是tcp/udp，也就是说我们的处理函数接触的是传输层的原始字节流，我们可以选择转发也可以选择自己解析成应用层协议进一步处理。原始字节流的含义取决于我们怎么解析。nginx的http模块就相当于在原始的stream模块之上添加了http字节流解析模块，这个模块可以把字节流解析成http协议，nginx的http模块把这一切都实现了，就无须我们自己实现了。

！！！笔记：nginx的http模块把http协议的处理分成了11个阶段，而stream模块则分成了7个阶段

！！！笔记：nginx 根据conf中的分块名来调用对应的模块。nginx中http模块和stream模块在系统中的名字分别是http和stream，如果把http模块注册的名字改成http_abc，那么conf中对应的http{xx}就要改成http_abc{xx}，否则就会报错找不到对应的模块

！！！笔记（猜测）：如果要nginx支持新的应用层协议，那么就只能自己实现新的xx模块，然后配置文件里就能用xx{yy}来定义了，不过这样如果自己实现的话工作量就打了，要自己来解析配置，就很麻烦了

如果要支持

2：http处理流程

直接百度断点ngx_http_handler+搜索epoll_wait打下断点，一共两个断点，就可以抓住主线

2-1：模块启动和listenfd注册到epoll流程

笔记：流程同stream模块一模一样，已经在stream文章的模块启动部分叙述了，这里不再重复，只是简单记录一下

nginx.mainngx_cycle.ngx_init_cyclengx_conf_file.ngx_conf_parse     for ; ;                        ......cmd->set                                   #cmd->set就是各个模块对应的set函数，不同的模块对应不同的函数#比如stream模块就调用ngx_stream_block，http就用ngx_http_block#！！！也就是说nginx用函数指针来实现了一种多态的效果#！！！也就是说可以用同一套代码流程来加载http、stream模块3: http块，这是最顶层的http 块           ngx_http.ngx_http_block                              ngx_conf_file.ngx_conf_parse           ......ngx_http.ngx_http_init_phases        ngx_http.ngx_http_init_phase_handlers  ngx_http.ngx_http_optimize_servers  ngx_http.ngx_http_init_listening   ngx_http.ngx_http_add_listeningls=ngx_create_listening  ls.handler=ngx_http_init_connection      #！！！listenfd对新连接的处理函数设置为ngx_http_init_connection#！！！stream模块中则设置为ngx_stream_init_connection#！！！再次强调，ngx通过函数指针来模拟了多态，#！！！也就是同一套代码可以同时处理httpfd和streamfd#！！！下面的代码不管是http还是stream，都是同一个处理流程：注册到epollfd#！！！因为nginx中http和strema模块的不同在于处理函数的不同，而nginx把不同的handler封装在event_t结构体中#！！！而event_t结构体又包含在connection结构体中，clientfd存在epollfd中的就是connection结构，#！！！也就是说不管是http还是stream，用的都是connection结构，而他们的区别只有字段值的不同#！！！正因为如此，所以可以用同一个epollfd来同时处理httpserver-listenfd、streamserver-listenfd#！！！、httpclientfd、streamclientfd、streamupstreamfd上的读写事件......ngx_process_cycle.ngx_master_process_cycle      ngx_process_cycle.ngx_start_worker_processes  ......unistd.fork                                                          #fork子进程......rev->handler = ngx_event_accept;                           #！！！设置accept事件的处理函数为ngx_event_accept#！！！nginx把fd、handler都封装在ngx_event_t结构体中#！！！然后ngx_event_t结构又封装在connection结构中#！！！connection结构会作为epoll_events的data字段丢到epollfd中#！！！封装使得epoll_eventloop流程代码可以通用#！！！即不论是httpfd事件还是streamfd事件还是listenfd事件ngx_add_event(rev, NGX_READ_EVENT, NGX_EXCLUSIVE_EVENT)    #！！！注册listenfd的read事件到epollfd，并且是exclusive模式#！！！accept_handler为ngx_event_acceptee.data.ptr = (void *) ((uintptr_t) c | ev->instance)    #data字段为c,c是一个connection对象指针epoll_ctl(ep, op, c->fd, &ee)                            #这样我们直接从data取出connection对象#也就是说connection对象保存了一个连接的所有状态#redis也是一样的操作，所以epoll类型的应该都是一样的操作......2：执行eventloop，略，详情见eventloop源码流程

1-2：http listenfd accept流程

ngx_proces_cycle.ngx_worker_process_cycle                          #这里是子进程里面的流程1：！！！初始化eventloop（初始化+注册相关fd到eventloop）......ngx_add_event(rev, NGX_READ_EVENT, NGX_EXCLUSIVE_EVENT)        #！！！注册listenfd的read事件到epollfd，并且是exclusive模式......2：！！！执行eventLoopfor ; ;                                                          #死循环，即eventloop,事件循环ngx_event.ngx_process_events_and_timers                        #处理事件和定时器  ngx_epoll_module.ngx_epoll_process_events                    #到此处时已经是epoll_wait返回的fd了，所以直接处理fd就行了#！！！如果触发了读事件就调用rev->handler（rev=connection->read_events）#！！！如果触发了写事件就调用wev->handler（wev=connection->write_events）wev = c->write;if ((revents & EPOLLOUT) && wev->active) wev->ready = 1;wev->handler                                             #accept只注册了read事件，没有注册write事件，所以revents&EPOLLOUT=0#！！！accept事件对应读事件，所以调用rev->handlerif ((revents & EPOLLIN) && rev->active) :  rev->ready = 1;ngx_event_accept.ngx_event_accept              #不管是http还是stream，listenfd注册流程都是一样的以及accept函数都是一样的#因为所有的不同都封装在handler中，#即conection里的read_events/write_events对象的handler中
----------------在此之上的流程和stream accept一模一样----------------------------------------------------ngx_http_request.ngx_http_init_connection    #！！！即ls->handler,nginx通过函数指针来实现同一套代码同时处理http和stream#笔记：listenfd对应的read events handler为ngx_event_accept#此处的ls->handler是用来处理新建立的连接的#比如stream模块中对应的ls->handler就是与upsteam建立连接#同样的，ngx_http_init_connenction和#ngx_stream_init_connection的逻辑基本是一样的#只不过ngx_http_init_connection少了个连接upstream的操作#笔记：stream_init_connection中设置了clientfd.rev.handler=ngx_stream_session_handler;#但是在cscf->handler即ngx_stream_proxy_handler中#会重新设置为ngx_stream_proxy_downstream_handler;#笔记：clientfd放在session中，然后传递session给这个函数rev = c->read;rev->handler = ngx_http_wait_request_handler; #！！！设置http clientfd的read_events_handler#ngx_http_finalize_request中调用ngx_http_finalize_connection时#会根据是否开启keepalive选项来决定是否把rev->handler设置为ngx_http_keepalive_handler#默认是会的，也就是第一次是走wait_request_handler#但是第二个请求就会走keepalive_handler了c->write->handler = ngx_http_empty_handler;   ngx_event.ngx_handle_read_event               #把clientfd注册到epollfd中#笔记：http模块中accept时就注册到epollfd中了#而stream模块则是等到upstream处理第一次write时才会注册到epollfd中#！！！#define NGX_CLEAR_EVENT EPOLLET 就是说nginx默认是边缘触发ngx_event_accept.ngx_reorder_accept_events    #处理accept公平问题，略

1-3：eventloop过程中，http clientfd对应的读事件处理流程

nginx.mainngx_process_cycle.ngx_master_process_cycle......unistd.fork                                                        #fork子进程......ngx_proces_cycle.ngx_worker_process_cycle                          #这里是子进程里面的流程1：！！！初始化eventloop（初始化+注册相关fd到eventloop）......2：！！！执行eventLoopfor ; ;                                                          #死循环，即eventloop,事件循环ngx_event.ngx_process_events_and_timers                        #处理事件和定时器ngx_epoll_module.ngx_epoll_process_eventsunistd.epoll_wait#本次处理clientfd read eventsngx_http_request.ngx_http_keepalive_handler                #ngx_http_request.ngx_http_wait_request_handler处理新连接，这个处理旧连接#处理流程很简单，就是一个http协议解析器，先解析请求，然后再调用handler处理请求#解析过程很简单：先解析请求行，然后解析header，解析完header后调用handler处理请求#解析的过程中会从conn中取出历史数据，如果不是一个完整行，就标记，等待下一次读取#直到解析完整个请求。ngx_recv.ngx_unix_recv                                   #c->rev，这是个函数指针，实际是ngx_unix_recv#没有数据可读取时就会返回NGX_AGAINsocket2.recv                                           #调用linux系统调用从网络缓冲区读取数据到nginx内存缓冲区,肯定是for循环+非阻塞读取if (n == NGX_AGAIN) :                                    #如果是NGX_AGAIN，则会把读事件重新注册到对应的监听fd中ngx_event.ngx_handle_read_event                        #把读事件重新注册到对应的监听fd中。因为不同os中支持的模型不同，#不同模型的处理不同，所以需要这个函数，比如如果是linxu的epoll， #就是把fd+读事件重新注册到epollfd中，如果已存在就什么也不做return                                                 #这里重新注册读事件后就返回了ngx_connection.ngx_reusable_connection                   #暂不清楚ngx_http_request.ngx_http_process_request_line           #！！！rev->handler()，调用handler函数来处理事件#！！！再次强调，nginx通过函数指针来实现同一套#！！！eventloop代码同时可以处理http和stream请求#这里就开始解析http请求，就是状态机，一边读取一边解析for:                                                   #状态机，直到处理完请求或者没数据可读或者出错if rc == NGX_AGAIN:                                  #不完整的一行，需要继续读取ngx_http_request.ngx_http_read_request_header      #读取rc=ngx_http_request.ngx_http_parse_request_line      #解析请求行，即从字节流中解析出请求行if rc=NGX_OK:              ngx_http_request.ngx_http_process_request_uri      #根据解析出的请求行处理uringx_http_request.ngx_http_set_virtual_server       #ngx_http_request.ngx_http_process_request_headers  #解析headers，和解析请求行一样的流程，边读边解析#即如果rc==NGX_AGAIN就继续读取一行，然后解析#笔记：他不是一个外置函数(ngx_http_keepalive_handler )，#然后在这个外置函数里第一步解析请求行，然后第二步解析header#而是一种尾调用的关系，即是嵌套的，即外置函数调用函数解析请求行，#然后在请求行解析函数的最后一行调用解析headers的函数，#然后在解析headers的函数最后一行又调用handler处理函数#！！！http只需要解析http头部，而data部分则是由handler来处理#因为数据部分是对用户有意义，而无关于http协议，handler就是来处理具体数据的  ngx_http_request.ngx_http_read_request_header    #读取一行ngx_http_request.ngx_http_parse_header_line      #解析一行if rc == NGX_OK:continue:                                      #header有多行，所以NGX_OK表示成功解析一行if rc == NGX_HTTP_PARSE_HEADER_DONE:             #NGX_HTTP_PARSE_HEADER_DONE表示请求头解析完了，就要处理请求了#这里再次说明http解析的过程就是就是一个状态机，就是边读边解析ngx_http_request.ngx_http_process_request_header    #处理全部请求头ngx_http_request.ngx_http_process_request           #处理完请求头后这里处理请求c->read->handler = ngx_http_request_handler;      #nginx_http_request_handler就是#在收完请求头但是还没有收完整个请求之间起作用#！！！再次强调，http协议中读完请求头和请求体就可以处理请求了#！！！不必等到收到body部分，比如getc->write->handler = ngx_http_request_handler;     #ngx_http_request_handler就是根据事件类型来调用对应的event_handlerif (ev->write) {r->write_event_handler(r);} else {r->read_event_handler(r);}  r->read_event_handler = ngx_http_block_reading;   #！！！对于同一个连接上的请求，nginx是顺序处理的，#处理一个请求nginx只会调用一次ngx_http_process_request#而nginx在处理完header后就调用ngx_http_process_request了#如果不重置clientfd的read->handler和write->handler，#那么如果还没处理完，下一个请求来了#比如tcp粘包，缓冲区数据为body+下一个request，#那么就会再次触发clientfd的读取事件，读取到下一个请求#，然后就会再次调用ngx_http_process_reqeust#我猜测（是我猜的）：ngx_http_process_reqeust不是无状态的函数#导致对于同一个连接必须处理完当前请求才能继续处理下一个请求#为了避免嵌套，所以nginx选择的解决办法是：#读取到一个完整的请求头即代表开始处理一个请求后#就会重置读取写入事件的handler，来避免再次调用http_process_request，#ngx_http_request_handler只是简单地根据事件类型来#调用对应的event_handler，简单地读取、读取丢弃、或者直接不读取，#就算读取了也不会解析数据，这样也就不会再次调用http_process_reqeust，#所以我们设置对应的read_event_handler=block_reading,#block_reading：如果是边缘触发则本次调用相当于空操作即不读取任何数据#如果是水平触发，就从epoll中移除clientfd，更简单暴力#！！！注意：在当前请求的处理过程中也许会重置read_event_handelr#比如在static_handler中如果不需要请求体（比如get /index.html）#那么就会重置read_event_handler=ngx_http_discard_request_body，#就是读取body，然后丢弃bodyngx_http_core_module.ngx_http_handlerif !r->internal:                                #如果是外部请求，那么就要调用所有handlerr->keepalive=r->headers_in.connection_type    #header中会有keepalive的设置r->phase_handler=0                            #handler是一个数组,phase_handler表示当前handler的下表#phase_handler=0表示从第一个handler开始处理，#因为handler是一个接一个调用的else:r->phase_handler=server_rewrite_index         #如果是内部请求(即内部的请求重定向等)则从server_rewrite_index开始#！！！就是说不必所有请求都走完http处理的所有阶段ngx_http_core_module.ngx_http_core_run_phases   #循环调用phase_handler数组中的所有handler来处理请求while (ph[r->phase_handler].checker):         #checker是对handler的包装,ph是phase_handler数组，#phase_handler就是数组下标#handler有好多，不过都是按顺序来的即一个handler对应一个处理步骤#这个phase_handler数组是在nginx_http_block中填充的，#默认是11个阶段14个handlerrc = ph[r->phase_handler].checker(r, &ph[r->phase_handler])    #handler处理后会自动给phase_handler+1#！！！发送响应给client这个功能是放在handler中的#这里仅仅记录发送静态页面给handler，略去了一大堆其他的handler/** ph表示phase_handler，ph是对handler的一个包装，* checker负责对handler的处理结果进行善后工作比如更新状态* 发送响应给client也算作一个handler，所以在handler中处理，handler是一个函数指针* static_handler专门用来处理静态页面，发送响应的时候也分两步，同时也是尾调用* 第一步执行filter_chain,对数据进行处理，处理完之后再执行output_chain，* output_chain内也要执行一个filter_chain，也是尾调用，* 如果没有设置写延迟，那么最终调用writev来把数据写到发送缓冲区，* 如果设置了就...暂不清楚*/ngx_http_core_module.ngx_http_core_content_phase  #注意：有好几个ngx_http_core_content_phase阶段#其中一个phase阶段的handler就是ngx_http_static_handlerngx_http_static_module.ngx_http_static_handler  #！！！ph->handler，此处是static_handler，负责处理静态页面  #！！！再次强调：nginx通过函数指针来模拟多态#！！！更广阔一点：c框架都是用函数指针来实现同一套代码处理不同的事件#！！！就是说框架的骨架是类型无关的，类型差异都封装在一个变量中#！！！nginx中就是eventloop骨架是描述符类型无关的(httpfd/listenfd/streamfd)#！！！这些fd的处理差异都封装在event_t结构，event_t封装在connection结构中#！！！eventloop骨架与connetion打交道即conn结构封装了不同fd事件处理的差异...deal something and get result metadata...r->read_event_handler = ngx_http_discarded_request_body_handler;                                                                             ngx_http_output_filter                      #响应数据元信息处理好了，#这里就调用output_filter对响应数据进行处理#output_filter是一个链表，同时也是尾调用，#所以如果链表很长，那么嵌套就会很深ngx_http_range_body_filterngx_http_copy_filterngx_output_chain                      #outputchain也是一个filter_chain#负责对要写的数据进行处理ngx_http_trailers_filterngx_http_charset_body_filterngx_http_ssi_body_filterngx_http_postpone_filterngx_http_gzip_body_filterngx_http_chunked_body_filterngx_http_write_filterngx_linux_sendfile_chainif:                    #nginx会根据实际情况来决定是sendfile还是writev，因为效率不同ngx_linux_sendfilesendfile.sendfile  #就是调用linux的sendfile来发送数据else:ngx_writevuio.writev       #就是调用ubuntu的writev来把数据写到发送缓冲区ngx_http_request.ngx_http_finalize_request       #各个http模块在执行完某个操作都需要调用这个函数，#来把请求的引用计数减去1，当引用计数为0时才会真正释放一个请求#有很多if，这里举两个：NGX_DECLINED和r->bufferedif rc == NGX_DECLINED:ngx_http_core_module.ngx_http_core_run_phases #如果此时请求所有阶段还没有处理完，#那么继续执行直到所有阶段都走完if 请求行和请求头收到了但是请求体还没收到&&请求体不可丢弃: #收完请求头后就会设置#read->handler=ngx_http_reqeust_handler#这个函数主要用来处理不能一次性读完写完的情况c->read->handler = ngx_http_request_handler;c->write->handler = ngx_http_request_handler;if r->buffered || c->buffered || r->postponed:  #如果一次数据没有写完，就向epollfd中注册写事件#然后就在下一次事件循环中处理，这一点和redis一样ngx_http_request.ngx_http_set_write_handler r->http_state = NGX_HTTP_WRITING_REQUEST_STATE #所以说nginx处理http请求就是一个状态机#nginx就是通过这个状态来记录当前请求处理到哪一步了#所以即使一个请求的数据还没有全部收到#即使需要中断当前执行以待下次执行#nginx都可以正确处理r->write_event_handler = ngx_http_writer;      #fd可写事件的handler。要么异步io，要么直接写发送缓冲区if wev->delayed || r->aio:                   #如果是延迟或者异步处理ngx_event.ngx_handle_write_eventif lowat>0:                              #lowat：需要低水位发送的字节数ngx_event.ngx_send_lowatif !wev->active && !wev->ready:          #不一定会再次把write_event放到epollfd中ngx_epoll_module.ngx_epoll_add_event   #define ngx_add_event  ngx_event_actions.add#add函数实际是ngx_epoll_add_event函数#注意：它是直接初始化一个结构体来初始化actions的所有字段的epoll_ctl(add,NGX_WRITE_EVENT)       #向epollfd注册写事件else:ngx_http_core_module.ngx_http_output_filter #不需要延迟处理则通过ngx_http_write就是把数据写到发送缓冲区ngx_event.ngx_handle_write_event               #把event事件注册到epollfd中ngx_epoll_module.ngx_epoll_add_event   epoll_ctl(add,NGX_WRITE_EVENT)ngx_http_request.ngx_http_finalize_connection      #！！！这个finalize_request和#！！！finalize_connection有点乱和有些错，但无伤大雅if 请求处理完了&&keepalive==true:c->read->handler=ngx_http_keepalive_handlerelse if 请求行和请求头收到了但是请求体还没收到&&请求体可丢弃ngx_add_timer(c->read,time)                   #http请求收到请求行请求头后就可以开始处理了#此时read->handler=ngx_http_request_handler#ngx_add_timer是确保在指定时间内结束整个请求if rc==NGX_OK:                              #如果某个handler返回NGX_OK就表示请求处理结束，不再调用后面的handlerreturn                            ngx_http_request.ngx_http_run_posted_requests   #请求处理完了，执行请求后的处理

1-3-1：ngx_http_request_handler流程

代码很简单，就直接贴源代码。反正就是对于一个请求，收完请求头之后对应的read->handler就设置成ngx_http_request_handler，一旦整个请求处理完毕，如果keepalive为false,那么该连接就会关闭，下一次新请求到来的时候就要重新走一遍accept、ngx_http_wait_request_handler，如果keepalive为true，那么连接就不会关闭，在ngx_http_finalize_request的时候就会把read->handler设置成ngx_http_keepalive_handler，该连接上的下次请求到来的时候就是走ngx_http_keepalive_handler。至于stream read流程放下了，还有ngx_read/write_event_handler的设置就暂时跳过了，还有ngx_http_finalize_request和ngx_http_finalize_connection的部分的代码流程笔记有些乱以及有些地方是错的，但是大体是对的，暂时先放下了，反正无伤大雅。因为今天还有2分钟就下班了 2024/10/25 17:58

static void
ngx_http_request_handler(ngx_event_t *ev)
{ngx_connection_t    *c;ngx_http_request_t  *r;c = ev->data;r = c->data;ngx_http_set_log_request(c->log, r);ngx_log_debug2(NGX_LOG_DEBUG_HTTP, c->log, 0,"http run request: \"%V?%V\"", &r->uri, &r->args);if (c->close) {r->main->count++;ngx_http_terminate_request(r, 0);ngx_http_run_posted_requests(c);return;}if (ev->delayed && ev->timedout) {ev->delayed = 0;ev->timedout = 0;}if (ev->write) {r->write_event_handler(r);} else {r->read_event_handler(r);        #比如对于某些不需要的请求体，直接丢弃#即此时的read_event_handler为ngx_http_discard_request_body即丢弃请求体并清除定时器}ngx_http_run_posted_requests(c);
}