当前位置: 首页 > news >正文

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_conf_add_dump

ngx_conf_add_dump


定义src\core\ngx_conf_file.c

static ngx_int_t
ngx_conf_add_dump(ngx_conf_t *cf, ngx_str_t *filename)
{off_t             size;u_char           *p;uint32_t          hash;ngx_buf_t        *buf;ngx_str_node_t   *sn;ngx_conf_dump_t  *cd;hash = ngx_crc32_long(filename->data, filename->len);sn = ngx_str_rbtree_lookup(&cf->cycle->config_dump_rbtree, filename, hash);if (sn) {cf->conf_file->dump = NULL;return NGX_OK;}p = ngx_pstrdup(cf->cycle->pool, filename);if (p == NULL) {return NGX_ERROR;}cd = ngx_array_push(&cf->cycle->config_dump);if (cd == NULL) {return NGX_ERROR;}size = ngx_file_size(&cf->conf_file->file.info);buf = ngx_create_temp_buf(cf->cycle->pool, (size_t) size);if (buf == NULL) {return NGX_ERROR;}cd->name.data = p;cd->name.len = filename->len;cd->buffer = buf;cf->conf_file->dump = buf;sn = ngx_palloc(cf->temp_pool, sizeof(ngx_str_node_t));if (sn == NULL) {return NGX_ERROR;}sn->node.key = hash;sn->str = cd->name;ngx_rbtree_insert(&cf->cycle->config_dump_rbtree, &sn->node);return NGX_OK;
}

函数 ngx_conf_add_dump 的作用和意义可以通俗理解为:

作用
这个函数负责将 Nginx 的配置文件内容缓存到内存中,并记录文件信息,避免重复加载相同的配置文件。

具体步骤

  1. 检查是否已缓存:通过哈希值快速判断当前配置文件是否已经被缓存过。
  2. 缓存新文件:如果未缓存,则将文件内容读取到内存缓冲区,并记录文件名和哈希值。
  3. 避免重复:通过红黑树(一种高效的数据结构)管理已缓存的文件信息,确保同一个文件不会被多次加载。

意义

  • 提升性能:减少重复读取磁盘文件的开销,加快配置加载速度。
  • 节省资源:避免多次解析相同配置文件,降低内存和 CPU 的消耗。
  • 支持动态重载:在 Nginx 重载配置时,能快速复用已缓存的配置数据,提高服务稳定性。

简单来说,这个函数就像是给配置文件做了一个“快照”,需要时直接从内存读取,而不是每次都从磁盘重新加载,从而让 Nginx 更高效地管理配置。


函数签名

static ngx_int_t ngx_conf_add_dump(ngx_conf_t *cf, ngx_str_t *filename);

1. static 关键字

  • 作用:表示该函数是文件作用域的,只能在当前源文件(ngx_conf_file.c)中被调用,其他文件无法直接访问。
  • 意义:限制函数的可见性,避免外部误用,增强代码的封装性。

2. 返回值类型 ngx_int_t

  • 类型定义ngx_int_t 是 Nginx 自定义的整数类型(通常为 typedef int ngx_int_t),用于统一表示函数执行结果。
  • 返回值含义
    • NGX_OK:表示函数执行成功(通常返回值为 0)。
    • NGX_ERROR:表示函数执行失败(通常返回值为 -1)。
  • 设计目的:通过统一的返回值类型,简化错误处理逻辑。

3. 参数 ngx_conf_t *cf

  • 类型ngx_conf_t 是 Nginx 的配置解析上下文结构体,包含解析配置时所需的所有状态信息。
  • 作用
    • 提供内存池(cf->pool)用于动态内存分配。
    • 传递当前配置文件的句柄(cf->conf_file)。
    • 关联 Nginx 的全局运行时数据(通过 cf->cycle,即 ngx_cycle_t 结构体)。
  • 关键字段
    • cf->cycle->config_dump_rbtree:红黑树,用于记录已缓存的配置文件信息。
    • cf->cycle->config_dump:数组,存储实际缓存的配置文件内容。
    • cf->temp_pool:临时内存池,用于分配短期使用的数据结构。

4. 参数 ngx_str_t *filename

  • 类型ngx_str_t 是 Nginx 自定义的字符串类型,定义为:
    typedef struct {size_t      len;   // 字符串长度u_char     *data;  // 字符串内容(指向二进制数据)
    } ngx_str_t;
    
  • 作用:指定需要缓存的配置文件路径(如 nginx.conf)。
  • 特点
    • 支持二进制安全(通过 len 明确长度,而非依赖 \0 结尾)。
    • 允许文件名中包含特殊字符(如空格、中文等)。

详解

static ngx_int_t
ngx_conf_add_dump(ngx_conf_t *cf, ngx_str_t *filename)
{off_t             size;u_char           *p;uint32_t          hash;ngx_buf_t        *buf;ngx_str_node_t   *sn;ngx_conf_dump_t  *cd;
变量声明
  • off_t size:用于存储配置文件的大小(字节数)。
  • u_char *p:指向动态分配的内存,用于复制文件名。
  • uint32_t hash:存储文件名的哈希值,用于快速查找。
  • ngx_buf_t *buf:指向缓冲区,用于存储配置文件内容。
  • ngx_str_node_t *sn:红黑树节点,记录文件名和哈希值。
  • ngx_conf_dump_t *cd:配置转储结构体,包含文件名和缓冲区。

    hash = ngx_crc32_long(filename->data, filename->len);
计算文件名的哈希值
  • 作用:通过 ngx_crc32_long 函数计算文件名的 CRC32 哈希值。
  • 设计意图:哈希值用于快速判断文件是否已被缓存(红黑树的键)。

    sn = ngx_str_rbtree_lookup(&cf->cycle->config_dump_rbtree, filename, hash);
查询红黑树
  • 作用:在红黑树(config_dump_rbtree)中查找是否已存在相同文件名的节点。
  • 参数
    • &cf->cycle->config_dump_rbtree:全局红黑树,存储所有已缓存的文件信息。
    • filename:当前要缓存的文件名。
    • hash:文件名的哈希值。
  • 返回值:如果找到节点,返回对应的 ngx_str_node_t;否则返回 NULL
  • 设计意图:避免重复缓存同一文件,节省内存和 I/O 开销。

    if (sn) {cf->conf_file->dump = NULL;return NGX_OK;}
处理已缓存的文件
  • 逻辑:如果文件已存在(sn != NULL),则直接标记当前配置文件的 dumpNULL,表示不需要重复缓存。

    p = ngx_pstrdup(cf->cycle->pool, filename);if (p == NULL) {return NGX_ERROR;}
复制文件名
  • 作用:通过 ngx_pstrdup 在内存池中复制文件名。
  • 参数
    • cf->cycle->pool:全局内存池,生命周期与 Nginx 进程一致。
    • filename:需要复制的文件名。
  • 错误处理:如果内存分配失败,返回 NGX_ERROR

    cd = ngx_array_push(&cf->cycle->config_dump);if (cd == NULL) {return NGX_ERROR;}
向配置转储数组添加新条目
  • 作用:将新的 ngx_conf_dump_t 结构体添加到 config_dump 数组中。
  • 参数&cf->cycle->config_dump 是存储所有缓存文件信息的数组。
  • 错误处理:如果内存分配失败,返回 NGX_ERROR
  • 设计意图:数组用于后续快速遍历所有缓存的配置文件。

    size = ngx_file_size(&cf->conf_file->file.info);
获取文件大小
  • 作用:通过 ngx_file_size 宏获取当前配置文件的大小。
  • 参数cf->conf_file->file.info 是文件的元信息结构体。
  • 设计意图:为缓冲区分配足够的内存以存储文件内容。

    buf = ngx_create_temp_buf(cf->cycle->pool, (size_t) size);if (buf == NULL) {return NGX_ERROR;}
创建临时缓冲区
  • 作用:在内存池中分配一个临时缓冲区 buf,大小为文件内容长度。
  • 参数
    • cf->cycle->pool:全局内存池。
    • (size_t) size:缓冲区大小。
  • 错误处理:分配失败时返回 NGX_ERROR
  • 设计意图:将文件内容一次性读入内存,避免重复磁盘 I/O。

    cd->name.data = p;cd->name.len = filename->len;cd->buffer = buf;
填充配置转储结构体
  • 作用:将文件名和缓冲区关联到 cd 结构体。
  • 字段说明
    • cd->name:保存文件名的字符串(datalen)。
    • cd->buffer:指向存储文件内容的缓冲区。
  • 设计意图:统一管理文件名和内容,便于后续快速访问。

    cf->conf_file->dump = buf;
标记当前文件的缓存状态
  • 作用:将当前配置文件的 dump 指针指向缓冲区 buf
  • 设计意图:在解析配置时,通过 dump 判断是否需要从内存中读取内容。

    sn = ngx_palloc(cf->temp_pool, sizeof(ngx_str_node_t));if (sn == NULL) {return NGX_ERROR;}
分配红黑树节点
  • 作用:在临时内存池中分配一个红黑树节点 sn
  • 参数
    • cf->temp_pool:临时内存池,生命周期可能短于全局内存池。
    • sizeof(ngx_str_node_t):节点大小。
  • 错误处理:分配失败时返回 NGX_ERROR
  • 设计意图:临时内存池用于短期数据,避免全局内存池膨胀。

    sn->node.key = hash;sn->str = cd->name;
初始化红黑树节点
  • 作用:将哈希值和文件名字符串关联到红黑树节点。
  • 字段说明
    • sn->node.key:哈希值作为红黑树的键。
    • sn->str:文件名字符串,用于后续比较(解决哈希冲突)。

    ngx_rbtree_insert(&cf->cycle->config_dump_rbtree, &sn->node);
插入红黑树
  • 作用:将新节点插入到全局红黑树 config_dump_rbtree 中。
  • 设计意图:通过红黑树的高效查找特性(O(log n)),快速判断文件是否已被缓存。

    return NGX_OK;
}
返回成功状态
  • 作用:告知调用者文件已成功缓存。

相关文章:

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_conf_add_dump

ngx_conf_add_dump 定义在src\core\ngx_conf_file.c static ngx_int_t ngx_conf_add_dump(ngx_conf_t *cf, ngx_str_t *filename) {off_t size;u_char *p;uint32_t hash;ngx_buf_t *buf;ngx_str_node_t *sn;ngx_conf_dump_t *cd;has…...

QEMU源码全解析 —— 内存虚拟化(23)

接前一篇文章:QEMU源码全解析 —— 内存虚拟化(22) 本文内容参考: 《趣谈Linux操作系统》 —— 刘超,极客时间 《QEMU/KVM源码解析与应用》 —— 李强,机械工业出版社 QEMU内存管理模型...

【北京迅为】itop-3568 开发板openharmony鸿蒙烧写及测试-第1章 体验OpenHarmony—烧写镜像

瑞芯微RK3568芯片是一款定位中高端的通用型SOC,采用22nm制程工艺,搭载一颗四核Cortex-A55处理器和Mali G52 2EE 图形处理器。RK3568 支持4K 解码和 1080P 编码,支持SATA/PCIE/USB3.0 外围接口。RK3568内置独立NPU,可用于轻量级人工…...

TypeScript 类型声明

在 TypeScript 开发中简化类型声明,可以通过以下 7 种实用技巧 显著提升效率: 一、善用类型推断(30% 场景免声明) // ❌ 冗余写法 const user: { name: string; age: number } { name: Jack, age: 25 };// ✅ 自动推断&#xff…...

从0搭建Tomcat第二天:深入理解Servlet容器与反射机制

在上一篇博客中,我们从0开始搭建了一个简易的Tomcat服务器,并实现了基本的HTTP请求处理。今天,我们将继续深入探讨Tomcat的核心组件之一——Servlet容器,并介绍如何使用反射机制动态加载和管理Servlet。 1. Servlet容器的作用 S…...

【Python】yield函数

【Python】yield函数 1. yield介绍2.yield基本用法3.yield高级用法3.1 yield send() 方法3.2 yield from方法3.3 yield 和yield from叠加处理复杂情况下的叠加 4.yield主要应用场景5.总结 python官方api地址 1. yield介绍 在Python中,yield关键字主要用于生成器函…...

Android13修改多媒体默认音量

干就完了! 设置音量为最大音量,修改如下: /framework/base/media/java/android/media/AudioSystem.java/** hide */public static int[] DEFAULT_STREAM_VOLUME new int[] {4, // STREAM_VOICE_CALL7, // STREAM_SYSTEM5, // STREAM_RING-5, // STREAM_MUSIC15, // STREAM…...

nginx+keepalived负载均衡及高可用

一、环境准备 主机名ip地址备注openEuler-1 192.168.121.11(本机) 192.168.131.11(心跳连接) nginx主负载均衡调度器openEuler-2 192.168.121.12(本机) 192.168.131.12(心跳连接) n…...

SP导入智能材质球

智能材质球路径 ...\Adobe Substance 3D Painter\resources\starter_assets\smart-materials 放入之后就会自动刷新...

Kotlin语言特性(一):空安全、扩展函数与协程

Kotlin语言特性(一):空安全、扩展函数与协程 一、引言 Kotlin作为Android官方推荐的开发语言,相比Java具有诸多现代化特性。本文将重点介绍Kotlin三个最具特色的语言特性:空安全、扩展函数和协程,并结合A…...

Sqlserver安全篇之_启用TLS即配置SQL Server 数据库引擎以加密连接

官方文档 https://learn.microsoft.com/zh-cn/sql/database-engine/configure-windows/configure-sql-server-encryption?viewsql-server-ver16 https://learn.microsoft.com/zh-cn/sql/database-engine/configure-windows/manage-certificates?viewsql-server-ver15&pre…...

Python 爬虫 – BeautifulSoup

Python 爬虫(Web Scraping)是指通过编写 Python 程序从互联网上自动提取信息的过程。 爬虫的基本流程通常包括发送 HTTP 请求获取网页内容、解析网页并提取数据,然后存储数据。 Python 的丰富生态使其成为开发爬虫的热门语言,特…...

【星云 Orbit-STM32F4】07. 用判断数据尾来接收据的串口通用程序框架

【星云 Orbit-STM32F4】用判断数据尾来接收一串数据的串口通用程序框架 摘要 本文介绍了一种基于STM32F407微控制器的串口数据接收通用程序框架。该框架通过判断数据尾来实现一串数据的完整接收,适用于需要可靠数据传输的应用场景。本文从零开始,详细讲…...

授权与认证之jwt(一)创建Jwt工具类

JWT的Token要经过加密才能返回给客户端&#xff0c;包括客户端上传的Tokn,后端项目需要验证核 实。于是我们需要一个WT工具类&#xff0c;用来加密Token和验证Token的有效性。 一、导入依赖 <dependency><groupId>com.auth0</groupId><artifactId>jav…...

Kubernetes Service服务发现dns之CoreDNS

文章目录 背景什么是Service、服务发现、Endpoint什么是CoreDNSCoreDNS 的工作原理 常用命令coredns 运行状态根据服务名&#xff0c;判断某个服务dns解析是否正常 背景 Kubernetes 集群内部的服务发现是微服务架构的核心基础&#xff0c;而 DNS 服务则是实现这一机制的关键组…...

Spring Boot 测试:单元、集成与契约测试全解析

一、Spring Boot 分层测试策略 Spring Boot 应用采用经典的分层架构&#xff0c;不同层级的功能模块对应不同的测试策略&#xff0c;以确保代码质量和系统稳定性。 Spring Boot 分层架构&#xff1a; Spring Boot分层架构 A[客户端] -->|HTTP 请求| B[Controller 层] …...

用友NC系列漏洞检测利用工具

声明&#xff01;本文章所有的工具分享仅仅只是供大家学习交流为主&#xff0c;切勿用于非法用途&#xff0c;如有任何触犯法律的行为&#xff0c;均与本人及团队无关&#xff01;&#xff01;&#xff01; 目录标题 YongYouNcTool启动及适配环境核心功能界面预览一键检测命令执…...

PostgreSQL 创建表格

PostgreSQL 创建表格 在数据库管理中&#xff0c;表格&#xff08;Table&#xff09;是数据存储的基础。PostgreSQL作为一款强大的开源对象关系型数据库管理系统&#xff08;ORDBMS&#xff09;&#xff0c;创建表格是其最基本的功能之一。本文将详细讲解如何在PostgreSQL中创…...

一周一个Unity小游戏2D反弹球游戏 - 球的死区及球重生

前言 本文将实现当球弹到球板下方的死亡区域后,球会被重置到球板上发射点,并且重置物理状态的逻辑。 创建球的死亡区 之前创建的在屏幕下方的空气墙碰撞体可以将其Is Trigger勾选上,让其成为一个触发器,用来检测球是否进入该区域,如下。 创建一个脚本名为Deadzone…...

本地部署 DeepSeek:从 Ollama 配置到 Spring Boot 集成

前言 随着人工智能技术的迅猛发展&#xff0c;越来越多的开发者希望在本地环境中部署和调用 AI 模型&#xff0c;以满足特定的业务需求。本文将详细介绍如何在本地环境中使用 Ollama 配置 DeepSeek 模型&#xff0c;并在 IntelliJ IDEA 中创建一个 Spring Boot 项目来调用该模型…...

Spark 之 入门讲解详细版(1)

1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室&#xff08;Algorithms, Machines, and People Lab&#xff09;开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目&#xff0c;8个月后成为Apache顶级项目&#xff0c;速度之快足见过人之处&…...

C++:std::is_convertible

C++标志库中提供is_convertible,可以测试一种类型是否可以转换为另一只类型: template <class From, class To> struct is_convertible; 使用举例: #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...

python爬虫:Newspaper3k 的详细使用(好用的新闻网站文章抓取和解析的Python库)

更多内容请见: 爬虫和逆向教程-专栏介绍和目录 文章目录 一、Newspaper3k 概述1.1 Newspaper3k 介绍1.2 主要功能1.3 典型应用场景1.4 安装二、基本用法2.2 提取单篇文章的内容2.2 处理多篇文档三、高级选项3.1 自定义配置3.2 分析文章情感四、实战案例4.1 构建新闻摘要聚合器…...

让AI看见世界:MCP协议与服务器的工作原理

让AI看见世界&#xff1a;MCP协议与服务器的工作原理 MCP&#xff08;Model Context Protocol&#xff09;是一种创新的通信协议&#xff0c;旨在让大型语言模型能够安全、高效地与外部资源进行交互。在AI技术快速发展的今天&#xff0c;MCP正成为连接AI与现实世界的重要桥梁。…...

深度学习习题2

1.如果增加神经网络的宽度&#xff0c;精确度会增加到一个特定阈值后&#xff0c;便开始降低。造成这一现象的可能原因是什么&#xff1f; A、即使增加卷积核的数量&#xff0c;只有少部分的核会被用作预测 B、当卷积核数量增加时&#xff0c;神经网络的预测能力会降低 C、当卷…...

JVM虚拟机:内存结构、垃圾回收、性能优化

1、JVM虚拟机的简介 Java 虚拟机(Java Virtual Machine 简称:JVM)是运行所有 Java 程序的抽象计算机,是 Java 语言的运行环境,实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息,使得 Java 程序只需生成在 JVM 上运行的目标代码(字节码),就可以…...

基于Java+MySQL实现(GUI)客户管理系统

客户资料管理系统的设计与实现 第一章 需求分析 1.1 需求总体介绍 本项目为了方便维护客户信息为了方便维护客户信息&#xff0c;对客户进行统一管理&#xff0c;可以把所有客户信息录入系统&#xff0c;进行维护和统计功能。可通过文件的方式保存相关录入数据&#xff0c;对…...

使用Spring AI和MCP协议构建图片搜索服务

目录 使用Spring AI和MCP协议构建图片搜索服务 引言 技术栈概览 项目架构设计 架构图 服务端开发 1. 创建Spring Boot项目 2. 实现图片搜索工具 3. 配置传输模式 Stdio模式&#xff08;本地调用&#xff09; SSE模式&#xff08;远程调用&#xff09; 4. 注册工具提…...

搭建DNS域名解析服务器(正向解析资源文件)

正向解析资源文件 1&#xff09;准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2&#xff09;服务端安装软件&#xff1a;bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...

Scrapy-Redis分布式爬虫架构的可扩展性与容错性增强:基于微服务与容器化的解决方案

在大数据时代&#xff0c;海量数据的采集与处理成为企业和研究机构获取信息的关键环节。Scrapy-Redis作为一种经典的分布式爬虫架构&#xff0c;在处理大规模数据抓取任务时展现出强大的能力。然而&#xff0c;随着业务规模的不断扩大和数据抓取需求的日益复杂&#xff0c;传统…...