从零实现高性能日志系统（二）：日志落地与文件轮询机制

在上一篇Ubuntu虚拟机下基于C实现带时间戳的日志系统CMake构建完整版文章中我们完成了日志系统的基础架构搭建实现了日志级别控制、日志格式化输出等核心能力但此时日志还仅停留在内存层面并未持久化到文件中。本文将在上一篇的基础上补充日志落地到文件的核心逻辑并实现日志文件的自动轮询滚动机制解决单日志文件过大、日志按时间切分、多线程安全写入等问题。一、核心需求分析日志落地到文件时需要解决以下关键问题高效写入避免频繁 IO 调用通过缓冲区减少系统调用次数文件轮询单个日志文件达到指定大小 / 超过指定时间后自动切换新文件线程安全支持多线程环境下的日志写入避免数据竞争日志命名规范生成包含时间、主机名、进程 ID 的日志文件名便于日志检索。为实现上述需求我们新增了两个核心模块AppendFile封装文件写入逻辑提供高效的字节流写入、缓冲区管理能力LogFile基于AppendFile实现日志文件的轮询策略管控日志写入的生命周期。二、核心模块实现解析2.1 AppendFile高效文件写入封装AppendFile是日志落地的底层基石核心目标是减少 fwrite 系统调用次数通过内存缓冲区批量写入数据提升写入效率。2.1.1 核心成员变量namespace tulun { class AppendFile { private: // 128KB缓冲区减少系统调用 static const size_t FILE_BUFF_SIZE 1024 * 128; // 内存缓冲区避免频繁申请释放 std::unique_ptrchar[] buffer_; // 打开的日志文件句柄 FILE *fp_; // 累计写入字节数用于判断是否需要轮询文件 size_t writeBytes_; // 底层写入接口非线程安全 size_t write(const char *msg, const size_t len); public: // 构造/析构、写入、刷新等接口 }; }2.1.2 关键实现逻辑构造函数初始化缓冲区与文件句柄AppendFile::AppendFile(const std::string logfilename) : buffer_{nullptr}, fp_{nullptr}, writeBytes_{0} { // 初始化缓冲区不抛异常分配 buffer_.reset(new(std::nothrow) char[FILE_BUFF_SIZE]); if(!buffer_) { fprintf(stderr,new buffer error \n); exit(EXIT_FAILURE); } // 以追加模式打开文件保证日志追加写入 fp_ fopen(logfilename.c_str(),a); if(nullptr fp_) { fprintf(stderr,fopen error: %s \n, strerror(errno)); exit(EXIT_FAILURE); } // 设置文件缓冲区为自定义内存替代系统默认缓冲区 setbuffer(fp_,buffer_.get(),FILE_BUFF_SIZE); }使用setbuffer替换系统默认的文件缓冲区统一使用自定义的 128KB 缓冲区减少 IO 次数以a模式打开文件确保日志始终追加到文件末尾不会覆盖已有内容。核心写入接口处理部分写入场景size_t AppendFile::write(const char *msg, const size_t len) { // fwrite_unlocked非线程安全版fwrite减少锁开销上层保证线程安全 return fwrite_unlocked(msg, sizeof(char), len, fp_); } void AppendFile::append(const char *msg, const size_t len) { size_t n write(msg,len); size_t remain len - n; // 处理“部分写入”如果一次写入未完成循环写入剩余数据 while(remain 0) { size_t x write(msg n,remain); if(x 0) { int err ferror(fp_); if(err) { fprintf(stderr,append failed: %s \n,strerror(err)); break; } } n x; remain len - n; } // 累计写入字节数用于判断文件是否需要轮询 writeBytes_ n; }fwrite_unlocked相比fwrite减少了内部锁开销因为LogFile层会保证线程安全此处无需重复加锁处理 “部分写入”网络编程 / 文件写入中常见场景单次fwrite可能只写入部分数据需循环写入剩余内容。析构函数安全释放资源AppendFile::~AppendFile() { fclose(fp_); fp_ nullptr; buffer_.reset(); }确保文件句柄被正确关闭避免资源泄漏unique_ptr自动释放缓冲区无需手动管理。2.2 LogFile日志文件轮询策略管控LogFile是日志文件的 “管理者”基于AppendFile实现按文件大小轮询单个文件写入字节数超过阈值默认 2MB切换新文件按时间轮询超过 24 小时自动切换新文件定时刷新默认 3 秒刷新一次缓冲区避免日志滞留内存线程安全支持多线程写入可选开启互斥锁。2.2.1 核心成员变量namespace tulun { class LogFile { private: // 日志文件基础名如yhping const std::string basename_; // 文件轮询阈值默认2MB const size_t rollSize_; // 刷新间隔默认3秒 const int flushInterval_; // 检查轮询/刷新的计数阈值默认30次写入检查一次 const int checkEventN_; // 写入计数用于触发检查逻辑 int count_; // 当日开始时间按24小时划分 time_t startOfPeriod_; // 上次轮询文件时间 time_t lastRoll_; // 上次刷新缓冲区时间 time_t lastFlush_; // 24小时秒数86400 static const size_t kRollPerSeconds_ 60 * 60 * 24; // 线程安全锁可选 std::unique_ptrstd::mutex mutex_; // 底层文件写入对象 std::unique_ptrAppendFile file_; // 私有方法生成日志文件名、非线程安全写入、轮询文件等 }; }2.2.2 关键实现逻辑1.构造函数初始化轮询参数并创建第一个日志文件LogFile::LogFile(const std::string basename, size_t rollsize , int flushInterval, int checkEventN , bool threadSafe) : basename_(basename), rollSize_(rollsize), flushInterval_(flushInterval), checkEventN_(checkEventN), // 按需创建互斥锁非线程安全场景可关闭提升性能 mutex_{threadSafe? new std::mutex{}:nullptr}, count_(0), startOfPeriod_(0), lastRoll_(0), lastFlush_(0), file_{nullptr} { // 初始化时立即创建第一个日志文件 rollFile(); }2.生成规范的日志文件名std::string LogFile::getLogFileName(const std::string basename, const tulun::Timestamp now) { std::string filename; filename.reserve(basename.size() SMALL_BUFF_LEN); filename basename; // 基础名如yhping filename .; // 格式化时间如20260408.162334.2345Z filename now.toFormattedFile(); filename .; // 主机名便于多机器部署时区分 filename hostname(); filename .; // 进程ID便于多进程部署时区分 filename std::to_string(pid()); filename .log; // 最终文件名示例yhping.20260408.162334.2345Z.localhost.12345.log return filename; }文件名包含基础名 时间 主机名 进程 ID便于日志检索和多实例部署hostname()/pid()封装了系统调用获取主机名和进程 ID。3.文件轮询核心逻辑bool LogFile::rollFile() { tulun::Timestamp now tulun::Timestamp::Now(); std::string filename getLogFileName(basename_,now); // 计算当日起始时间按24小时取整 time_t start (now.getSecond()/kRollPerSeconds_)* kRollPerSeconds_; // 只有当前时间超过上次轮询时间才创建新文件 if(now.getSecond() lastRoll_) { lastRoll_ now.getSecond(); lastFlush_ now.getSecond(); startOfPeriod_ start; // 创建新的AppendFile对象替换旧文件 file_.reset(new tulun::AppendFile(filename)); return true; } return false; }每次轮询时生成新的日志文件名并创建新的AppendFile对象通过时间取整/kRollPerSeconds_实现 “按 24 小时切分文件” 的逻辑。4.写入逻辑结合轮询与刷新策略void LogFile::append_unlocked(const char *msg, const size_t len) { file_-append(msg,len); // 策略1文件大小超过阈值轮询 if(file_-getWriteBytes() rollSize_) { rollFile(); } else { count_ 1; // 每写入checkEventN_次检查时间相关策略 if(count_ checkEventN_) { count_ 0; time_t now ::time(nullptr); time_t thisPeriod (now / kRollPerSeconds_) * kRollPerSeconds_; // 策略2跨天24小时轮询 if(thisPeriod ! startOfPeriod_) { rollFile(); } // 策略3超过刷新间隔刷新缓冲区 else if(now - lastFlush_ flushInterval_) { lastFlush_ now; file_-flush(); } } } } void LogFile::append(const char *msg, const size_t len) { // 线程安全加锁后调用非线程安全的写入接口 if(mutex_) { std::unique_lockstd::mutex locker(*mutex_); append_unlocked(msg,len); } else { append_unlocked(msg,len); } }append_unlocked非线程安全的写入核心逻辑包含 3 个关键策略大小阈值文件写入字节数超过rollSize_默认 2MB触发轮询时间阈值跨 24 小时触发轮询刷新阈值超过 3 秒未刷新强制刷新缓冲区到磁盘append对外暴露的写入接口通过unique_lock实现线程安全可选。2.3 测试文件Test04_08_App.cpp测试文件整合了日志系统的所有能力将日志输出到文件中// 全局LogFile对象基础名为wjj tulun::LogFile logfile(wjj); // 日志输出回调将日志写入文件 void outputFile(const std::string msg) { logfile.append(msg); } // 日志刷新回调刷新文件缓冲区 void FlushFile() { logfile.flush(); } void func() { const int n 100000; // 写入10万条日志测试性能与轮询 for(int i 0;in;i) { LOG_TRACEwjj i; LOG_INFO info wjj i; } } int main() { // 设置日志级别为TRACE tulun::Logger::setLogLevel(tulun::LOG_LEVEL::TRACE); // 设置日志输出到文件 tulun::Logger::setOutput(outputFile); // 设置日志刷新回调 tulun::Logger::setFlush(FlushFile); func(); return 0; }通过Logger::setOutput将日志输出重定向到文件替代之前的控制台输出循环写入 10 万条日志验证文件轮询、高效写入等能力。三、核心知识点总结缓冲区优化通过setbuffer自定义文件缓冲区减少系统调用次数提升写入效率线程安全设计分层加锁策略LogFile层加锁AppendFile层不加锁避免重复锁开销文件轮询策略结合 “大小阈值 时间阈值” 实现日志文件自动切分兼顾性能与可维护性资源管理使用unique_ptr管理文件句柄、缓冲区、互斥锁等资源避免内存泄漏系统调用封装封装gethostname/getpid/time等系统调用提升代码可维护性。四、扩展与优化方向异步写入当前为同步写入可引入线程池实现异步日志写入进一步提升主线程性能日志压缩轮询后的日志文件可自动压缩如 gzip减少磁盘占用日志清理添加日志文件过期清理逻辑避免磁盘被占满滚动策略扩展支持按小时 / 分钟切分文件或按文件数量轮询性能监控统计日志写入速率、缓冲区命中率等指标便于性能调优。五、总结本文在上一篇基础上完成了日志系统的 “落地” 能力通过AppendFile实现高效文件写入通过LogFile实现灵活的文件轮询策略同时保证了线程安全和资源安全。至此一个具备 “日志级别控制、格式化输出、文件落地、自动轮询” 的基础高性能日志系统已成型。后续将继续完善异步写入、日志压缩、配置化等高级特性。