C++项目实战——基于多设计模式下的同步异步日志系统-①-项目介绍

专栏导读

🌸作者简介：花想云 ，在读本科生一枚，C/C++领域新星创作者，新星计划导师，阿里云专家博主，CSDN内容合伙人…致力于 C/C++、Linux 学习。

🌸专栏简介：本文收录于 C++项目——基于多设计模式下的同步与异步日志系统

🌸相关专栏推荐：C语言初阶系列、C语言进阶系列 、C++系列、数据结构与算法、Linux

项目介绍

• 本项目为实现一个日志系统，支持以下功能：
  • 支持多级别日志消息；
  • 支持同步日志和异步日志；
  • 支持可靠写入日志到标准输出、指定文件以及滚动文件中；
  • 支持多线程并发写日志；
  • 支持拓展不同的日志落地方向；

开发环境

• CentOS 7；
• vscode/vim；
• g++；
• Makefile；

核心技术

• 继承和多态；
• C++11（多线程、auto、智能指针、右值引用、包装器、lambda等）；
• 双缓冲区；
• 生产消费模型；
• 多线程；
• 设计模式（单例、工厂、代理、建造者）；

环境搭建

本项目不需要依赖任何第三方库。

日志系统介绍

1.为什么需要日志系统

• 生产环境的产品为了保证其稳定性及安全性是不允许开发人员附加调试器去排查问题，可以借助日
  志系统来打印一些日志帮助开发人员解决问题；
• 上线客户端的产品出现bug无法修复并解决，可以借助日志系统打印日志并上传到服务器端帮助开发人员进行分析；
• 对于一些高频操作（如定时器、心跳包）在少量调试次数下可能无法触发我们想要的行为，通过断点的暂停方式，我们不得不重复操作几十次、上百次甚至更多，导致排查问题效率是非常低下，可以借助打印日志的方式查问题；
• 在分布式、多线程/多进程的代码中、出现bug比较难以定位，可以借助日志系统打印log帮助定位bug；
• 帮助首次接触项目代码的新开发人员理解代码的运行流程；

2.日志系统技术实现

日志系统的技术实现包括三种类型：

• 利用printf、std::cout 等输出函数将日志信息打印到控制台；
• 对于大型商业化项目，为了方便排查问题，我们一般会将日志输出到文件或者是数据库系统方便查询和分析日志，主要分为同步日志和异步日志方式；
  • 同步写日志；
  • 异步写日志；

2.1同步写日志

• 同步日志是指当输出日志时，必须等待日志输出语句执行完毕后，才能执行后面的业务逻辑与语句，日志输出语句将在同一个线程运行。每次调用一次打印日志API就对应一次系统调用write写日志文件。

在高并发场景下，随着日志数量不断增加，同步日志系统很容易产生系统瓶颈：

• 一方面，大量的日志打印陷入等量的write系统调用，有一定的系统开销；
• 另一方面，使得打印日志的进程附带了大量同步的磁盘IO，影响程序性能；

2.2异步写日志

异步日志是指在进行日志输出时，日志输出语句与业务逻辑语句并不是在同一个线程中运行的，而是有专门的线程用于日志输出操作。业务线程只需要将日志放到一个内存缓冲区中不用等待即可继续后续业务逻辑（作为日志的生产者），而日志的落地操作交给单独的日志线程屈去完成（作为日志的消费者），这是一个典型的生产消费模型。

这样做的好处是即使日志没有真正的完成输出也不影响程序的主业务，可以提高程序的性能：

• 主线程调用日志打印接口成为非阻塞操作；
• 同步的磁盘IO从主线程中剥离出来交给单独的线程完成；