当前位置: 首页 > news >正文

[C++]——同步异步日志系统(1)

同步异步日志系统

  • 一、项⽬介绍
  • 二、开发环境
  • 三、核心技术
  • 四、环境搭建
  • 五、日志系统介绍
    • 5.1 为什么需要日志系统
    • 5.2 日志系统技术实现
      • 5.2.1 同步写日志
      • 5.2.2 异步写日志

日志系统:
日志:程序在运行过程中,用来记录程序运行状态信息。
作用:记录了程序运行状态信息,以便程序员能够随时根据状态信息,对系统程序的运行状态进行分析。

一、项⽬介绍

本项目主要实现的是一个日志系统,其支持以下功能:

  • 支持多级别日志消息
  • 支持同步日志和异步日志
  • 支持可靠写入日志到控制台、文件以及滚动文件中
  • 支持多线程程序并发写日志
  • 支持扩展不同的日志落地到目标地

二、开发环境

  • 操作系统 :CentOS 7
  • 编辑器: vscode / vim
  • 编译器/调试器:g++ / gdb
  • 项目自动化构建工具:Makefile

三、核心技术

  • 类层次化设计(继承、多态的实际应用)
  • C++11语法(多线程库,auto,智能指针,右值引用等)
  • 双缓冲区设计
  • 生产消费模型
  • 多线程
  • 设计模式(单例、工厂、代理、建造者等)

四、环境搭建

本项⽬不依赖其他任何第三⽅库, 只需要安装好CentOS / Ubuntu + vscode / vim环境即可开发。

五、日志系统介绍

5.1 为什么需要日志系统

  • 在生产环境中的产品,为了保证其稳定性以及安全性,是不允许开发人员附加调试器去排查问题的,可以借助日志系统来打印一些日志帮助开发人员解决问题
  • 上线客户端的产品出现的Bug无法复现并解决,可以借助日志系统打印日志并且上传到服务端帮助开发人员进行问题分析
  • 对于一些高频操作(如定时器,心跳包等)在少量调试次数下可能无法触发我们想要的行为,通过断点暂停的方式,我们需要重复几十次甚至上百次,导致排查问题的效率非常低下,可以借助打印日志的方式排查问题
  • 在分布式、多线程/多进程的代码中,出现bug非常难定位,可以借助日志系统打印日志帮助定位bug
  • 帮助刚接触项目不久的开发人员理解代码的运行流程

5.2 日志系统技术实现

日志系统的技术实现主要包括三种类型:

  1. 利用printf、std::cout等输出函数将日志信息打印到控制台。
  2. 对于大型商业化项目,为了方便排查问题,我们一般会将日志输出到文件或者是数据库系统方便查询和分析日志,主要分为同步日志异步日志方式。

5.2.1 同步写日志

同步日志指的是当输出日志时,必须等待日志输出语句执行完毕后,才能执行后面的业务逻辑语句,日志输出语句与程序的业务逻辑语句将在同一个线程中运行。每次调用一次打印日志API就对应一次系统调用write写日志文件。
在这里插入图片描述

在高并发的场景下,随着日志数量多不断增加,同步日志系统容易产生系统瓶颈:

  1. 一方面,大量的日志打印陷入等量的write系统调用,具有一定的系统开销。
  2. 另一方面,使得打印日志的进程附带了大量同步的磁盘IO,影响程序性能。

5.2.2 异步写日志

异步日志是指在进行日志输出时,日志输出语句与业务逻辑语句并不是在同一个线程中运行,而是有专门的线程用于进行日志输出操作,业务线程只需要将日志放到一个内存缓冲区中,不需要等待即可继续执行后续业务逻辑(作为日志的生产者),而日志的落地操作交给单独的日志线程完成(作为日志的消费者),这是一个典型的生产-消费模型。
在这里插入图片描述

这样的好处是即使日志没有真正的完成输出也不会影响程序的主业务,提高程序的性能

  1. 主线程调用日志打印接口成为非阻塞操作
  2. 同步的磁盘IO操作从主线程剥离出来交给单独的线程完成。

相关文章:

[C++]——同步异步日志系统(1)

同步异步日志系统 一、项⽬介绍二、开发环境三、核心技术四、环境搭建五、日志系统介绍5.1 为什么需要日志系统5.2 日志系统技术实现5.2.1 同步写日志5.2.2 异步写日志 日志系统: 日志:程序在运行过程中,用来记录程序运行状态信息。 作用&…...

python 第6册 辅助excel 002 批量创建非空白的 Excel 文件

---用教授的方式学习 此案例主要通过使用 while 循环以及 openpyxl. load_workbook()方法和 Workbook 的 save()方法,从而实现在当前目录中根据已经存在的Excel 文件批量创建多个非空白的Excel 文件。当运行此案例的Python 代码(A002.py 文件&#xff0…...

力扣61. 旋转链表(java)

思路:用快慢指针找到最后链表k个需要移动的节点,然后中间断开节点,原尾节点连接原头节点,返回新的节点即可; 但因为k可能比节点数大,所以需要先统计节点个数,再取模,看看k到底需要移…...

智慧园区综合平台解决方案PPT(75页)

## 智慧园区的理解 ### 从园区1.0到园区4.0的演进 1. 园区1.0:以土地经营为主,成本驱动,提供基本服务。 2. 园区2.0:服务驱动,关注企业成长,提供增值服务。 3. 园区3.0:智慧型园区&#xff…...

Python只读取Excel文件的一部分数据,比如特定范围的行和列?

如何只读取Excel文件的一部分数据,比如特定范围的行和列? 在Python中,如果你只想读取Excel文件的特定范围,可以使用以下方法: pandas: Pandas是一个强大的数据处理库,它有一个内置函数read_excel()用于读…...

快速入门FreeRTOS心得(正点原子学习版)

对于FreeROTS,我第一反应想到的就是通信里的TDM(时分多址)。不同任务给予分配不同的时间间隔,也就是任务之间在每个timeslot都在来回切换。 这里有重要的一点,就是中断要短小,优先级是自高到底进行打断。 …...

【博主推荐】HTML5实现简洁好看的个人简历网页模板源码

文章目录 1.设计来源1.1 主界面1.2 关于我界面1.3 工作经验界面1.4 学习教育界面1.5 个人技能界面1.6 专业特长界面1.7 朋友评价界面1.8 获奖情况界面1.9 联系我界面 2.效果和源码2.1 动态效果2.2 源代码 源码下载万套模板,程序开发,在线开发&#xff0c…...

Android应用安装过程

Android 系统源码源码-应用安装过程 Android 中应用安装的过程就是解析 AndroidManifest.xml 的过程,系统可以从 Manifest 中得到应用程序的相关信息,比如 Activity、Service、Broadcast Receiver 和 ContentProvider 等。这些工作都是由 PackageManage…...

Word中输入文字时,后面的文字消失

当在Word中输入文字时,如果发现后面的文字消失,通常是由以下3个原因造成的: 检查Insert键状态:首先确认是否误按了Insert键。如果是,请再次按下Insert键以切换回插入模式。在插入模式下,新输入的文字会插入…...

【LeetCode】合并两个有序链表

将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 解题思路 水题,主要用于后面的链表的归并排序做了该题 AC代码 # Definition for singly-linked list. # class ListNode: # def __init__(self, val0, nex…...

分子AI预测赛Task1笔记

分子AI预测赛Task1笔记 实践步骤:跑通baseline → 尝试个人idea→尝试进阶baseline 一、跑通baseline 1、应当先下载数据库 下载相应的数据库 !pip install lightgbm openpyxl2、训练模型并预测结果 首先要导入相应的库和方法类,如pandas等 # 1. …...

ubuntu 安装并启用 samba

环境:ubuntu server 24.04 步骤如下: sudo apt update sudo apt install samba修改配置文件: sudo vi /etc/samba/smb.conf新增内容: [username]path /home/[username]available yesvalid users [username]read only nobrow…...

atcoder ABC 357-D题详解

atcoder ABC 357-D题详解 Problem Statement For a positive integer N, let VN​ be the integer formed by concatenating N exactly N times. More precisely, consider N as a string, concatenate N copies of it, and treat the result as an integer to get VN​. For…...

从单一到多元:EasyCVR流媒体视频汇聚技术推动安防监控智能升级

随着科技的飞速发展,视频已成为我们日常生活和工作中的重要组成部分。尤其在远程办公、在线教育、虚拟会议等领域,视频的应用愈发广泛。为了满足日益增长的视频需求,流媒体视频汇聚融合技术应运而生,它不仅改变了传统视频的观看和…...

Spring MVC数据绑定和响应——数据回写(二)JSON数据的回写

项目中已经导入了Jackson依赖,可以先调用Jackson的JSON转换的相关方法,将对象或集合转换成JSON数据,然后通过HttpServletResponse将JSON数据写入到输出流中完成回写,具体步骤如下。 1、修改文件DataController.java,在…...

怎么快速给他人分享图片?扫描二维码看图的简单做法

现在通过二维码来查看图片是一种很常见的方法,通过二维码来查看图片不仅能够减少对手机存储空间的占用,而且获取图片变得更加方便快捷,只需要扫码就能够查看图片,有利于图片的展现。很多的场景中都有图片二维码的应用,…...

【UML用户指南】-26-对高级行为建模-状态图

目录 1、概念 2、组成结构 3、一般用法 4、常用建模技术 4.1、对反应型对象建模 一个状态图显示了一个状态机。在为对象的生命期建模中 活动图展示的是跨过不同的对象从活动到活动的控制流 状态图展示的是单个对象内从状态到状态的控制流。 在UML中,用状态图…...

解决VSCode无法用ssh连接远程服务器的问题

原因: 因为windows自带的ssh无法连接远程服务器,需要用git底下的ssh.exe。 搜了很久,试过很多方法,包括替换掉环境变量中的ssh,但是都无效,最后发现是要在VSCode中配置需要使用哪个ssh.exe。 步骤&#…...

【区块链+基础设施】银联云区块链服务 | FISCO BCOS应用案例

为了顺应区块链基础设施化的发展趋势,中国银联推出了银联云区块链服务——UPBaaS,为金融行业采用区块链 技术提出了解决方案,微众银行为平台提供 FISCO BCOS 区块链开源技术支持。通过银联云区块链服务,用户可 以用可视化的方式创…...

Java SE入门及基础(61) 死锁 死锁发生条件

目录 死锁 1. 死锁的概念 2. 死锁发生条件 互斥条件 不可剥夺条件 请求与保持条件 循环等待 3. 案例分析 示例 分析 死锁 1. 死锁的概念 Deadlock describes a situation where two or more threads are blocked forever, waiting for each other 死锁描述了一种情…...

PFC 2D二维直剪代码解析与源文件分享

PFC 2D 二维直剪,代码逐行解释,提供源文件。 。 嘿,各位岩土工程或者离散元爱好者们!今天咱来唠唠PFC 2D里二维直剪的事儿,顺便把代码给大家扒一扒,逐行解释清楚,最后源文件也双手奉上&#xff…...

智炬星图:在AI星海中,为您点亮诚信与实力的导航灯塔

在数字时代的浪潮中,人工智能已成为驱动产业变革的核心引擎。然而,面对市场上琳琅满目的AI服务商,企业往往陷入选择困境:究竟哪家机构值得信赖?哪家公司能提供真正高效、可靠的智能解决方案?今天&#xff0…...

Emergency Mode Troubleshooting: A Comprehensive Guide to Fixing System Boot Failures with journalctl

1. 紧急模式入门:当系统启动失败时该怎么办 那天早上我正准备部署一个关键服务,结果服务器突然卡在启动界面,屏幕上赫然显示"Welcome to emergency mode!"。作为运维老手,我立刻意识到这是Linux系统最后的自我保护机制…...

代码重构美学

代码重构美学大赛技术文章大纲大赛背景与意义代码重构的定义及其在软件开发中的重要性美学在代码重构中的体现:可读性、简洁性、可维护性大赛的宗旨:推动高质量代码实践,提升开发者审美与工程能力参赛作品评审标准功能性:重构后代…...

3倍效率的磁盘清理工具:Czkawka如何让存储空间管理变得简单

3倍效率的磁盘清理工具:Czkawka如何让存储空间管理变得简单 【免费下载链接】czkawka 一款跨平台的重复文件查找工具,可用于清理硬盘中的重复文件、相似图片、零字节文件等。它以高效、易用为特点,帮助用户释放存储空间。 项目地址: https:…...

5大突破解决Android固件提取难题:面向开发者与技术爱好者的全能工具指南

5大突破解决Android固件提取难题:面向开发者与技术爱好者的全能工具指南 【免费下载链接】Firmware_extractor 项目地址: https://gitcode.com/gh_mirrors/fi/Firmware_extractor 问题引入:Android固件提取的碎片化困境 Android生态系统的开放性…...

百川2-13B-4bits模型微调实战:用OpenClaw日志数据提升任务理解力

百川2-13B-4bits模型微调实战:用OpenClaw日志数据提升任务理解力 1. 为什么需要针对OpenClaw任务做模型微调 去年夏天,当我第一次尝试用OpenClaw自动化处理日常工作报告时,发现一个有趣的现象:当我直接说"帮我整理上周的销…...

圣女司幼幽-造相Z-Turbo开发利器:VS Code与GitHub高效协作配置

圣女司幼幽-造相Z-Turbo开发利器:VS Code与GitHub高效协作配置 最近在折腾圣女司幼幽-造相Z-Turbo这个项目,发现团队协作效率是个大问题。代码在本地改完,传到服务器上跑,结果不对,又得拉下来改,一来二去时…...

oletools实战:5步识别恶意宏代码的完整指南

oletools实战:5步识别恶意宏代码的完整指南 【免费下载链接】oletools oletools - python tools to analyze MS OLE2 files (Structured Storage, Compound File Binary Format) and MS Office documents, for malware analysis, forensics and debugging. 项目地…...

C++笔记 缺省值 函数重载 名字空间域(基础核心)

本文为C基础核心知识点笔记,聚焦「缺省值」「函数重载(概念)」「名字空间域」三大高频基础考点,语言通俗、重点突出,兼顾入门理解和考试记忆,适合新手入门、作业复习及GitHub归档。一、缺省值(默…...