当前位置: 首页 > news >正文

[C++]——同步异步日志系统(1)

同步异步日志系统

  • 一、项⽬介绍
  • 二、开发环境
  • 三、核心技术
  • 四、环境搭建
  • 五、日志系统介绍
    • 5.1 为什么需要日志系统
    • 5.2 日志系统技术实现
      • 5.2.1 同步写日志
      • 5.2.2 异步写日志

日志系统:
日志:程序在运行过程中,用来记录程序运行状态信息。
作用:记录了程序运行状态信息,以便程序员能够随时根据状态信息,对系统程序的运行状态进行分析。

一、项⽬介绍

本项目主要实现的是一个日志系统,其支持以下功能:

  • 支持多级别日志消息
  • 支持同步日志和异步日志
  • 支持可靠写入日志到控制台、文件以及滚动文件中
  • 支持多线程程序并发写日志
  • 支持扩展不同的日志落地到目标地

二、开发环境

  • 操作系统 :CentOS 7
  • 编辑器: vscode / vim
  • 编译器/调试器:g++ / gdb
  • 项目自动化构建工具:Makefile

三、核心技术

  • 类层次化设计(继承、多态的实际应用)
  • C++11语法(多线程库,auto,智能指针,右值引用等)
  • 双缓冲区设计
  • 生产消费模型
  • 多线程
  • 设计模式(单例、工厂、代理、建造者等)

四、环境搭建

本项⽬不依赖其他任何第三⽅库, 只需要安装好CentOS / Ubuntu + vscode / vim环境即可开发。

五、日志系统介绍

5.1 为什么需要日志系统

  • 在生产环境中的产品,为了保证其稳定性以及安全性,是不允许开发人员附加调试器去排查问题的,可以借助日志系统来打印一些日志帮助开发人员解决问题
  • 上线客户端的产品出现的Bug无法复现并解决,可以借助日志系统打印日志并且上传到服务端帮助开发人员进行问题分析
  • 对于一些高频操作(如定时器,心跳包等)在少量调试次数下可能无法触发我们想要的行为,通过断点暂停的方式,我们需要重复几十次甚至上百次,导致排查问题的效率非常低下,可以借助打印日志的方式排查问题
  • 在分布式、多线程/多进程的代码中,出现bug非常难定位,可以借助日志系统打印日志帮助定位bug
  • 帮助刚接触项目不久的开发人员理解代码的运行流程

5.2 日志系统技术实现

日志系统的技术实现主要包括三种类型:

  1. 利用printf、std::cout等输出函数将日志信息打印到控制台。
  2. 对于大型商业化项目,为了方便排查问题,我们一般会将日志输出到文件或者是数据库系统方便查询和分析日志,主要分为同步日志异步日志方式。

5.2.1 同步写日志

同步日志指的是当输出日志时,必须等待日志输出语句执行完毕后,才能执行后面的业务逻辑语句,日志输出语句与程序的业务逻辑语句将在同一个线程中运行。每次调用一次打印日志API就对应一次系统调用write写日志文件。
在这里插入图片描述

在高并发的场景下,随着日志数量多不断增加,同步日志系统容易产生系统瓶颈:

  1. 一方面,大量的日志打印陷入等量的write系统调用,具有一定的系统开销。
  2. 另一方面,使得打印日志的进程附带了大量同步的磁盘IO,影响程序性能。

5.2.2 异步写日志

异步日志是指在进行日志输出时,日志输出语句与业务逻辑语句并不是在同一个线程中运行,而是有专门的线程用于进行日志输出操作,业务线程只需要将日志放到一个内存缓冲区中,不需要等待即可继续执行后续业务逻辑(作为日志的生产者),而日志的落地操作交给单独的日志线程完成(作为日志的消费者),这是一个典型的生产-消费模型。
在这里插入图片描述

这样的好处是即使日志没有真正的完成输出也不会影响程序的主业务,提高程序的性能

  1. 主线程调用日志打印接口成为非阻塞操作
  2. 同步的磁盘IO操作从主线程剥离出来交给单独的线程完成。

相关文章:

[C++]——同步异步日志系统(1)

同步异步日志系统 一、项⽬介绍二、开发环境三、核心技术四、环境搭建五、日志系统介绍5.1 为什么需要日志系统5.2 日志系统技术实现5.2.1 同步写日志5.2.2 异步写日志 日志系统: 日志:程序在运行过程中,用来记录程序运行状态信息。 作用&…...

python 第6册 辅助excel 002 批量创建非空白的 Excel 文件

---用教授的方式学习 此案例主要通过使用 while 循环以及 openpyxl. load_workbook()方法和 Workbook 的 save()方法,从而实现在当前目录中根据已经存在的Excel 文件批量创建多个非空白的Excel 文件。当运行此案例的Python 代码(A002.py 文件&#xff0…...

力扣61. 旋转链表(java)

思路:用快慢指针找到最后链表k个需要移动的节点,然后中间断开节点,原尾节点连接原头节点,返回新的节点即可; 但因为k可能比节点数大,所以需要先统计节点个数,再取模,看看k到底需要移…...

智慧园区综合平台解决方案PPT(75页)

## 智慧园区的理解 ### 从园区1.0到园区4.0的演进 1. 园区1.0:以土地经营为主,成本驱动,提供基本服务。 2. 园区2.0:服务驱动,关注企业成长,提供增值服务。 3. 园区3.0:智慧型园区&#xff…...

Python只读取Excel文件的一部分数据,比如特定范围的行和列?

如何只读取Excel文件的一部分数据,比如特定范围的行和列? 在Python中,如果你只想读取Excel文件的特定范围,可以使用以下方法: pandas: Pandas是一个强大的数据处理库,它有一个内置函数read_excel()用于读…...

快速入门FreeRTOS心得(正点原子学习版)

对于FreeROTS,我第一反应想到的就是通信里的TDM(时分多址)。不同任务给予分配不同的时间间隔,也就是任务之间在每个timeslot都在来回切换。 这里有重要的一点,就是中断要短小,优先级是自高到底进行打断。 …...

【博主推荐】HTML5实现简洁好看的个人简历网页模板源码

文章目录 1.设计来源1.1 主界面1.2 关于我界面1.3 工作经验界面1.4 学习教育界面1.5 个人技能界面1.6 专业特长界面1.7 朋友评价界面1.8 获奖情况界面1.9 联系我界面 2.效果和源码2.1 动态效果2.2 源代码 源码下载万套模板,程序开发,在线开发&#xff0c…...

Android应用安装过程

Android 系统源码源码-应用安装过程 Android 中应用安装的过程就是解析 AndroidManifest.xml 的过程,系统可以从 Manifest 中得到应用程序的相关信息,比如 Activity、Service、Broadcast Receiver 和 ContentProvider 等。这些工作都是由 PackageManage…...

Word中输入文字时,后面的文字消失

当在Word中输入文字时,如果发现后面的文字消失,通常是由以下3个原因造成的: 检查Insert键状态:首先确认是否误按了Insert键。如果是,请再次按下Insert键以切换回插入模式。在插入模式下,新输入的文字会插入…...

【LeetCode】合并两个有序链表

将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 解题思路 水题,主要用于后面的链表的归并排序做了该题 AC代码 # Definition for singly-linked list. # class ListNode: # def __init__(self, val0, nex…...

分子AI预测赛Task1笔记

分子AI预测赛Task1笔记 实践步骤:跑通baseline → 尝试个人idea→尝试进阶baseline 一、跑通baseline 1、应当先下载数据库 下载相应的数据库 !pip install lightgbm openpyxl2、训练模型并预测结果 首先要导入相应的库和方法类,如pandas等 # 1. …...

ubuntu 安装并启用 samba

环境:ubuntu server 24.04 步骤如下: sudo apt update sudo apt install samba修改配置文件: sudo vi /etc/samba/smb.conf新增内容: [username]path /home/[username]available yesvalid users [username]read only nobrow…...

atcoder ABC 357-D题详解

atcoder ABC 357-D题详解 Problem Statement For a positive integer N, let VN​ be the integer formed by concatenating N exactly N times. More precisely, consider N as a string, concatenate N copies of it, and treat the result as an integer to get VN​. For…...

从单一到多元:EasyCVR流媒体视频汇聚技术推动安防监控智能升级

随着科技的飞速发展,视频已成为我们日常生活和工作中的重要组成部分。尤其在远程办公、在线教育、虚拟会议等领域,视频的应用愈发广泛。为了满足日益增长的视频需求,流媒体视频汇聚融合技术应运而生,它不仅改变了传统视频的观看和…...

Spring MVC数据绑定和响应——数据回写(二)JSON数据的回写

项目中已经导入了Jackson依赖,可以先调用Jackson的JSON转换的相关方法,将对象或集合转换成JSON数据,然后通过HttpServletResponse将JSON数据写入到输出流中完成回写,具体步骤如下。 1、修改文件DataController.java,在…...

怎么快速给他人分享图片?扫描二维码看图的简单做法

现在通过二维码来查看图片是一种很常见的方法,通过二维码来查看图片不仅能够减少对手机存储空间的占用,而且获取图片变得更加方便快捷,只需要扫码就能够查看图片,有利于图片的展现。很多的场景中都有图片二维码的应用,…...

【UML用户指南】-26-对高级行为建模-状态图

目录 1、概念 2、组成结构 3、一般用法 4、常用建模技术 4.1、对反应型对象建模 一个状态图显示了一个状态机。在为对象的生命期建模中 活动图展示的是跨过不同的对象从活动到活动的控制流 状态图展示的是单个对象内从状态到状态的控制流。 在UML中,用状态图…...

解决VSCode无法用ssh连接远程服务器的问题

原因: 因为windows自带的ssh无法连接远程服务器,需要用git底下的ssh.exe。 搜了很久,试过很多方法,包括替换掉环境变量中的ssh,但是都无效,最后发现是要在VSCode中配置需要使用哪个ssh.exe。 步骤&#…...

【区块链+基础设施】银联云区块链服务 | FISCO BCOS应用案例

为了顺应区块链基础设施化的发展趋势,中国银联推出了银联云区块链服务——UPBaaS,为金融行业采用区块链 技术提出了解决方案,微众银行为平台提供 FISCO BCOS 区块链开源技术支持。通过银联云区块链服务,用户可 以用可视化的方式创…...

Java SE入门及基础(61) 死锁 死锁发生条件

目录 死锁 1. 死锁的概念 2. 死锁发生条件 互斥条件 不可剥夺条件 请求与保持条件 循环等待 3. 案例分析 示例 分析 死锁 1. 死锁的概念 Deadlock describes a situation where two or more threads are blocked forever, waiting for each other 死锁描述了一种情…...

不止于置顶:挖掘AfloatX的隐藏玩法,调节窗口透明度让你的Mac工作流更沉浸

不止于置顶:挖掘AfloatX的隐藏玩法,调节窗口透明度让你的Mac工作流更沉浸 当大多数Mac用户还在用分屏功能机械地排列窗口时,一小群效率极客已经通过窗口透明度调节构建出三维工作空间。AfloatX这款免费工具提供的不仅是基础的置顶功能&#x…...

开发者的文件对比神器:Beyond Compare 4在Linux下从安装、汉化到‘延长试用’的完整指南

Beyond Compare 4在Linux环境下的高效应用指南 对于开发者而言,文件与目录的高效对比是不可或缺的日常工作。无论是代码版本管理、配置文件同步还是数据校验,一个强大的对比工具都能显著提升工作效率。Beyond Compare作为业界公认的专业对比工具&#xf…...

基于物联网节能及安防控制系统(有完整资料)

编号:CJ-32-2022-153设计简介:本设计是基于物联网节能及安防控制系统,主要实现以下功能:1、检测光强,室内外温度(两个温度传感器),人体红外检测是否有人; 2、室外温度过高…...

PCF8591模数转换器实战指南:从I2C通信到多通道数据采集

1. 项目概述:为什么你需要一个PCF8591?在嵌入式开发和电子制作的世界里,我们常常需要处理一个核心矛盾:我们的大脑和代码生活在离散的数字世界(0和1),但我们身处的物理世界却是一个充满连续变化…...

AKTools深度解析:3分钟构建跨语言金融数据API的实战指南

AKTools深度解析:3分钟构建跨语言金融数据API的实战指南 【免费下载链接】aktools AKTools is an elegant and simple HTTP API library for AKShare, built for AKSharers! 项目地址: https://gitcode.com/gh_mirrors/ak/aktools AKTools是一款为AKShare开源…...

城市复杂环境下低成本单目视觉惯性轮式里程计融合方案

1. 项目概述:当视觉与惯性导航在城市中“失明”在机器人、自动驾驶乃至无人机领域,定位与建图(SLAM)是核心的“眼睛”和“大脑”。对于成本敏感、体积受限的移动平台(如服务机器人、小型物流车)&#xff0c…...

被本科论文困在毕业季?Paperxie 智能写作,帮你把 “论文大山” 拆成可走的台阶

paperxie-免费查重复率aigc检测/开题报告/毕业论文/智能格式排版/文献综述/AI PPThttps://www.paperxie.cn/ai/dissertationhttps://www.paperxie.cn/ai/dissertation 毕业季的脚步越来越近,你的 Word 文档里,是不是还只有孤零零的标题和反复删改的引言…...

SDN与OpenFlow架构解析及路由实现

1. SDN与OpenFlow架构解析在传统网络架构中,控制平面与数据平面紧密耦合,每个网络设备都需要独立维护路由表和转发决策。这种分布式架构虽然具有高可靠性,但也带来了管理复杂、配置繁琐、创新缓慢等问题。软件定义网络(SDN&#x…...

从零部署全能Discord机器人:模块化设计与实战优化指南

1. 项目概述:一个全能型Discord机器人的诞生最近在Discord社区里折腾一个叫“Big Boss Bot”的机器人,项目地址是kitakitsune0x/bigbossbot。这名字听起来就挺有气势的,对吧?它本质上是一个功能丰富的Discord机器人,旨…...

数据科学协作新范式:构建可复现、可追溯的“小宇宙”项目

1. 项目概述:从“小宇宙”到数据科学协作的范式革新最近在GitHub上闲逛,发现了一个挺有意思的项目——datawhalechina/tiny-universe。乍一看这个名字,“小宇宙”,感觉有点玄乎,但点进去仔细研究后,发现它远…...