服务器设计细节 之 【缓冲区模块】（memXXX接口、std::cpoy）

目录2.实现思想2.4.简单实现3.memXXX接口3.1.memcpy — 内存拷贝3.2.memmove — 内存移动3.3.memset — 内存填充3.4.memchr — 内存查找3.5.memcmp — 内存比较4.std::copy -- 范围拷贝1.模块概述Buffer 模块是一个基于线性内存空间的缓冲区组件用于临时存储数据和按序取出数据它通过读写偏移量机制避免了频繁的数据搬移同时能够自动处理空间不足的情况2.实现思想2.1.内存模型采用 std::vectorchar 作为底层内存空间其内部是一块连续的线性内存string不能够处理\0所以不采用2.2.缓冲区核心要素要素说明默认空间大小缓冲区初始容量默认为 1024 字节读偏移量_reader_idx标记当前读取位置的相对偏移量写偏移量_writer_idx标记当前写入位置的相对偏移量偏移量是相对于缓冲区起始地址的相对值而非绝对内存地址2.3.数据操作思想1写入数据流程从当前写偏移位置开始写入检查尾部空闲空间是否足够足够直接写入不足检查总空闲空间尾部 头部是否足够(足够将现有数据搬移到缓冲区起始位置整理碎片空间不足对缓冲区进行扩容)写入成功后写偏移量向后移动2读取数据流程从当前读偏移位置开始读取可读数据大小 写偏移量 - 读偏移量读取后读偏移量向后移动2.4.简单实现#include vector #include cstdint #include cassert #include algorithm #include string #include cstring #define BUFFER_DEFAULT_SIZE 1024 class Buffer { private: std::vectorchar _buffer;//缓冲区 uint64_t _reader_idx; //读偏移 uint64_t _writer_idx; //写偏移 public: Buffer():_reader_idx(0), _writer_idx(0), _buffer(BUFFER_DEFAULT_SIZE){} char* Begin(){ return *_buffer.begin(); } //获取当前写入起始地址 char* WritePosition() { return Begin() _writer_idx; } //获取当前读取起始地址 char* ReadPosition() { return Begin() _reader_idx; } //获取末尾空间大小---写偏移之后的空间大小 uint64_t TailIdleSize() { return _buffer.size() - _writer_idx; } //获取头部空间大小---读偏移之前的空间大小 uint64_t FrontIdleSize() { return _reader_idx; } //获取可读数据大小 前闭后开 uint64_t ReadableSize() { return _writer_idx - _reader_idx; } //读偏移向后移动 void MoveReadOffset(uint64_t len) { assert(len ReadableSize()); _reader_idx len; } //写偏移向后移动 void MoveWriteOffset(uint64_t len) { assert(len TailIdleSize()); _writer_idx len; } //扩容逻辑确保写空间足够 void EnsureWriteSpace(uint64_t len) { // 情况1尾部空间足够直接返回 if (len TailIdleSize()) { return; } uint64_t readable ReadableSize(); // 情况2尾部空间不足但总空闲空间足够需要整理碎片 if (len TailIdleSize() FrontIdleSize()) { // 将可读数据移动到缓冲区起始位置 std::memmove(Begin(), ReadPosition(), readable); _reader_idx 0; _writer_idx readable; } // 情况3总空闲空间也不够需要扩容 else { // 先整理碎片到起始位置再扩容 if (_reader_idx 0) { std::memmove(Begin(), ReadPosition(), readable); _reader_idx 0; _writer_idx readable; } // 扩容到至少能容纳 (readable len) 字节 _buffer.resize(readable len); } } //写入数据 void Write(const void* data, uint64_t len) { EnsureWriteSpace(len); const char* d (const char*)data; std::copy(d, d len, WritePosition()); } //移动偏移量 void WriteAndPush(const void* buf, uint64_t len) { Write(buf, len); MoveWriteOffset(len); } //复用逻辑 void WriteString(const std::string data) { Write(data.c_str(), data.size()); } void WriteStringAndPush(const std::string data) { WriteString(data); MoveWriteOffset(data.size()); } void WriteBuffer(Buffer data) { Write(data.ReadPosition(), data.ReadableSize()); } void WriteBufferAndPush(Buffer data) { WriteBuffer(data); MoveWriteOffset(data.ReadableSize()); } //读取数据 void Read(void* buffer, uint64_t len) { assert(len ReadableSize()); std::copy(ReadPosition(), ReadPosition() len, (char*)buffer); } //移动偏移量 void ReadAndPop(void* buf, uint64_t len) { Read(buf, len); MoveReadOffset(len); } //强调复用逻辑 std::string ReadAsString(uint64_t len) { assert(len ReadableSize()); return std::string(ReadPosition(), len); } std::string ReadAsStringAndPop(uint64_t len) { std::string ret ReadAsString(len); MoveReadOffset(len); return ret; } //查找换行符 char* FindCRLF() { char* res (char*)memchr(ReadPosition(), \n, ReadableSize()); return res; } //针对ASCII字符有效 std::string Getline() { char* pos FindCRLF(); if(pos nullptr) return ; return ReadAsString(pos - ReadPosition() 1); } std::string GetlineAndPop() { std::string ret Getline(); MoveReadOffset(ret.size()); return ret; } //清空缓冲区 void Clear() { _writer_idx _reader_idx 0; } };3.memXXX接口3.1.memcpy — 内存拷贝项目说明函数原型void* memcpy(void* dest, const void* src, size_t n);头文件cstring功能从src复制n个字节到dest参数dest: 目标地址src: 源地址n: 拷贝字节数返回值返回dest指针安全性不安全。若dest和src内存重叠行为未定义适用场景两块不重叠内存的拷贝例如缓冲区读写、结构体复制性能极快编译器通常做极致优化示例memcpy(write_pos, data, len);3.2.memmove — 内存移动项目说明函数原型void* memmove(void* dest, const void* src, size_t n);头文件cstring功能从src复制n个字节到dest参数dest: 目标地址src: 源地址n: 拷贝字节数返回值返回dest指针安全性安全。允许dest和src内存重叠内部会判断重叠方向并选择合适拷贝顺序适用场景同一块内存内数据的搬移例如整理碎片、删除中间元素性能略慢于memcpy因为有重叠判断但差距极小示例memmove(buf, buf reader_idx, readable);3.3.memset — 内存填充项目说明函数原型void* memset(void* str, int c, size_t n);头文件cstring功能将str指向内存的前n个字节设置为值c参数str: 目标地址c: 要设置的值以int传入实际转为unsigned charn: 填充字节数返回值返回str指针安全性安全。但需确保n不超出有效内存范围适用场景初始化内存为 0、填充固定值、清除敏感数据性能极快通常会使用 CPU 特殊指令优化示例memset(obj, 0, sizeof(obj));3.4.memchr — 内存查找项目说明函数原型void* memchr(const void* str, int c, size_t n);头文件cstring功能在str指向的前n个字节中查找字符c的首次出现参数str: 搜索起始地址c: 要查找的字符n: 搜索范围字节数返回值找到返回指向该字节的指针未找到返回nullptr安全性安全。不会越界访问超出n的内存适用场景查找分隔符如\n、定位特定标记字节性能线性扫描中等速度。查找大块数据时性能不如专有算法示例memchr(buf read_idx, \n, readable_size);3.5.memcmp — 内存比较项目说明函数原型int memcmp(const void* ptr1, const void* ptr2, size_t n);头文件cstring功能比较ptr1和ptr2指向的前n个字节参数ptr1: 第一块内存ptr2: 第二块内存n: 比较字节数返回值0ptr1小于ptr20相等0ptr1大于ptr2安全性安全。比较前n个字节不会越界适用场景二进制数据比较、检查数据是否相同性能逐字节比较大块数据可考虑先比较首字节或哈希示例memcmp(buf1, buf2, 16);memcpy 本身不会检查边界如果长度不正确就会发生越界导致未定义行为4.std::copy -- 范围拷贝项目说明函数原型templateclass InputIt, class OutputIt OutputIt std::copy(InputIt first, InputIt last, OutputIt d_first);头文件algorithm功能将[first, last)范围内的元素拷贝到以d_first为起点的目标区域参数first: 源范围起始迭代器last: 源范围结束迭代器不包含d_first: 目标范围起始迭代器返回值指向目标范围最后一个被拷贝元素的下一个位置的迭代器底层实现对平凡可复制类型如char编译器通常会优化为memmove安全性若目标范围与源范围重叠且d_first在[first, last)内行为未定义类型安全编译期检查无需手动计算字节数自动推导类型大小泛型支持适用于任何满足输入/输出迭代器概念的类型不仅限于char*适用场景C 风格代码泛型编程非平凡类型对象的拷贝性能平凡类型与memmove相当非平凡类型触发赋值运算符可能较慢示例std::copy(d, d len, WritePosition());