基于系统调用的Linux网络编程——UDP与TCP

基于系统调用实现的Linux网络编程——UDP与TCP传输层的两种常用协议TCP协议其特点是传输层协议有链接可靠传输面向字节流UDP协议其特点是传输层协议无链接不可靠传输面向数据报套接字socket与网络字节序大端进行网络传输必须要有对方的ip地址与端口号于此同时还会提到“套接字”这个概念事实上在进行网络编程时需要先创建套接字与sockaddr_in结构体将这两个变量正确初始化后此步骤需重点注意再使用bind函数将结构体绑定到套接字上而套接字的本质其实是文件描述符不过通过同一个套接字既可以进行读也可以进行写操作所谓的使用bind将结构体绑定其实就是将结构体中的信息写到套接字文件描述符指向的内核网络相关数据结构中目前套接字常使用POSIX标准而事实上套接字会根据用途分为多种如网络套接字后续网络学习的重点本地套接字本地通信等而为了支持套接字的不同用途系统提供了下图的三种结构体其中scokaddr_in结构体为网络通信的套接字结构体而scokaddr_un结构体为本地通信的套接字结构体至于sockaddr结构体可以当作另外两种套接字的基类用于实现套接字接口统一-》按道理是可以使用void*指针来实现的但其实这三种结构体设计时C语言还未诞生void*语法注sockaddr_in结构体位于netinet/in.h的结构如下我们都知道有的机器采取的是大端字节序也有的机器采取的是小端字节序但进行网络通信时必须要想办法确定对方的信息字节序才能正确进行信息解析而为解决该问题网络中规定传入网络中的数据必须采取大端字节序也就是说所谓的网络字节序其实就是大端字节序注小端字节序为小权值放到小地址处即小小小而大端即为将小权值放到大地址处即大小大4.平时见到的ip地址采取了点分十进制表示如192.168.1.1而编程中应使用其代表的4字节整数即.分割字节因此192.168.1.1的ip地址其4字节整数为192 168 1 1其16进制表示为C0 A8 01 01其32位无符号整数为3232235521完成字符串转整数 整数转网络字节序常使用inet_pton函数下面会具体进行介绍注也可使用inet_addr函数但不推荐该函数已过时UDP协议常用系统调用接口编程过程中常会使用sys/types.h, sys/socket.h, netinet/in.h, arpa/inet.h这四个头文件下面的函数均是在这四个头文件中定义的某一个或某两个……就不再一一介绍函数所在文件了并且对于网络字节序的转换仅需要对ip与端口号进行转换但无需将收发的信息进行转换收发信息的转换会由内核自动完成关于字节序转换的四个函数uint32_t htonl(uint32_t hostlong);用于将32位无符号整数从主机字节序转换成网络字节序而uint32_t ntohl(uint32_t netlong);用于将32位无符号整数从网络字节序转换成主机字节序以及uint16_t htons(uint16_t hostshort);与uint16_t ntohs(uint16_t netshort);函数即为16位的的转换函数int socket(int domain, int type, int protocol);功能为创建套接字socket文件描述符第一个参数表示域的概念表示是做本地通信还是网络通信网络通信时使用AF_INET第二个参数表示进行通信的套接字类型使用SOCK_DGRAM时表示无链接大小固定报文即使用UDP通信时采取该宏第三个参数代表要设定的协议类型当前两个参数为AF_INET SOCK_DGRAM时已经证明是UDP了设置为0默认即可返回值为一个文件描述符失败返回-1并置错误码int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);功能为将套接字绑定到地址即将套接字与sockaddr_in结构体绑定上述小标题中已提到第一个参数为要绑定的套接字第二个参数为上面提到的实现多态的结构体需要将两个派生类指针强转为基类指针进行传参第三个参数为第二个参数传递的结构体的大小返回值为0成功返回-1失败失败时会置错误码同时更需要注意的是创建派生类结构体后需要先将结构体使用memset/C{}等方式进行全零初始化在使用UDP传输时需要将其中的local.sin_family协议家族置为AF_INETlocal.sin_port置为htons(_port)未来需将端口号传入网络因此需使用htons函数将_port端口号转换为网络序列大端local.sin_addr.s_addr置为inet_addr(_ip.c_str())1.将点分十进制string的ip转换为4字节整数2.将该4字节转换为网络端大端-两需求可使用inet_addr函数实现但现代编程中更推荐使用线程安全的inet_pton函数但对于对于服务端常建议将ip设置为INADDR_ANY宏0可用于接收全部发送到本机ip的端口匹配的消息而无需手动指定ipint recvfrom(int sockfd, void *buf, size_t len, int flags, struct sockaddr *src_addr, socklen_t *addrlen);功能为接收数据第一个参数为套接字第二个参数为输出型参数即接收数据的缓冲区第三个参数为缓冲区可使用大小第四个参数为标志位第五个参数为输出型参数应传递用于接收发送端的sockaddr_in结构体信息的结构体指针第六个参数为输入 输出型参数输入时表示第五个参数的结构体大小输出为写入第五个参数的字节数网络编程中输入输出大小一致返回值为成功接收的字节数失败返回-1并置错误码int sendto(int sockfd, const void *buf, size_t len, int flags, const struct sockaddr *dest_addr, socklen_t addrlen);功能为将数据发送到指定地址第一个参数为发送端的套接字第二个参数为要发送的数据第三个参数为要发送的数据长度第四个参数为标志位通常置为0表默认第五个参数为接收方的sockaddr_in结构体指针第六个参数为指定地址的长度返回值为成功发送的字节数失败返回-1并置错误码int inet_pton(int af, const char *src, void *dst);功能为将点分十进制字符串形式的IP地址转换为网络字节序的二进制格式第一个参数表示地址族AF_INET表示IPv4地址AF_INET6表示IPv6地址第二个参数为输入参数即点分十进制字符串形式的IP地址如192.168.1.1第三个参数为输出参数转换结果存放的缓冲区当af为AF_INET时dst应为struct in_addr\*类型struct sockaddr_in的成员之一当af为AF_INET6时dst应为struct in6_addr*类型返回1表示转换成功返回0表示src不是有效的网络地址格式返回-1表示af参数无效不是AF_INET或AF_INET6errno被设置const char *inet_ntop(int af, const void *src, char *dst, socklen_t size);功能为将网络字节序的二进制格式IP地址转换为点分十进制字符串形式第一个参数表示地址族AF_INET表示IPv4地址AF_INET6表示IPv6地址第二个参数为输入参数指向包含网络字节序IP地址的缓冲区当af为AF_INET时dst应为struct in_addr\*类型struct sockaddr_in的成员之一当af为AF_INET6时src应为const struct in6_addr类型第三个参数为输出参数转换结果存放的字符串缓冲区第四个参数为输出缓冲区的大小当af为AF_INET时size应至少为INET_ADDRSTRLEN16当af为AF_INET6时size应至少为INET6_ADDRSTRLEN46返回值成功时返回指向dst的指针失败时返回NULLerrno被设置int close(int fd);功能为关闭文件描述符返回值为0成功返回-1失败并置错误码这是老朋友了没错关闭网络套接字时也需要使用位于unistd.h头文件中的该函数UDP客户端服务端网络编程注意事项对于客户端的创建一般不建议使用自定义端口号原因是自定义时可能会使用到系统已使用过的端口号导致发生冲突而当首次发送消息时若操作系统检测到进程未绑定端口则会进行隐式绑定此方式也可用于端口号的冲突避免服务端创建时建议将ip设置为INADDR_ANY宏0可用于接收全部发送到本机ip的端口匹配的消息而不建议手动指定ip使用云服务器进行网络编程时会发现无法直接使用公网ip作为进程的网络ip原因是云服务器厂商进行了相关处理这里不进行深入研究可使用内网ip进行连接但还是最推荐使用上述2点中的INADDR_ANY宏经由云服务器厂商的处理当使用同台机器启动客户端和服务端时其中一端不能使用公网ip作为接收端为另一端发送数据会接收不到而若不再同台机器则可以使用公网ip基本也只能使用公网ip本质是NAT回环问题协议家族中AF_INET宏与PF_INET宏等价使用netstat -anup命令可以查询端口占用情况其中-a参数表示显示所有端口-n参数表示显示数字-u参数表示显示UDP端口-p参数表示显示进程信息ifconfig命令可用于查看所有网络接口网卡的 IP 地址、MAC 地址、状态等信息recvfrom函数若成功调用则会覆盖式重写第五和第六个参数也就是说虽然建议将第五个参数在使用前进行{}初始化但没必要再为其中元素赋值关于sendto是按照buffer的第一个\0停止发送还是直接发送第三个参数个数据测试结果是会直接发送第三个参数个数据这点要多加注意sockaddr_in这类“网络结构体”其成员必须始终保持网络字节序不要乱改TCP协议常用系统调用接口首先TCP协议代码的书写也需要进行套接字创建以及创建sockaddr_in结构体进行bind操作但与UDP不同的是TCP协议是面向连接的这也就意味着需要使用一些函数进行连接操作另外由于TCP是面向字节流的所以不能使用UDP的recvfrom以及sendto进行通信而应使用read以及write下面来介绍TCP协议常用系统调用接口int socket(int domain, int type, int protocol);功能为创建套接字返回值为创建套接字的文件描述符失败返回-1并置错误码创建TCP套接字时第一个参数传递AF_INET宏第二个参数传递SOCK_STREAM宏第三个参数传递0即可int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);功能为将套接字绑定到指定地址返回值为0成功返回-1失败并置错误码int listen(int sockfd, int backlog);功能为将套接字转为监听状态返回值为0成功返回-1失败并置错误码int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);功能为接受连接若为收到其他客户端的连接请求则阻塞收到则返回值为创建套接字的文件描述符失败返回-1并置错误码失败的情况之一是listenSockfd套接字失效int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);功能为将套接字转为连接状态返回值为0成功返回-1失败并置错误码ssize_t read(int fd, void *buf, size_t count);功能为从文件描述符fd中读取数据返回值为成功读取的字节数失败返回-1并置错误码ssize_t write(int fd, const void *buf, size_t count);功能为将数据写入文件描述符fd中返回值为成功写入的字节数失败返回-1并置错误码int close(int fd);功能为关闭文件描述符返回值为0成功返回-1失败并置错误码int shutdown(int sockfd, int how);功能为关闭套接字的读写功能返回值为0成功返回-1失败并置错误码TCP服务端与客户端创建流程服务端创建流程调用socket函数创建listenSockfd套接字用于监听创建sockaddr_in结构体并进行初始化初始化流程与UDP结构体初始化一致全零初始化 协议家族AF_INET sin_port设为网络字节序port sin_addr.s_addr INADDR_ANY并进行bind操作bind操作也与UDP一致通过listenSockfd套接字调用listen函数即可监听连接该服务端的客户端注listen调用后服务端就可被客户端连接了调用accept函数从内核中获取能与监听到的申请连接当前服务端的客户端通信的套接字sockfd通过accept函数得到的sockfd套接字调用read函数进行读取操作调用write函数将数据写入客户端套接字中调用close函数关闭套接字客户端创建流程调用socket函数创建sockfd套接字调用connect函数将sockfd套接字转为连接状态同时进行隐式bind调用write函数将数据写入服务端套接字中调用read函数进行读取操作调用close函数关闭套接字序列化与反序列化原因网络传输时无论UDP还是TCP都会面临一个问题将数据传送到另一个平台时接收方可能是其他操作系统或使用其他语言进行接收因此若比如尝试将C的结构体作为字节流直接发送给对端处就可能因为操作系统不同导致内存对齐的方案不同并且其他语言诸如python就算正确收到了字节流由于python中没有C的结构体类型所以也无法将其转换为C发送方想传达的数据因此就需要将要发送的数据进行序列化以及反序列化来确保双方收到数的同时能够正确解析但值得一提的是在单个操作系统内部同台机器的协议实现全部都是传递结构体二进制序列原因是操作系统都是C写的且由于是同一个操作系统内部也就不存在内存对齐问题怎么做以及如何做那么该如何进行序列化以及反序列化呢答案是序列化是将“内存中的数据结构”转换为“可传输/可存储的字节序列”而常见方案就是将要发送的数据转换为字符串类型原因是大多数主流语言都支持字符串类型而反序列化则是将字符串重新转换回发送端想表达的数据而为了快速清晰正确的进行反序列化就推荐使用json串等格式方案举例来说就是以下字符串结构{age:20,name:\u5c0f\u8463,sex:\u7537}即JSON串的格式为使用:分隔键值使用{}和,组织结构并添加适量空白符用于可读性而序列化为json串以及将json串反序列化的工作可通过jsoncpp/json/json.h第三方库完成具体来说实现转换工作的代码如下// 0.创建Json::Value对象Json::Value root;// 1.像对象中插入key : valroot[name]小董;root[sex]男;root[age]20;// 2.将root中的数据提取为Json字符串方案一使用toStyledString函数原json格式std::string inforroot.toStyledString();// toStyledString函数可用于提取字符串std::coutinfor\n;// 2.将root中的数据提取为Json字符串方案二使用FastWriter类的write方法提取字符串去除\n的格式Json::FastWriter writer;inforwriter.write(root);std::coutinfor\n;// 2.将root中的数据提取为Json字符串方案三使用StyleWriter类的write方法提取字符串原json格式Json::StyledWriter swriter;inforswriter.write(root);std::coutinfor\n;// 2.将root中的数据提取为Json字符串方案四使用StreamWriterBuilder类的newStreamWriter方法创建StreamWriter对象使用其write函数将json中的数据存储如ss原json格式Json::StreamWriterBuilder sbuilder;std::unique_ptrJson::StreamWriterstreamWriter(sbuilder.newStreamWriter());std::stringstream ss;intnstreamWriter-write(root,ss);// 返回值为负数即转换失败if(n0){exit(1);}std::coutss.str()\n;// 3.解决汉字编码问题asString函数std::string nameroot[name].asString();// asString具备自动处理Unicode转义的功能可以将Json中原本被转换为Unicode编码的中文重新转回中文std::coutname\n;std::string sexroot[sex].asString();// asString具备自动处理Unicode转义的功能可以将Json中原本被转换为Unicode编码的中文重新转回中文std::coutsex\n;// 4.反序列化将json串转回数据Json::Reader reader;boolokreader.parse(infor,root);// 将infor中的json串数据转换到了root对象中然后使用as系列函数即可转为元数据if(!ok){exit(1);}nameroot[name].asString();sexroot[sex].asString();intageroot[age].asInt();// bool,char等也是整形需调用asInt函数进行转换std::coutname\n;std::coutsex\n;std::coutage\n;协议协议的作用由于TCP传输数据是面向字节流的所以单次read/write单次收发的报文可能是不完整的也可能单次收发了多个当报文完整性不确定时大概率无法正确进行反序列化操作因此需要使用“协议”来确保报文完整性注UDP是面向报文的每次收发recvfrom/sendto均可保证处理了一个完整报文所以j简单场景无需使用协议进行完整性保证但由于UDP不保证可靠、有序、不重复因此在应用场景中仍需要自定义协议来处理完整性、顺序和校验等问题何为协议协议其实就是一种约定在Linux中往往通过结构体体现举例来说下图就是Linux中UDP协议报头的实现也就是说协议可以自定义也可以使用广为人知的方案如http/https协议实现协议这里先使用简单的自定义协议来举例假设要实现一个简单的网络版本计算器那就需要C端向S端发送三个参数数据即数a数b运算符那么这里规定使用json串进行数据的传输且每组数据的格式为json串长度len \r\n json串 \r\n如此规定便可根据\r\n作为分隔符正确读取到json串长度len而len又可以确保json的完整性具体实现可参考gitee:https://gitee.com/xiao-dongs-code-repository/gitee_dmk/blob/master/Linux/2026_4_17/protocol.hppUDP与TCP简单项目代码示例UDP实现简单网络聊天室TCP实现网络字典/远程命令行UDPhttps://gitee.com/xiao-dongs-code-repository/gitee_dmk/tree/master/Linux/2026_4_12TCPhttps://gitee.com/xiao-dongs-code-repository/gitee_dmk/tree/master/Linux/2026_4_14