Python 网络编程之粘包问题
【一】粘包问题介绍
【1】粘包和半包

-
粘包:
- 定义: 粘包指的是发送方发送的若干个小数据包被接收方一次性接收,形成一个大的数据包。
- 原因: 通常是因为网络底层对数据传输的优化,将多个小数据包组合成一个大的数据块一次性传输,以提高传输效率。
- **举例:**A给B发送了两条信息,分别是”下雨天留客天留人“和”不留“,然而B一次性全部收到了”下雨天留客天留人不留“,这就可能会让B理解成留人的意思
-
半包:
- 定义: 半包是指接收方在一次接收中没有完全接收到一个完整的数据包,导致数据包被切割成了两部分。
- 原因: 可能是网络传输过程中发生了拆包,或者接收缓冲区不够大,无法容纳完整的数据包。
- **举例:**还是同样的,A给B发的一条信息”下雨天留客天留人不留“,B却收到分开的两条信息”下雨天留客天留人“和”不留“,让B理解成不留
【2】为什么会有粘包
-
注:只有TCP协议才有粘包现象, UDP协议永远不会粘包
-
TCP协议是面向连接的,面向流的,提供高可靠性服务。
- 客户端和服务器端都要有一个成对的socket
- 因此,发送端为了将多个发往接收端的包,更有效的发到对方,使用了优化方法(Nagle算法),将多次间隔较小且数据量小的数据,合并成一个大的数据块,然后进行封包。
- 这样,接收端,就难于分辨出来了,必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。
-
UDP协议是无连接的,面向消息的,提供高效率服务。
- 不会使用块的合并优化算法,, 由于UDP支持的是一对多的模式,所以接收端的skbuff(套接字缓冲区)采用了链式结构来记录每一个到达的UDP包,在每个UDP包中就有了消息头(消息来源地址,端口等信息)
- 这样,对于接收端来说,就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
-
两种情况会发生粘包
- 发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据量小会合到一起,产生粘包)
- 接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包)。
【二】解决粘包问题
-
思路:
- 接收端不知道发送端要发送的数据大小,那么就提前告知接收端数据的大小,这样接收端就可以完整的取出所有数据
-
还存在的问题:
- 需要提前发送数据的大小,这个大小也是我们需要发送的数据,那么还需要这个大小的大小,这不是陷入死循环了
-
解决办法:
- 通过struct模块将数据的大小进行打包
- 因为struct模块可以输出固定字节大小的字节流数据
- 比如:所有的int的型变量,无论大小都可以转换成4个字节的数据
- 这个大小固定,那么每次接收端只要先判断数据的大小就可以完整接收数据
-
代码演示:接收大数据文件
# 服务端# 导入模块
import socket
import struct# 1320KB的数据内容
big_data = ("重要信息" * 110).encode("utf8")
# 计算大小
data_size = len(big_data)
# struct生成四字节流的信息
data_size_struct = struct.pack("i", data_size)# 创建socket对象
server = socket.socket()
server.bind(("localhost", 5656))
server.listen()
conn, addr = server.accept()# 先发送数据的大小
conn.send(data_size_struct)
# 发送大数据包
conn.send(big_data)# 关闭
conn.close()
server.close()
# 客户端# 导入模块
import socket
import struct# 创建socket对象
client = socket.socket()
client.connect(("localhost", 5656))# 读取文件大小
head = client.recv(4)
total = struct.unpack("i", head)[0]# 根据大小接收数据
have = 0
data = bytes()
while have < total:data += client.recv(1024)have += 1024print(data.decode("utf8"))# 关闭
client.close()
【三】练习
- 使用所学内容完成以下要求:
- 创建客户端和服务端
- 服务端给客户端提供信息列表(视频资源)
- 客户端选择对应资源
- 服务端传输对应资源给客户端
- 可以尝试:
- 分别在两台电脑上创建客户端和服务端
- 提示:关闭防火墙,查询服务端IP地址
参考代码:
- 运行要求:需要在服务端路径视频资源文件夹server_movie下放入一些视频文件
# 服务端# 导入模块
import os
import pickle
import socket
import struct# 创建电影资源路径
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
MOVIE_DIR = os.path.join(BASE_DIR, "server_movie")
os.makedirs(MOVIE_DIR, exist_ok=True)
movie_list = os.listdir(MOVIE_DIR)
# 生成电影资源字典
movie_dict = {index: data for index, data in enumerate(movie_list, start=1)}
# 将字典转换为字节流数据
movie_pickle = pickle.dumps(movie_dict)# 开启服务端
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0)
server.bind(("0.0.0.0", 9696))
server.listen(5)
# 长时间没有客户端连接
server.settimeout(5)while True:# 进行时间尝试捕获try:conn, addr = server.accept()print(f"{addr}发送链接请求")# 发送定影资源信息conn.send(movie_pickle)except socket.timeout:print("长时间没有客户端连接,服务端自动关闭")breakwhile True:# 接收选择信息res = conn.recv(1024).decode("utf8")# 退出或断开连接if res == "q" or not res:print(f"客户端{addr}断开连接")conn.close()break# 获取资源路径choice_index = int(res)movie_dir = os.path.join(MOVIE_DIR, f"{movie_dict.get(choice_index)}")# 读取电影资源with open(movie_dir, "rb") as fp:movie_data = fp.read()# 计算大小并发送head = struct.pack("i", len(movie_data))conn.send(head)conn.send(movie_data)print(f"向{addr}发送{movie_dict.get(choice_index)}完成")# 一个客户端完成conn.close()
# 关闭服务端
server.close()
# 客户端# 导入模块
import os.path
import pickle
import socket
import struct# 创建保存资源路径
DB_DIR = os.path.dirname(os.path.abspath(__file__))
MOVIE_DIR = os.path.join(DB_DIR, "client_movie")
os.makedirs(MOVIE_DIR, exist_ok=True)# 开始客户端
client = socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0)
client.connect(("localhost", 9696))
# 接收资源信息字典
movie_pickle = client.recv(1024)
movie_dict = pickle.loads(movie_pickle)while True:# 打印可获取的资源print("可以从服务端拿到的资源信息如下:")for key, value in movie_dict.items():print(f"编号【{key}】 资源信息:{value}")# 选择判断choice = input("根据编号进行资源选择(Q/q:退出):>>>").strip()if choice.lower() == "q":client.send(choice.encode("utf8"))breakelif choice not in [str(i) for i in range(1, len(movie_dict) + 1)]:print("输入有误,请重新检查")continue# 发送选择编号client.send(choice.encode("utf8"))# 获取资源名字movie_name = movie_dict.get(int(choice))# 获取资源大小head_pack = client.recv(4)total = struct.unpack("i", head_pack)[0]# 下载接收文件have = 0movie_data = bytes()print(f"正在下载{movie_name}")while have < total:movie_data += client.recv(1024)have += 1024# 进度条显示progress = have / totalbar_length = 30bar = '=' * int(progress * bar_length) + '-' * (bar_length - int(progress * bar_length))percentage = progress * 100print(f'\r[{bar}] {percentage:.2f}% Complete', end='', flush=True)# 保存下载的资源movie_dir = os.path.join(MOVIE_DIR, movie_name)with open(movie_dir, "wb") as fp:fp.write(movie_data)print(f"\n{movie_name} 保存成功")
# 关闭
client.close()相关文章:
Python 网络编程之粘包问题
【一】粘包问题介绍 【1】粘包和半包 粘包: 定义: 粘包指的是发送方发送的若干个小数据包被接收方一次性接收,形成一个大的数据包。原因: 通常是因为网络底层对数据传输的优化,将多个小数据包组合成一个大的数据块一次…...
旧衣回收小程序搭建:降低企业成本,提高回收效率!
在人们环保意识提升下,旧衣回收行业受到了大众的关注,同时旧衣回收具有门槛低、利润大的优势。在我国,回收行业不仅帮助普通人就业获利,还对环保做出了较大贡献。因此,旧衣回收行业成为了当下的热门商业模式࿰…...
Jmeter后置处理器——JSON提取器
目录 1、简介 2、使用步骤 1)添加线程组 2)添加http请求 3) 添加JSON提取器 1、简介 JSON是一种简单的数据交换格式,允许互联网应用程序快速传输数据。JSON提取器可以从JSON格式响应数据中提取数据、简化从JSON原始数据中提取特定…...
[SWPUCTF 2022 新生赛]奇妙的MD5
[SWPUCTF 2022 新生赛]奇妙的MD5 wp 题目页面: 提示:可曾听过ctf 中一个奇妙的字符串。 奇妙的字符串 奇妙的字符串,又跟 MD5 有关,我只知道两个: 一个是 MD5 加密后弱比较等于自身,这个字符串是 0e215…...
MHFormer 论文解读
目录 Multi-Hypothesis Transformer 结果 Introduction & Related work 多假设 为什么作者提出这个模型? 3.Multi-Hypothesis Transformer 3.1 Preliminary 3.2 MultiHypothesis Generation 3.3 Temporal Embedding 3.4. SelfHypothesi…...
Python列表append()函数使用详解
在Python中,列表是一种可变序列类型,可以用来存储多个元素。列表的append()函数是用于在列表末尾添加新元素的内置方法。本文将详细介绍Python列表的append()函数及其使用方法。 一、append()函数的基本语法 append()函数的语法非常简单,只…...
第08章_面向对象编程(高级)拓展练习(关键字:static,代码块,关键字:final,抽象类和抽象方法,接口,内部类,枚举类,注解,包装类)
文章目录 第08章_面向对象编程(高级)拓展练习01-关键字:static1、银行账户类2、图形类3、数组工具类4、二分查找5、二分查找6、素数7、阅读代码,分析运行结果8、阅读代码,分析运行结果 02-代码块9、阅读代码࿰…...
分布式光伏运维平台在提高光伏电站发电效率解决方案
摘要:伴随着能源危机和环境恶化问题的日益加重,科技工作者进一步加大对新能源的开发和利用。太阳能光伏发电作为新型清洁能源的主力军,在实际生产生活中得到了广泛的应用。然而,光伏发电效率偏低,成为制约光伏发电发展…...
2024.1.14~1.20 周内刷题总结
2024.1.14~1.20 周内刷题总结 [ABC158F] Removing Robots 题解[ABC145F] Laminate 题解[ABC254G] Elevators 题解(坑点总结)[ARC160C] Power Up 题解[ABC203F] Weed 题解Shopping时代的眼泪 [ABC158F] Removing Robots 题解 \qquad 题面 \qquad 本题的连…...
徐州数字孪生元宇宙赋能工业智能制造,助力传统制造业数字化转型
徐州数字孪生元宇宙赋能工业智能制造,助力传统制造业数字化转型。在徐州市制造业企业数字化转型的过程中,数字孪生技术的应用已经取得了显著成效。一方面,企业的生产效率得到了显著提高,产品质量也得到了有效保障。另一方面&#…...
智云谷再获资本市场青睐,完成数千万元A+轮融资
近日,深圳前海智云谷科技有限公司(以下简称“智云谷”)完成数千万元A轮融资,本轮融资由青松基金独家投资,多维资本担任独家融资财务顾问。本轮融资资金将用于扩大新技术研发投入、智能工厂扩产、加速产品交付ÿ…...
ACM论文LaTeX模板解析(三)| 文章顶部信息(Top matter))Part 1
本文收录于专栏:ACM 论文 LaTeX模板解析,本专栏将会围绕ACM 论文 LaTeX模板解析持续更新。欢迎点赞收藏关注! 文章目录 有许多命令可以设置文章的顶部信息或(计算机科学术语)元数据。它们建立了出版物名称、文章标题、…...
[GDOUCTF 2023]受不了一点
[GDOUCTF 2023]受不了一点 wp 题目代码: <?php error_reporting(0); header("Content-type:text/html;charsetutf-8"); if(isset($_POST[gdou])&&isset($_POST[ctf])){$b$_POST[ctf];$a$_POST[gdou];if($_POST[gdou]!$_POST[ctf] &&…...
精心挑选免费好用的api,推荐给大家
企业基本信息:通过公司名称/公司ID/注册号或社会统一信用代码获取企业基本信息,企业基本信息包括公司名称或ID、类型、成立日期、经营状态、注册资本、法人、工商注册号、统一社会信用代码、组织机构代码、纳税人识别号等字段信息。 AI绘画-Stable Diff…...
(001)window 使用 OpenObserve
文章目录 安装上传数据报错附录 安装 1.下载安装包: 2. window 设置环境变量: ZO_ETCD_COMMAND_TIMEOUT 600 ZO_ETCD_CONNECT_TIMEOUT 600 ZO_ETCD_LOCK_WAIT_TIMEOUT 600 ZO_INGEST_ALLOWED_UPTO 10000 ZO_ROOT_USER_EMAIL 422615924qq.com ZO_…...
linux发送http请求命令
一、http get请求 1、curl命令不带参 curl “http://www.baidu.com” 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地 curl -i “http://www.baidu.com” 显示全部信息 curl -l “http://www.baidu.com” 只显示头部信息 curl -v “http://www.baidu.com”…...
JVM实战(19)——JVM调优工具概述
作者简介:大家好,我是smart哥,前中兴通讯、美团架构师,现某互联网公司CTO 联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬 学习必须往深处挖&…...
Windows10无法访问github
亲测有效 1、修改hosts文件 如果电脑是Windows系统:打开 C:\Windows\System32\drivers\etc 找到hosts文件,将对应的Host地址修改为: #github 140.82.112.4 github.com 199.232.69.194 github.global.ssl.fastly.net 如果在保存hosts时遇到…...
GIT 分支管理办法(二)
GIT 分支管理办法(二) 一. 大型项目分支管理中存在的痛点 大型项目中需求的上线存在很大的不确定性,而且往往存在多版本、多团队、多开发并行的情况。尤其是大型企业对上线分支中编号的管理十分严苛,严禁夹带上线。这时对于开发…...
Vue面试之Mixins
Vue面试之Mixins 定义Mixins使用Mixins全局MixinsMixins合并策略注意事项命名冲突:过度使用 最近在整理一些前端面试中经常被问到的问题,分为vue相关、react相关、js相关、react相关等等专题,可持续关注后续内容,会不断进行整理~ …...
HTML 语义化
目录 HTML 语义化HTML5 新特性HTML 语义化的好处语义化标签的使用场景最佳实践 HTML 语义化 HTML5 新特性 标准答案: 语义化标签: <header>:页头<nav>:导航<main>:主要内容<article>&#x…...
Linux 文件类型,目录与路径,文件与目录管理
文件类型 后面的字符表示文件类型标志 普通文件:-(纯文本文件,二进制文件,数据格式文件) 如文本文件、图片、程序文件等。 目录文件:d(directory) 用来存放其他文件或子目录。 设备…...
python打卡day49
知识点回顾: 通道注意力模块复习空间注意力模块CBAM的定义 作业:尝试对今天的模型检查参数数目,并用tensorboard查看训练过程 import torch import torch.nn as nn# 定义通道注意力 class ChannelAttention(nn.Module):def __init__(self,…...
Appium+python自动化(十六)- ADB命令
简介 Android 调试桥(adb)是多种用途的工具,该工具可以帮助你你管理设备或模拟器 的状态。 adb ( Android Debug Bridge)是一个通用命令行工具,其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利,如安装和调试…...
JavaScript 中的 ES|QL:利用 Apache Arrow 工具
作者:来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。 想获得 Elastic 认证吗?了解下一期 Elasticsearch Engineer 培训的时间吧! Elasticsearch 拥有众多新功能,助你为自己…...
《用户共鸣指数(E)驱动品牌大模型种草:如何抢占大模型搜索结果情感高地》
在注意力分散、内容高度同质化的时代,情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现,消费者对内容的“有感”程度,正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中࿰…...
解读《网络安全法》最新修订,把握网络安全新趋势
《网络安全法》自2017年施行以来,在维护网络空间安全方面发挥了重要作用。但随着网络环境的日益复杂,网络攻击、数据泄露等事件频发,现行法律已难以完全适应新的风险挑战。 2025年3月28日,国家网信办会同相关部门起草了《网络安全…...
MySQL 部分重点知识篇
一、数据库对象 1. 主键 定义 :主键是用于唯一标识表中每一行记录的字段或字段组合。它具有唯一性和非空性特点。 作用 :确保数据的完整性,便于数据的查询和管理。 示例 :在学生信息表中,学号可以作为主键ÿ…...
R 语言科研绘图第 55 期 --- 网络图-聚类
在发表科研论文的过程中,科研绘图是必不可少的,一张好看的图形会是文章很大的加分项。 为了便于使用,本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中,获取方式: R 语言科研绘图模板 --- sciRplothttps://mp.…...
作为测试我们应该关注redis哪些方面
1、功能测试 数据结构操作:验证字符串、列表、哈希、集合和有序的基本操作是否正确 持久化:测试aof和aof持久化机制,确保数据在开启后正确恢复。 事务:检查事务的原子性和回滚机制。 发布订阅:确保消息正确传递。 2、性…...
