关于rsync用不了之后
1.尝试找出rsync使用错误原因:
我遇见一个问题:rsync:read errors mapping:communication error on send (70),我查了一下这个问题很大可能是网络链接导致的,然后我用nslookup指令查看了/train25/目录下放处理结果的ip,发现是172.20.23.86,然后我在172.20.81.181用ping看了一下,丢包率是0,说明节点是可以链接到的,我现在就不知道该怎么办了。
"rsync: read errors mapping: communication error on send" 是 rsync 命令执行时可能遇到的错误消息之一。这个错误通常表示在发送数据时发生了通信错误。
这种错误可能有多种原因,包括网络连接问题、权限限制、防火墙配置等。下面是一些可能的原因和对应的解决方法:1.网络连接问题:确保源主机和目标主机之间的网络连接正常。尝试通过 ping 命令检查两台主机之间的网络连通性。
2.防火墙配置:检查源主机和目标主机的防火墙设置。确保所使用的端口(默认情况下 rsync 使用TCP端口 873)在防火墙中开放并允许 rsync 的传输。
3.权限限制:确保您有权限进行网络传输操作。检查您使用的 rsync 命令中是否包含合适的权限选项,如 --rsync-path 或 -e 选项等。
4.Rsync 版本兼容性:某些 rsync 版本可能与其他版本不兼容,例如在使用不同的协议或选项时可能会导致通信错误。确保源主机和目标主机上的 rsync 版本兼容,并尽可能使用相同的 rsync 版本。
5.其他因素:除了上述提到的原因,其他因素如系统资源限制、磁盘空间不足等都可能导致通信错误。您可以检查目标主机的磁盘空间情况,确保足够的可用空间来接收传输的数据。如果通过尝试上述解决方法仍然无法解决问题,您可以提供更多关于错误的详细信息,例如完整的错误消息、rsync 命令的使用方式以及相关的操作环境,以便我们提供更准确的支持。
如果您在 Linux 系统中只知道目标文件夹的地址,并想使用 ping 命令来测试与目标主机的连通性,您需要进行以下步骤:1.获得目标主机的 IP 地址:根据目标文件夹的地址,您可能需要获取目标主机的 IP 地址。您可以使用工具如 nslookup 或 ping 来查找该地址。例如,使用以下命令通过 nslookup 来查找目标地址的 IP:nslookup 目标地址2.使用 ping 进行测试:一旦您拥有目标主机的 IP 地址,即可进行 ping 测试。使用以下命令来执行 ping 测试:ping 目标IP地址请将 "目标IP地址" 替换为实际的目标主机 IP 地址。
例如,如果目标主机的 IP 地址是 192.168.0.100,您可以使用以下命令进行 ping 测试:ping 192.168.0.1003.分析结果:ping 命令将发送 ICMP 回声请求消息到目标主机,并显示接收到的 ICMP 回声应答消息。您可以观察到往返时间(RTT)和丢包率等信息。如果您成功收到来自目标主机的 ICMP 回应,则说明您与目标主机建立了网络连接。如果 ping 命令显示无法到达目标主机或连接超时等错误消息,则可能存在网络连接问题。您可以检查网络配置、防火墙设置以及目标主机是否正常运行来排除问题。
请注意,如果目标主机设置了防火墙规则以阻止 ICMP 请求或禁用了 ping 命令,那么 ping 命令可能无法使用。在这种情况下,您可能需要使用其他网络工具进行连通性测试,如 telnet 或 nc 等。
在 Linux 上,除了 rsync,还有其他几个常用的类似工具可以用于文件同步和复制。以下是其中一些常见的工具及其简要说明以及基本用法:1.cp:是 Linux 下最基本的文件复制工具之一,用于将文件或目录从一个位置复制到另一个位置。2.用法示例:cp source_file destination_file3.scp:是基于 SSH 的安全拷贝工具,用于在本地计算机和远程计算机之间复制文件或目录。4.用法示例:scp source_file user@remote:/path/to/destination5.cpio:是一个归档工具,通常与 find 命令结合使用,用于将文件打包成归档文件或复制文件到另一个目录。6.用法示例:find source_directory | cpio -pdm destination_directory7.tar:是一个广泛使用的归档工具,用于打包多个文件并可选地压缩成单个文件。8.用法示例:打包文件:tar -cvf archive.tar file1 file2 file3;解包文件:tar -xvf archive.tar9.dd:是一个强大的块设备复制工具,可以复制磁盘、分区、镜像等。10.用法示例:dd if=/dev/source of=/dev/destination11.mv:是用于移动文件或目录的命令,也可以用于重新命名文件或目录。12.用法示例:mv source_file destination_file 或 mv source_directory destination_directory13.rsync:已经提到过,是一个功能强大的文件同步和备份工具,可以在本地或通过 SSH 进行文件同步。14.用法示例:rsync source_file user@remote:/path/to/destination这只是一些常用的工具,用于文件复制、同步和备份。每个工具都有不同的特性和用法。您可以通过 man 命令查看每个命令的详细用法和参数,例如 man cp、man scp 等。
2.查看了上面这些之后,我尝试使用Python解决问题:
使用了python里的shutil库,copy2()函数,这个函数可以复制文件的条件下,还能保存源文件的基础信息。
但是由于这个速度不如rsync快吧或者是别的原因,在服务器上运行太久了,系统给我kill掉了…
3.改用scp指令尝试中:
Linux 中的 cp 和 rsync 工具在文件复制方面具有一些差异,这可以解释它们的复制速度不同。主要的底层区别如下:1.复制方式:2.cp:cp 是一个基本的文件复制工具,它通过逐个读取源文件的内容,并将其写入目标文件来执行复制操作。它按顺序逐个复制文件,没有过多的优化或增量复制的功能。
3.rsync:rsync 是一个功能强大的文件同步和备份工具。它使用特定的算法,称为增量复制(incremental copy),可以仅复制源和目标之间发生变化的部分。这意味着只有需要更新或新增的文件和数据块会被复制,减少了数据传输量和复制时间。4.传输协议:5.cp:cp 只能在本地文件系统上进行操作,无法进行远程文件复制。
6.rsync:rsync 支持本地和远程文件复制,并且可以通过 SSH 或 rsync 协议在不同主机之间进行快速、安全的文件传输。7.判定文件变化:8.cp:cp 在复制文件时没有内置的判定机制,它无法确定源和目标文件之间是否存在差异,因此每次复制时都需要复制整个文件。
9.rsync:rsync 使用快速的检测算法来比较源和目标文件的差异,只复制变化的部分。这使得 rsync 在重复的同步操作中具有高效性,只需要传输最小量的数据。以上差异解释了为什么 rsync 可能在某些情况下比 cp 更快。它通过增量复制和差异判定的机制,只复制变化的部分,从而减少了数据传输量和复制时间。但是,这些差异也意味着 rsync 在某些情况下可能会更复杂,并且可能在某些特定场景中速度较慢,特别是对于整个文件都需要复制的场景。因此,选择合适的工具取决于具体的使用场景和需求。
我觉得吧应该差不多,因为我这个文件复制,根本就没有差异,我的目标路径就是一个空文件夹。一会测试一下速度。
相关文章:

关于rsync用不了之后
1.尝试找出rsync使用错误原因: 我遇见一个问题:rsync:read errors mapping:communication error on send (70),我查了一下这个问题很大可能是网络链接导致的,然后我用nslookup指令查看了/train2…...
由一个多线程并发保存而引发的思考
1. 问题描述 问题描述,现A表(用户查看实验的次数)有user_id和exp_id两个字段,其中user_id加exp_id不唯一。B表有user_id,exp_id以及exp_num三个字段,其中user_id加exp_id唯一(表中未建唯一索引)。 现需要将A表的数据同步到B表,单机模式通过定时任务同步。A表的数据有…...
python-vlc
文章目录 关于 python-vlc安装使用关于 python-vlc Python vlc bindings github : https://github.com/oaubert/python-vlcPython bindings (ctypes-based) for VLC http://olivieraubert.net/vlc/python-ctypes/关于 VLC 可参考 macOS - 安装使用 VLC https://blog.csdn.net/…...

2023长城杯 web部分题目(seekingeasy_extension)
seeking 下载题目附件得到: <?php error_reporting(0); header("HINT:POST n range(1,10)");$image $_GET[image]; echo "这里什么也没有,或许吧。"; $allow range(1, 10); shuffle($allow); if (($_POST[n] $allow[0])) …...

2-1 张量数据结构
张量概念 张量是什么? 单个元素叫标量(scalar),一个序列叫向量(vector),多个序列组成的平面叫矩阵(matrix),多个平面组成的立方体叫张量(tensor&…...
QSqlQuery查询语句
SqlQuery 封装了在 QSqlDatabase 上执行的 SQL 查询中创建、导航和检索数据所涉及的功能。 可用于执行 DML(数据操作语言)语句,如 SELECT、INSERT、UPDATE 和 DELETE, 以及 DDL(数据定义语言)语句ÿ…...

用c语言编写出三底模型
以下是一个用C语言实现三底模型的示例代码。这个程序通过循环遍历输入的股票数据,判断是否出现三底形态,如果是,则输出买入信号,否则输出卖出信号。 c语言 #include <stdio.h> #include <stdlib.h> // 判断是否出现…...
15 Python使用MySQL
概述 在上一节,我们介绍了如何在Python中使用网络,包括:套接字编程、socketserver等内容。在这一节,我们将介绍如何在Python中使用MySQL。MySQL是最流行的关系型数据库管理系统之一,由瑞典MySQL AB公司开发,…...
3、Nginx 常用的命令和配置文件
文章目录 3、nginx 常用的命令和配置文件3.1 nginx 常用的命令:3.2 nginx.conf 配置文件3.2.1 地址3.2.2 内容3.2.2 vim不正常退出后再次打开信息提示解决方法 3.3 第一部分:全局块3.4 第二部分:events 块3.4 第三部分:http 块①、…...
python经典百题之兔子出生问题
这是一个经典的 Fibonacci 数列问题,可以通过递归或循环来解决。 递归方法: 由题意可知,第 n 个月的兔子数等于第 n-1 个月的兔子数加上第 n-2 个月的兔子数。设 f(n) 表示第 n 个月的兔子数,则有: f(n) f(n-1) f…...

不定积分的概念和性质
目录 原函数 不定积分 不定积分的几何意义 原函数的存在定理 不定积分的性质 不定积分是微积分的一个关键部分,它涉及到一个函数的不定积分的计算。不定积分可以理解为求一个函数的原函数,也被称为反导数。原函数是一个函数,使得该函数的…...

远程访问服务器JupyterLab的配置方法
远程访问服务器JupyterLab的配置方法 环境及工具注意 基本步骤生成密码生成并修改配置文件*错误:jupyter localhost 已拒绝连接*后台运行jupyter后台关闭 其实就是在服务器运行JupyterLab,然后在本地浏览器访问 环境及工具 服务器:Ubuntu 1…...

Java native 关键字
如你在看 JDK 的源代码的时候,大概率会看到很多方法使用了 native 关键字。 下面是 String 对象 JDK 中的源代码,就带有了一个 native 关键字。 native 是干什么用的 简单来说就是 Java 的 native 方法的实现不是用 Java 实现的,可能在其他…...

【线性代数】沉浸式线性代数在线学习网站
地址:http://immersivemath.com/ila/index.html 这是全球第一本带交互式图形的线性代数教材,作者是 J. Strm, K. strm, and T. Akenine-Mller。 全书一共十章,各章节内容如下: 接下来我将对各章节进行简单的总结,另外…...
Kotlin中特性、数据类、伴生对象、顶层函数
Kotlin中的函数参数和属性声明 在 Kotlin 中,函数参数和属性有不同的声明方式和行为。这些特性使得 Kotlin 代码更加安全、易于理解和维护。 函数参数的只读性 fun sum(a: Int, b: Int): Int {var modifiedA aif (modifiedA > 0) {modifiedA 1}//三元表达式v…...

《PostgreSQL物化视图:创建、维护与应用》
🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🐅🐾猫头虎建议程序员必备技术栈一览表📖: 🛠️ 全栈技术 Full Stack: 📚…...
shell脚本之test命令
shell脚本之test命令 数值比较:2. 字符串比较:3. 文件测试:4. 逻辑操作:5. 其他测试: test命令在Shell脚本中用于进行条件测试和条件判断。它用于检查文件、字符串和数值的各种条件,并返回一个状态码&#…...

JAVA设计模式8:装饰模式,动态地将责任附加到对象上,扩展对象的功能
作者主页:Designer 小郑 作者简介:3年JAVA全栈开发经验,专注JAVA技术、系统定制、远程指导,致力于企业数字化转型,CSDN博客专家,阿里云社区专家博主,蓝桥云课讲师。 目录 一、什么是装饰模式二、…...
Linux学习之MySQL备份
xtrabackup资源下载 完全备份与恢复 # 1.物理备份与恢复 # 冷备份,需停止数据库服务 适合线下服务器。 [rootmysql50 ~]# systemctl stop mysqld [rootmysql50 ~]# mkdir /bakdir [rootmysql50 ~]# cp -r /var/lib/mysql /bakdir/mysql.bak [rootmysql50 ~]# cd /…...

时序分解 | MATLAB实现北方苍鹰优化算法NGO优化VMD信号分量可视化
时序分解 | MATLAB实现北方苍鹰优化算法NGO优化VMD信号分量可视化 目录 时序分解 | MATLAB实现北方苍鹰优化算法NGO优化VMD信号分量可视化效果一览基本介绍程序设计参考资料 效果一览 基本介绍 北方苍鹰优化算法NGO优化VMD,对其分解层数,惩罚因子数做优化…...

树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法
树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源: http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作,无需更改相机配置。但是,一…...

从WWDC看苹果产品发展的规律
WWDC 是苹果公司一年一度面向全球开发者的盛会,其主题演讲展现了苹果在产品设计、技术路线、用户体验和生态系统构建上的核心理念与演进脉络。我们借助 ChatGPT Deep Research 工具,对过去十年 WWDC 主题演讲内容进行了系统化分析,形成了这份…...

中南大学无人机智能体的全面评估!BEDI:用于评估无人机上具身智能体的综合性基准测试
作者:Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao单位:中南大学地球科学与信息物理学院论文标题:BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs论文链接:https://arxiv.…...
Qwen3-Embedding-0.6B深度解析:多语言语义检索的轻量级利器
第一章 引言:语义表示的新时代挑战与Qwen3的破局之路 1.1 文本嵌入的核心价值与技术演进 在人工智能领域,文本嵌入技术如同连接自然语言与机器理解的“神经突触”——它将人类语言转化为计算机可计算的语义向量,支撑着搜索引擎、推荐系统、…...
论文解读:交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(一)
宇树机器人多姿态起立控制强化学习框架论文解析 论文解读:交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(一) 论文解读:交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化…...
大语言模型(LLM)中的KV缓存压缩与动态稀疏注意力机制设计
随着大语言模型(LLM)参数规模的增长,推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长,而KV缓存的内存消耗可能高达数十GB(例如Llama2-7B处理100K token时需50GB内存&a…...
Hive 存储格式深度解析:从 TextFile 到 ORC,如何选对数据存储方案?
在大数据处理领域,Hive 作为 Hadoop 生态中重要的数据仓库工具,其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式,很多开发者常常陷入选择困境。本文将从底…...

技术栈RabbitMq的介绍和使用
目录 1. 什么是消息队列?2. 消息队列的优点3. RabbitMQ 消息队列概述4. RabbitMQ 安装5. Exchange 四种类型5.1 direct 精准匹配5.2 fanout 广播5.3 topic 正则匹配 6. RabbitMQ 队列模式6.1 简单队列模式6.2 工作队列模式6.3 发布/订阅模式6.4 路由模式6.5 主题模式…...

springboot整合VUE之在线教育管理系统简介
可以学习到的技能 学会常用技术栈的使用 独立开发项目 学会前端的开发流程 学会后端的开发流程 学会数据库的设计 学会前后端接口调用方式 学会多模块之间的关联 学会数据的处理 适用人群 在校学生,小白用户,想学习知识的 有点基础,想要通过项…...

AirSim/Cosys-AirSim 游戏开发(四)外部固定位置监控相机
这个博客介绍了如何通过 settings.json 文件添加一个无人机外的 固定位置监控相机,因为在使用过程中发现 Airsim 对外部监控相机的描述模糊,而 Cosys-Airsim 在官方文档中没有提供外部监控相机设置,最后在源码示例中找到了,所以感…...