【Golang】Go语言Seeker接口与文件断点续传实战
✨✨ 欢迎大家来到景天科技苑✨✨
🎈🎈 养成好习惯,先赞后看哦~🎈🎈
🏆 作者简介:景天科技苑
🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。
🏆《博客》:Python全栈,Golang开发,PyQt5和Tkinter桌面开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi,flask等框架,云原生K8S,linux,shell脚本等实操经验,网站搭建,数据库等分享。所属的专栏:Go语言开发零基础到高阶实战
景天的主页:景天科技苑
文章目录
- Seeker接口
- 一、Seeker接口简介
- 二、Seeker接口的应用场景
- 三、Seeker接口的使用示例
- 四、断点续传
Seeker接口
在现代软件开发中,高效的输入输出(I/O)操作是提高程序性能的关键之一。特别是在处理大量数据时,I/O操作的效率直接影响到应用程序的响应速度和用户体验。Go语言标准库中的io包提供了一系列接口,用于处理各种I/O操作,其中Seeker接口在处理大文件或需要随机访问的场景中非常有用。本文将结合具体案例,详细介绍Go语言中io包的Seeker接口的用法。
一、Seeker接口简介
设置光标的位置,通过设置的光标位置来读写文件
用于在数据流中将光标跳转到指定的位置
Seeker接口表示一个定位器,可以用来定位文件或流的位置。其定义如下:
type Seeker interface { Seek(offset int64, whence int) (int64, error)
}
Seek方法接受两个参数:
offset:相对位移量,表示从起始位置移动的字节数。
whence:起始位置,可以是以下三个常量之一:
- io.SeekStart:从文件开头开始计算偏移量。
- io.SeekCurrent:从当前文件指针位置开始计算偏移量。
- io.SeekEnd:从文件末尾开始计算偏移量(此时offset通常为负数,表示向前移动)。
Seek方法返回两个值:
- position:移动后的文件指针位置(相对于文件开头的字节数)。
- err:可能发生的错误。
二、Seeker接口的应用场景
随机访问大文件:对于非常大的文件,通过Seek方法可以直接定位到文件的任意位置进行读写操作,而不需要从头开始遍历文件。
断点续传:在网络传输或文件复制等场景中,如果传输过程中断,可以通过Seek方法定位到上次传输的断点,继续传输剩余的数据。
日志文件分析:对于包含多条记录的日志文件,可以通过Seek方法快速定位到特定记录的位置,进行日志分析或错误排查。
三、Seeker接口的使用示例
以下是一个结合具体案例的示例代码,展示了如何使用Seeker接口来定位文件位置并进行读写操作。
File对象实现了Seeker接口
file对象可以直接调用Seek方法
我们先看下a.txt文件
代码示例:
package mainimport ("fmt""io""os"
)func main() {// 读取文件file, _ := os.OpenFile("F:\\goworks\\src\\jingtian\\yufa\\io操作\\a.txt", os.O_RDWR, os.ModePerm)// defer closedefer file.Close()// 测试seek// 相对开始位置。io.SeekStart// 相对于文件末尾, io.SeekEnd// func (f *File) Seek(offset int64, whence int) (ret int64, err error)//相对于开始位置,光标偏移两个字节file.Seek(2, io.SeekStart)//创建一个字节的bufferbuf := []byte{0}file.Read(buf)fmt.Println(string(buf)) // n//Read读了一个字节, 光标现在在3这个位置// 相对于当前位置file.Seek(3, io.SeekCurrent)file.Read(buf)fmt.Println(string(buf)) // a// 在结尾追加内容//相对于结束位置偏移0,光标就设在了结束位置file.Seek(0, io.SeekEnd)//写入内容file.WriteString("hahahaha")
}
运行
再看下a.txt,可见在末尾写入了我们指定的内容
四、断点续传
断点续传是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分,每一个部分采用一个线程进行上传或下载,如果碰到网络故障,可以从已经上传或下载的部分开始继续上传或者下载未完成的部分,而没有必要从头开始上传或者下载。
go语言实现断点续传的思路:
使用临时文件记录中断位置.
1.文件上传时,先创建上传一个新的文件
2.创建记录中断位置的临时文件,需要记住上一次传递了多少数据、temp.txt
3.设置文件读写偏移量,如果被暂停或者中断了,我们就可以读取这个temp.txt的记录,恢复上传
4.上传完成后,删除临时文件
package mainimport ("fmt""io""os""strconv"
)// 断点续传
func main() {// 传输源文件地址srcFile := "D:\\downloads\\mingw.7z"// 传输的目标位置destFile := "F:\\goworks\\src\\jingtian\\yufa\\io操作\\server\\mingw.7z"// 临时记录文件tempFile := "F:\\goworks\\src\\jingtian\\yufa\\io操作\\temp.txt"// 创建对应的file对象,连接起来file1, _ := os.Open(srcFile)file2, _ := os.OpenFile(destFile, os.O_CREATE|os.O_RDWR, os.ModePerm)file3, _ := os.OpenFile(tempFile, os.O_CREATE|os.O_RDWR, os.ModePerm)defer file1.Close()defer file2.Close()fmt.Println("file1/2/3 文件连接建立完毕")// 1、读取temp.txtfile3.Seek(0, io.SeekStart)buf := make([]byte, 1024)n, _ := file3.Read(buf) //这里的n是读取file3中的字符的个数,比如1024,得到的n是4.所以要借助string转//查看返回的n的数据类型fmt.Printf("查看n的数据类型%T\n", n)fmt.Println("n的值为", n)// 2、先转换成string,然后再转换成数字。countStr := string(buf[:n])count, _ := strconv.ParseInt(countStr, 10, 64)fmt.Println("temp.txt中记录的值为:", count) // 5120// 3、设置读写的偏移量,offset是int64数据类型file1.Seek(count, io.SeekStart)file2.Seek(count, io.SeekStart)fmt.Println("file1/2 光标已经移动到了目标位置")// 4、开始读写(复制、上传)bufData := make([]byte, 1024)// 5、需要记录读取了多少个字节total := int(count)for {fmt.Println("传输了,", total)// 读取数据readNum, err := file1.Read(bufData)if err == io.EOF || readNum == 0 { // file1 读取完毕了fmt.Println("文件传输完毕了")//上传完文件再关闭临时文件file3file3.Close()os.Remove(tempFile)break}// 向目标文件中写入数据,返回写的字节数和错误writeNum, err := file2.Write(bufData[:readNum])// 将写入数据放到 total中, 在这里total 就是传输的进度total = total + writeNum// temp.txt 存放临时记录数据file3.Seek(0, io.SeekStart) // 将光标重置到开头//将数字转换成字符串写入,这里total逐渐变大不存在覆盖不完的问题。如果存在覆盖不完问题,使用os.Truncate(fileName, 0)来清空文件内容// os.Truncate(fileName, 0) 截取指定长度字节的内容,其余内容会被删除file3.WriteString(strconv.Itoa(total))//模拟断电//if total > 10000 {// panic("断电了")//}}}
模拟传输过程中出现问题,比如断电
恢复电后继续上传
相关文章:

【Golang】Go语言Seeker接口与文件断点续传实战
✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,…...

【MySQL】基本查询(下):更新、删除
3.Update 语法: UPDATE table_name SET column expr [, column expr ...] [WHERE ...] [ORDER BY ...] [LIMIT ...]举几个例子: 将孙悟空同学的数学成绩变更为 80 分: 将曹孟德同学的数学成绩变更为 60 分,语文成绩变更为 …...

django urlconf路由分发
在Django中,URLconf(URL configuration)是用来定义应用程序的URL路由规则的,主要用于将特定的URL请求映射到相应的视图函数。以下是关于Django中URL分发的详细介绍和代码示例。 URLconf的基本结构 URL配置文件(urls.p…...

The 2024 ICPC Kunming Invitational Contest K. Permutation(交互 期望)
在知乎内查看 题目 思路来源 题解 首先特判n1的情况,其实也不用问 分治,假设当前解决到[l,r],要递归的vector是x, 维护两个vector L、R,代表下一步要在[l,mid]和[mid1,r]分治的vector 每次将x random_shuffle后&a…...

TensorFlow与Pytorch的转换——1简单线性回归
import numpy as np# 生成随机数据 # 生成随机数据 x_train np.random.rand(100000).astype(np.float32) y_train 0.5 * x_train 2 import tensorflow as tf# 定义模型 W tf.Variable(tf.random.normal([1])) b tf.Variable(tf.zeros([1])) y W * x_train b # 定义损失函…...

短剧小程序短剧APP在线追剧APP网剧推广分销微短剧小剧场小程序集师知识付费集师短剧小程序集师小剧场小程序集师在线追剧小程序源码
一、产品简介功能介绍 集师专属搭建您的独有短剧/追剧/小剧场小程序或APP平台 二、短剧软件私域运营解决方案 针对短剧类小程序的运营,以下提出10条具体的方案: 明确定位与目标用户: 对短剧类小程序进行明确定位,了解目标用户群体…...

AI与物理学的交汇:Hinton与Hopfield获诺贝尔物理学奖
诺贝尔物理学奖颁给了AI!机器学习先驱Hinton与Hopfield联手获奖,出乎所有人的意料。 今年的诺贝尔物理学奖颁给了机器学习领域的两位先驱,杰弗里辛顿(Geoffrey Hinton)和约翰霍普菲尔德(John Hopfield&…...

六西格玛设计DFSS方法论在消费级无人机设计中的应用——张驰咨询
本文基于六西格玛设计方法论,对消费级无人机的设计流程进行系统化研究,探讨如何通过六西格玛设计的理念、工具和方法提升无人机产品的设计质量和市场竞争力。文章从市场定位、客户需求分析出发,深入到关键KPI指标的制定,并逐步阐述…...

按分类调用标签 调用指定分类下的TAG
按分类调用标签 调用指定分类下的TAG <?php query_posts(category_namenews); if (have_posts()) : while (have_posts()) : the_post(); if( get_the_tag_list() ){ echo $posttags get_the_tag_list(<li class"jquery">,</li><li>,</li…...

报错 - llama-index pydantic error | arbitrary_types_allowed | PydanticUserError
国庆节前使用 LiteLLMEmbedding 设置 llama-index Settings.embed_model 还好好的,回来后,就就报错,试着降级 llama-index 也无用;设置 Settings.llm 也是好好地。 解决方法:conda 重新创建环境后,在安装 …...

PostgreSQL Docker Error – 5432: 地址已被占用
PostgreSQL Docker Error – 5432: 地址已被占用 今天在学习【Spring Boot React】价值79.9美元,全栈开发,搭建个人网站、做毕业设计、试试这套课程第17~21节视频的时候,发现运行docker run --name demo-postgres -e POSTGRES_PASSWORDpass…...

【LeetCode】动态规划—646. 最长数对链(附完整Python/C++代码)
动态规划—646. 最长数对链 前言题目描述基本思路1. 问题定义2. 理解问题和递推关系3. 解决方法3.1 动态规划方法3.2 贪心方法 4. 进一步优化5. 小总结 代码实现PythonPython3代码实现Python 代码解释 CC代码实现C 代码解释 总结 前言 在这个问题中,我们需要找到可…...

数字媒体产业园区:创新资源集聚,助力企业成长
在当今数字化浪潮汹涌的时代,数字媒体产业园区作为创意与技术的交汇点,正以其独特的魅力和无限的潜力,成为助力企业成长的重要平台。其中,“数字媒体产业园区”以其创新资源的集聚效应,为入驻企业提供了广阔的发展空间…...

【Linux】来查看当前系统的架构
使用 uname 命令 uname -m 使用 arch 命令 arch 查看 /proc/cpuinfo 文件 查找 model name 或 Processor 字段。 cat /proc/cpuinfo 使用 lscpu 命令 lscpu...

QT中的信号槽
1.解释说明 1- qt中一般是使用信号槽来绑定对应的事件 2- 可以在初始化中调用connect来调用 3- 这里分别用头文件、源文件、界面文件去写示例 2.头文件.h #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow>QT_BEGIN_NAMESPACE namespace Ui { class Mai…...

域名怎么转让给别人?
域名怎么转让给别人?许多企业和个人在发展过程中可能会选择转让域名,无论是因为业务重组、品牌更换,还是为了实现经济利益。那么,如何将域名顺利转让给他人呢?本文将详细介绍域名转让的步骤和注意事项。 一、了解域名转让的基本概念 域名…...

计算机网络思维导图
计算机网络 网络层 概述 主要任务 实现网路互连,进而实现数据包在各网络之间的传输 解决问题 向运输层提供可靠传输/不可靠传输的服务网络层寻址问题路由选择问题 英特网时使用最多的互联网,使用TCP/IP协议栈 网络层使用网际协议IP,时整个…...

07.useDefault
在 React 应用开发中,处理状态的默认值和空值情况是一个常见需求。useDefault 钩子提供了一种优雅的方式来管理状态,同时为空值(null 或 undefined)提供默认回退值。这个自定义钩子不仅简化了状态管理,还提高了代码的可读性和健壮性。以下是如何实现和使用这个自定义钩子:…...

git更加详细和灵活的提交过程,附带如何配置. gitignore来忽略部分文件的提交。
本套流程可以控制提交的代码是哪些,比直接使用git add . 更灵活,比如在项目中,一些文件不能通过.gitignore进行尽职提交,那么就需要使用本方法来手动控制是否提交,缺点就是相对麻烦一些。 git status//查看从当前工作…...

使用正则表达式删除文本的奇数行或者偶数行
用智谱清言和kimi搜出来的结果都没法在notepad生效,后面在overflow上找到的答案比较靠谱。 查找:^[^\n]*\n([^\n]*) 替换:\1 删除偶数行 查找:^([^\n]*)\n[^\n]* 替换:\1 代码解释 ^:这个符号代表字符…...

YOLOv10改进策略【注意力机制篇】| CVPR2024 CAA上下文锚点注意力机制
一、本文介绍 本文记录的是基于CAA注意力模块的YOLOv10目标检测改进方法研究。在远程遥感图像或其他大尺度变化的图像中目标检测任务中,为准确提取其长距离上下文信息,需要解决大目标尺度变化和多样上下文信息时的不足的问题。CAA能够有效捕捉长距离依赖,并且参数量和计算量…...

Unity修改鼠标图片【超简单】
1.向Unity导入需要修改的鼠标图片,在Unity内设置图片的Texture Type为Cursor。 2.编写代码 [SerializeField] Texture2D mouseTex;//放图片 void Start() {Cursor.SetCursor(mouseTex, Vector2.zero, CursorMode.Auto); }3.代码挂载在某物体(或者随便哪…...

windows C++-创建数据流代理(三)
以下示例展示了 log_agent 类,它类似于 dataflow_agent 类。 log_agent 类实现异步记录代理,用于将日志消息写入文件和控制台。 log_agent 类使应用程序能够将消息分类为信息性、警告或错误消息。 它还使应用程序能够指定每个日志类别是写入文件、控制台…...

C语言学习-循环嵌套打印字母金字塔
前言 最近博主也是在努力的学习C语言,在学习的过程当中碰到了一个对我来说的“难题”,足足控了我有半小时,不过这个问题也是挺有趣的,我也就借着本道题目来写一篇文章和大家交流交流 准备工作 vs2022(其他编辑器当然也可以)c语…...

探索CI/CD:持续集成与持续部署的基本概念
在现代软件开发中,持续集成(CI)和持续部署(CD)已经成为提高开发效率和产品质量的关键实践。本文将详细介绍CI/CD的基本概念、优势以及如何在实际项目中实施CI/CD。 一、什么是持续集成(CI)&…...

大厂面试真题:说一说CMS和G1
CMS垃圾回收器四个主要步骤 初始标记阶段(Initial Mark Phase) 目的:标记老年代中所有从GC Roots直接可达的对象。特点:此阶段会导致STW(Stop The World),即暂停应用程序的执行,但停…...

使用Qt Creator创建项目
个人主页:C忠实粉丝 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 C忠实粉丝 原创 使用Qt Creator创建项目 收录于专栏【Qt开发】 本专栏旨在分享学习Qt的一点学习笔记,欢迎大家在评论区交流讨论💌 目录 温馨提示: 1. 新…...

C++ 与 C 的那些事儿:深度剖析两者区别
在编程的世界里,C 和 C 就像是一对有着紧密血缘关系却又各具特色的兄弟。对于很多初学者或者有一定编程经验的人来说,分清它们之间的差异至关重要。今天,我们就来深入探讨一下 C 和 C 的区别。 <1>、C 是一种静态类型的、编译式的、通…...

学习Redis 高可用性
Redis 高可用性(High Availability)是指在 Redis 系统中实现持续的可用性,即使在发生硬件故障或其他意外情况下,系统仍能保持运行。 Redis 高可用性(High Availability)是指在 Redis 系统中实现持续的可用性…...

【含开题报告+文档+PPT+源码】基于springBoot+vue超市仓库管理系统的设计与实现
开题报告 随着电子商务的快速发展和物流行业的日益壮大,超市仓库管理系统的重要性也日益凸显。传统的超市仓库管理方式存在许多问题,比如人工操作繁琐、数据统计不准确、管理效率低下等。因此,需要设计和实现一个高效、智能的超市仓库管理系…...