【服务器】上传百度网盘数据至服务器

目录方法一使用开源命令行工具 BaiduPCS-Go (最推荐)实例下载网盘数据实例上传服务器数据至百度网盘单个文件测试上传批量裁剪文件参考方法一使用开源命令行工具 BaiduPCS-Go (最推荐)这是目前在 Linux/Windows 服务器上最流行的第三方工具它模拟了百度网盘的客户端支持多线程下载速度非常快。下载工具# 示例下载适合 Linux 64位的版本请检查最新版本号wgethttps://github.com/qjfoidnh/BaiduPCS-Go/releases/download/v3.9.5/BaiduPCS-Go-v3.9.5-linux-amd64.zipunzipBaiduPCS-Go-v3.9.5-linux-amd64.zipcdBaiduPCS-Go-v3.9.5-linux-amd64chmodx BaiduPCS-Go登录账号运行程序./BaiduPCS-Go进入交互界面后使用login命令。由于服务器通常没有浏览器推荐使用BDUSS 登录Cookie登录。如何获取 BDUSS方法一使用快捷键F12在本地浏览器登录百度网盘按 F12 打开开发者工具 - Application (或 Storage) - Cookies - 找到BDUSS的值并复制。方法二使用浏览器地址栏代码最快捷无需 F12这种方法通过在地址栏输入一段 JavaScript 代码来直接弹出 BDUSS适用于大多数电脑浏览器。在浏览器中打开百度首页 (baidu.com)并确保已经登录账号。在浏览器的地址栏中手动输入javascript:注意直接复制粘贴整段代码时浏览器为了安全通常会自动删掉开头的javascript:所以必须手动打这几个字。紧接着粘贴以下代码alert(document.cookie.match(/BDUSS(.*?)(;|$)/)[1])按回车键。浏览器会弹出一个窗口里面的一长串字符就是你的BDUSS。在服务器输入login -bduss你的BDUSS3.下载文件登录成功后使用类似 Linux 的命令操作*ls列出文件*cd切换目录*d 文件名下载文件 (例如d movie.mp4)优点免费、开源、支持多线程、无需图形界面。缺点百度有时会针对非官方客户端限速账号可能被暂时拉黑导致速度变慢需要会员解封。实例下载网盘数据cd/geogfs1/home/wanzhougeo/Packages/BaiduPCS-Go-v3.9.5-linux-amd64/# 确保先进入正确的下载目录./BaiduPCS-Go configset-savedir/geogfs1/groups/scl/Data/# 设置最大并发下载任务数为 50 (根据服务器性能可适当调整一般 50-100 都可以)./BaiduPCS-Go configset-max_parallel50# 设置下载缓存大小为 256KB (有助于减少磁盘碎片)./BaiduPCS-Go configset-cache_size262144案例1下载数据# 下载地温数据./run_downloadLST.shnohup./run_downloadLST.shdownloadLST.log21# 下载气温数据nohup./run_downloadTa.shnohup./run_downloadTa.shdownloadTa.log21nohup./run_downloadCode.shdownloadB0.log21用以下命令在 Linux 或 macOS 终端中查看该文件夹的大小du-sh/geogfs1/groups/scl/Data/2860562008_ww_for/裁剪文件mv/geogfs1/groups/scl/Data/2860562008_ww_for/Africa_Ta_SVCMsp_2021TMIN_*.tif /geogfs1/groups/scl/Data/2860562008_ww_for/Africa2021/mv/geogfs1/groups/scl/Data/2860562008_ww_for/Australia_Ta_SVCMsp_2021TMAX_*.tif /geogfs1/groups/scl/Data/2860562008_ww_for/Australia2021/mv/geogfs1/groups/scl/Data/2860562008_ww_for/Australia_Ta_SVCMsp_2021TMIN_*.tif /geogfs1/groups/scl/Data/2860562008_ww_for/Australia2021/mv/geogfs1/groups/scl/Data/2860562008_ww_for/ /geogfs1/groups/scl/Data/Global_Ta/案例2下载数据实例上传服务器数据至百度网盘# 下载气温数据nohup./run_uploadTa.shrun_uploadTa.sh 脚本完整内容如下设置最大并发上传数如下./BaiduPCS-Go configset-max_upload_parallel5(将最大并发上传数设置为 2 或 1虽然上传速度会稍微变慢但会极其稳定不再报错)单个文件测试上传测试单个文件的上传./BaiduPCS-Go upload /geogfs1/groups/scl/Data/Global_Ta/EuropeanAsia2021/EuropeanAsia_Ta_SVCMsp_2021TMAX_001.tif /Ta/EuropeanAsia2021/如果单文件测试依然报 31023 错误请按以下步骤修复方法一修改 AppID最常见的有效解决方法很多时候是因为默认的 AppID 接口被百度限制了。可以尝试修改为一个官方常用的 AppID例如 266719 或 265486。依次执行以下命令# 修改 AppID./BaiduPCS-Go configset-appid266719# 退出当前账号并重新登录修改 AppID 后通常需要重新登录才能生效./BaiduPCS-Gologout./BaiduPCS-Go login批量裁剪文件cp/geogfs1/groups/scl/Data/Ta_SVCMsp_global_V2026/2_output/Ta2021/EuropeanAsia2021/ /geogfs1/groups/scl/Data/Global_Ta/EuropeanAsia2021/ /geogfs1/groups/scl/Data/Ta_SVCMsp_global_V2026/2_output/Ta2021/EuropeanAsia2021rep/cd/geogfs1/groups/scl/Data/Ta_SVCMsp_global_V2026/2_output/chmodx copy_ta_data.sh dos2unix copy_ta_data.sh ./copy_ta_data.sh2022./copy_ta_data.sh202020212022copy_ta_data.sh 脚本内容如下#!/bin/bash# 检查是否提供了年份参数if[$#-eq0];thenecho使用方法:$0年份1 [年份2] [年份3] ...echo示例:$02021 2022 2023exit1fi# 遍历所有传入的年份参数forYEARin$;doechoecho正在处理年份:${YEAR}...# 定义对应年份的文件夹路径SRC_DIR/geogfs1/groups/scl/Data/Ta_SVCMsp_global_V2026/2_output/Ta${YEAR}/EuropeanAsia${YEAR}REP_DIR/geogfs1/groups/scl/Data/Ta_SVCMsp_global_V2026/2_output/Ta${YEAR}/EuropeanAsia${YEAR}repTARGET_DIR/geogfs1/groups/scl/Data/Global_Ta/EuropeanAsia${YEAR}# 1. 创建目标文件夹如果不存在的话-p 参数会自动创建父目录且不会报错mkdir-p${TARGET_DIR}echo已确保目标文件夹存在:${TARGET_DIR}# 2. 拷贝原始数据if[-d${SRC_DIR}];thenecho正在拷贝原始数据:${SRC_DIR}-${TARGET_DIR}# 拷贝所有 tif 文件。2/dev/null 用于隐藏找不到文件时的系统报错由后面的 echo 提供友好提示cp${SRC_DIR}/*.tif${TARGET_DIR}/2/dev/null||echo [警告]${SRC_DIR}中没有找到 .tif 文件。elseecho [错误] 原始数据文件夹不存在:${SRC_DIR}fi# 3. 拷贝替换数据 (使用 -f 强制覆盖同名文件)if[-d${REP_DIR}];thenecho正在拷贝并替换数据:${REP_DIR}-${TARGET_DIR}cp-f${REP_DIR}/*.tif${TARGET_DIR}/2/dev/null||echo [提示]${REP_DIR}中没有找到需要替换的 .tif 文件。elseecho [提示] 替换文件夹不存在跳过替换步骤:${REP_DIR}fiecho年份${YEAR}处理完成doneechoecho所有指定年份的数据拷贝与替换任务已全部执行完毕参考