利用Git和wget批量下载网页数据

一、Git的下载（参考文章）
二. wget下载（网上很多链接）
三、git和wget结合使用
1.先建立一个文本，将代码写入文本（代码如下），将txt后缀改为sh（download_ssebop.sh）。将wget和.sh文件放在一个文件中（F:\PhD\Mult_year_ET\Ssebop）。然后在Ssebop中右击，点击open Git bash here.然后输入：./download_ssebop.sh。点击回车即可。我需要下载的数据网页链接为：https://edcintl.cr.usgs.gov/downloads/sciweb1/shared/fews/web/global/monthly/etav5/downloads/

#!/bin/bash# 设置基本参数
base_url="https://edcintl.cr.usgs.gov/downloads/sciweb1/shared/fews/web/global/monthly/etav5/downloads/"
start_year=2003
end_year=2021
download_dir="./down"# 创建下载目录（如果不存在）
mkdir -p "$download_dir"# 遍历每一年和月，构建URL并调用wget进行下载到指定目录
for year in $(seq $start_year $end_year); dofor month in $(seq -w 1 12); do # 使用-w选项确保月份是两位数filename="m${year}${month}.zip"url="${base_url}${filename}"echo "Downloading ${filename} from ${url}"# 使用wget下载文件到指定目录if F:/PhD/Mult_year_ET/Ssebop/wget --quiet --show-progress --progress=bar:force -P "$download_dir" "$url"; thenecho "Successfully downloaded ${filename} into ${download_dir}."elseecho "Failed to download ${filename}."fidone
done

以上就可以对网页数据进行批量下载！

长路漫漫…
唯有坚持…