使用windows批量解压和布局ImageNet ISLVRC2012数据集

使用的系统是windows，找到的解压命令很多都linux系统中的，为了能在windows系统下使用，因此下载Git这个软件，在其中的Git Bash中使用以下命令，因为Git Bash集成了很多linux的命令，方便我们的使用。

ImageNet 中目前共有 14,197,122 幅图像，总共分为 21,841 个类别（synsets），通常我们所说的 ImageNet 数据集其实是指 ISLVRC2012 比赛用的子数据集，其中 train 有 1,281,167 张照片和标签，共 1000 类，大概每类 1300 张图片，val 有 50,000 副图像，每类 50 个数据，test 有 100,000 副图片，每类 100 个数据。

比赛分为三个场景：图像分类（CLS）、目标定位（LOC）和目标检测（DET）。CLS：2010-2014 比赛中独立任务，2015 年与 LOC 合并，使用 top5。LOC：从 2011 年开始，2015 年与 CLS 合并为 CLS-LOC，单目标定位任务的数据与 CLS 任务包含相同的照片，照片数据手动标注图像是否存在 1000 个物体类别之一的实例，每张图片包含一个 gt 标签，该类别的每个实例都标注了边界框 bounding box，比赛中 IoU>0.5。

1.数据集下载：（一个大佬的链接）

• 训练集：ILSVRC2012_img_train.tar.gz，提取码：yoos；
• 验证集：ILSVRC2012_img_val.tar.gz，提取码：yl8m；
• 测试集：ILSVRC2012_img_test.tar.gz，提取码：jumt；
• 任务 1&2 的 devkit：ILSVRC2012_devkit_t12.tar，提取码：dw6i；

2. 数据解压

我们会得到训练集与验证集的两个压缩包，分别是 ILSVRC2012_img_train.tar 和 ILSVRC2012_img_val.tar。

数据集布局要求是：

/path/to/imagenet/train/class1/img1.jpegclass2/img2.jpegval/class1/img3.jpegclass2/img4.jpeg

首先创建两个用于放训练集和测试集的文件夹，然后解压：

（1）解压训练集

右键对训练集选择Git Bash Here

三行命令逐行输入进Git Bash Here窗口中：

mkdir train && mv ILSVRC2012_img_train.tar train/ && cd train
tar -xvf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tar
find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}"; done
cd ..

结果如下：

（2）解压测试集

wget https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.shmkdir val && tar -xvf ILSVRC2012_img_val.tar -C val && mv valprep.sh val && cd val && bash valprep.sh

下载的valprep.sh文件在外网（valprep.sh文件中保存的就是图片按类生成文件夹的布局），或者可以直接迅雷链接，将下载后的文件放入和验证集压缩包同一文件夹下，这样直接在Git Bash Here窗口使用第二个命令就可以完成解压。（也是一个大佬的链接）

链接：https://pan.xunlei.com/s/VMkus56ePQ4LMJUIXheBkhXSA1 提取码：k9ej

或者利用python解压测试集：

【点击下载验证集标签】
对于训练集，不同类别的数据躺在不同的文件夹里，用起来很方便（同一文件夹的视为一类）。但是验证集没有对应的标签，需要额外处理。

验证集的标签在 Development kit （文件名为 ILSVRC2012_devkit_t12.tar.gz）中的ILSVRC2012_devkit_t12\data\ILSVRC2012_validation_ground_truth.txt 中：

在映射关系储存在和txt文件同目录下的 meta.mat 文件中。我们希望验证集的文件结构长得和训练集一样，即 :

/val
/n01440764
images
/n01443537
images

解压完压缩包后：新建python文件：

from scipy import io
import os
import shutildef move_valimg(val_dir='./val', devkit_dir='./ILSVRC2012_devkit_t12'):"""move valimg to correspongding folders.val_id(start from 1) -> ILSVRC_ID(start from 1) -> WINDorganize like:/val/n01440764images/n01443537images....."""# load synset, val ground truth and val images listsynset = io.loadmat(os.path.join(devkit_dir, 'data', 'meta.mat'))ground_truth = open(os.path.join(devkit_dir, 'data', 'ILSVRC2012_validation_ground_truth.txt'))lines = ground_truth.readlines()labels = [int(line[:-1]) for line in lines]root, _, filenames = next(os.walk(val_dir))for filename in filenames:# val image name -> ILSVRC ID -> WINDval_id = int(filename.split('.')[0].split('_')[-1])ILSVRC_ID = labels[val_id-1]WIND = synset['synsets'][ILSVRC_ID-1][0][1][0]print("val_id:%d, ILSVRC_ID:%d, WIND:%s" % (val_id, ILSVRC_ID, WIND))# move val imagesoutput_dir = os.path.join(root, WIND)if os.path.isdir(output_dir):passelse:os.mkdir(output_dir)shutil.move(os.path.join(root, filename), os.path.join(output_dir, filename))if __name__ == '__main__':move_valimg()

3. 预处理Crop & Resize

数据集在扔给网络模型做训练前还需要统一尺寸处理，一方面是 CNN 需要统一尺寸的输入，另一方面是可以有数据增强的效果。一般来说有 crop 和 resize 两个过程。

其中 crop 的方法有 single crop 和 multiple crops 两种：

• single crop：先将图像 resize 到某个尺度，例如：256 x N（短边为256），然后 centercrop 成 224x224 作为模型的输入；
• multiple crops 的具体形式有多种，可自行指定，比如：1）10 crops：取（左上，左下，右上，右下，正中）以及它们的水平翻转，这 10 个 crops 作为 CNN 输入，最终取平均预测结果；2）144 crops：首先将图像 resize 到 4 个尺度：256xN，320xN，384xN，480xN，然后每个尺度上去取“最左”，“正中”，“最右”这 3 个位置的正方形区域，对每个正方形区域，取上述的 10 个 224x224 的 crops，则得到 4x3x10=120 个 crops，再对上述正方形区域直接 resize 到 224x224，以及做水平翻转，则又得到 4x3x2=24 个 crops，总共加起来就是 144 个 crops，输入到网络最后取平均预测结果

4.  用Pytorch加载

使用 torchvision.datasets.ImageFolder() 就可以直接加载处理好的数据集啦！

• 
  def load_ImageNet(ImageNet_PATH, batch_size=64, workers=3, pin_memory=True): traindir = os.path.join(ImageNet_PATH, 'ILSVRC2012_img_train')valdir   = os.path.join(ImageNet_PATH, 'ILSVRC2012_img_val')print('traindir = ',traindir)print('valdir = ',valdir)normalizer = transforms.Normalize(mean=[0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225])train_dataset = datasets.ImageFolder(traindir,transforms.Compose([transforms.RandomResizedCrop(224),transforms.RandomHorizontalFlip(),transforms.ToTensor(),normalizer]))val_dataset = datasets.ImageFolder(valdir,transforms.Compose([transforms.Resize(256),transforms.CenterCrop(224),transforms.ToTensor(),normalizer]))print('train_dataset = ',len(train_dataset))print('val_dataset   = ',len(val_dataset))train_loader = torch.utils.data.DataLoader(train_dataset,batch_size=batch_size,shuffle=True,num_workers=workers,pin_memory=pin_memory,sampler=None)val_loader = torch.utils.data.DataLoader(val_dataset,batch_size=batch_size,shuffle=False,num_workers=workers,pin_memory=pin_memory)return train_loader, val_loader, train_dataset, val_dataset