竞赛保研 基于深度学习的行人重识别(person reid)
文章目录
- 0 前言
- 1 技术背景
- 2 技术介绍
- 3 重识别技术实现
- 3.1 数据集
- 3.2 Person REID
- 3.2.1 算法原理
- 3.2.2 算法流程图
- 4 实现效果
- 5 部分代码
- 6 最后
0 前言
🔥 优质竞赛项目系列,今天要分享的是
基于深度学习的行人重识别
该项目较为新颖,适合作为竞赛课题方向,学长非常推荐!
🧿 更多资料, 项目分享:
https://gitee.com/dancheng-senior/postgraduate
1 技术背景
行人重识别技术,是智能视频监控系统的关键技术之一,其研宄是针对特定目标行人的视频检索识别问题。行人再识别是一种自动的目标判定识别技术,它综合地运用了计算机视觉技术、机器学习、视频处理、图像分析、模式识别等多种相关技术于监控系统中,其主要描述的是在多个无重叠视域的摄像头监控环境之下,通过相关算法判断在某个镜头下出现过的感兴趣的目标人物是否在其他摄像头下再次出现。
2 技术介绍
在视频监控系统中,行人再识别任务的整体框架如下图所示:
—个监控系统由多个视域不相交的监控摄像头组成,摄像机的位置可以随时更改,同时也可以随时增加或减少摄像机。不两监控摄像头所摄取的画面、视角等各不相同。在这样的监控系统中,对行人的动向监测是,至关重要的。
对行人的监控主要基于以下三个基本的模块:
-
行人检测:
行人检测的目标是在图片中定位到行人的具体位置。这一步骤仅涉及到对于静止的单张图片的处理,而没有动态的处理,没有时间序列上的相关分析。 -
行人轨迹跟踪:
行人轨迹跟踪的主要任务是在一段时间内提供目标任务的位置移动信息。与行人检测不同,轨迹跟踪与时间序列紧密相关。行人轨迹跟踪是在行人检测的基础上进行的。 -
行人再识别:
行人再识别任务的目标是在没有相重合视域的摄像头或摄像机网络内的不同背景下的许多行人中中识别某个特定行人。行人再识别的分析基于行人检测和轨迹跟踪的结果。其主要步骤首先是检测和跟踪视频序列中的行人,从而提取行人的特征,建立构建模型所需的行人特征集数据库。
在此基础上,用训练出的模型进行学习从而判断得出某个摄像头下的行人与另一摄像头下的目标人物为同一个人。在智能视频监控系统中的行人再识别任务具有非常广阔的应用前景。行人再识别的应用与行人检测、目标跟踪、行人行为分析、敏感事件检测等等都有着紧密的联系,这些分析处理技术对于公安部门的刑侦工作和城市安防建设工作有着重要的意义。
3 重识别技术实现
3.1 数据集
目前行人再识别的研究需要大量的行人数据集。行人再识别的数据集主要是通过在不同区域假设无重叠视域的多个摄像头来采集拍摄有行人图像的视频,然后对视频提取帧,对于视频帧图像采用人工标注或算法识别的方式进行人体检测及标注来完成的。行人再识别数据集中包含了跨背景、跨时间、不同拍摄角度下、各种不同姿势的行人图片,如下图所示。
3.2 Person REID
3.2.1 算法原理
给定N个不同的行人从不同的拍摄视角的无重叠视域摄像机捕获的图像集合,行人再识别的任务是学习一个模型,该模型可以尽可能减小行人姿势和背景、光照等因素带来的影响,从而更好地对行人进行整体上的描述,更准确地对不同行人图像之间的相似度进行衡量。
我这里使用注意力相关的特征的卷积神经网络。该基础卷积神经网络架构可以由任何卷积神经网络模型代替,例如,VGG-19,ResNet-101。
该算法的核心模块在于注意力学习模型。
3.2.2 算法流程图
4 实现效果
在多行人场景下,对特定行人进行寻找
5 部分代码
import argparseimport timefrom sys import platformfrom models import *from utils.datasets import *from utils.utils import *from reid.data import make_data_loaderfrom reid.data.transforms import build_transformsfrom reid.modeling import build_modelfrom reid.config import cfg as reidCfgdef detect(cfg,data,weights,images='data/samples', # input folderoutput='output', # output folderfourcc='mp4v', # video codecimg_size=416,conf_thres=0.5,nms_thres=0.5,dist_thres=1.0,save_txt=False,save_images=True):# Initializedevice = torch_utils.select_device(force_cpu=False)torch.backends.cudnn.benchmark = False # set False for reproducible resultsif os.path.exists(output):shutil.rmtree(output) # delete output folderos.makedirs(output) # make new output folder############# 行人重识别模型初始化 #############query_loader, num_query = make_data_loader(reidCfg)reidModel = build_model(reidCfg, num_classes=10126)reidModel.load_param(reidCfg.TEST.WEIGHT)reidModel.to(device).eval()query_feats = []query_pids = []for i, batch in enumerate(query_loader):with torch.no_grad():img, pid, camid = batchimg = img.to(device)feat = reidModel(img) # 一共2张待查询图片,每张图片特征向量2048 torch.Size([2, 2048])query_feats.append(feat)query_pids.extend(np.asarray(pid)) # extend() 函数用于在列表末尾一次性追加另一个序列中的多个值(用新列表扩展原来的列表)。query_feats = torch.cat(query_feats, dim=0) # torch.Size([2, 2048])print("The query feature is normalized")query_feats = torch.nn.functional.normalize(query_feats, dim=1, p=2) # 计算出查询图片的特征向量############# 行人检测模型初始化 #############model = Darknet(cfg, img_size)# Load weightsif weights.endswith('.pt'): # pytorch formatmodel.load_state_dict(torch.load(weights, map_location=device)['model'])else: # darknet format_ = load_darknet_weights(model, weights)# Eval modemodel.to(device).eval()# Half precisionopt.half = opt.half and device.type != 'cpu' # half precision only supported on CUDAif opt.half:model.half()# Set Dataloadervid_path, vid_writer = None, Noneif opt.webcam:save_images = Falsedataloader = LoadWebcam(img_size=img_size, half=opt.half)else:dataloader = LoadImages(images, img_size=img_size, half=opt.half)# Get classes and colors# parse_data_cfg(data)['names']:得到类别名称文件路径 names=data/coco.namesclasses = load_classes(parse_data_cfg(data)['names']) # 得到类别名列表: ['person', 'bicycle'...]colors = [[random.randint(0, 255) for _ in range(3)] for _ in range(len(classes))] # 对于每种类别随机使用一种颜色画框# Run inferencet0 = time.time()for i, (path, img, im0, vid_cap) in enumerate(dataloader):t = time.time()# if i < 500 or i % 5 == 0:# continuesave_path = str(Path(output) / Path(path).name) # 保存的路径# Get detections shape: (3, 416, 320)img = torch.from_numpy(img).unsqueeze(0).to(device) # torch.Size([1, 3, 416, 320])pred, _ = model(img) # 经过处理的网络预测,和原始的det = non_max_suppression(pred.float(), conf_thres, nms_thres)[0] # torch.Size([5, 7])if det is not None and len(det) > 0:# Rescale boxes from 416 to true image size 映射到原图det[:, :4] = scale_coords(img.shape[2:], det[:, :4], im0.shape).round()# Print results to screen image 1/3 data\samples\000493.jpg: 288x416 5 persons, Done. (0.869s)print('%gx%g ' % img.shape[2:], end='') # print image size '288x416'for c in det[:, -1].unique(): # 对图片的所有类进行遍历循环n = (det[:, -1] == c).sum() # 得到了当前类别的个数,也可以用来统计数目if classes[int(c)] == 'person':print('%g %ss' % (n, classes[int(c)]), end=', ') # 打印个数和类别'5 persons'# Draw bounding boxes and labels of detections# (x1y1x2y2, obj_conf, class_conf, class_pred)count = 0gallery_img = []gallery_loc = []for *xyxy, conf, cls_conf, cls in det: # 对于最后的预测框进行遍历# *xyxy: 对于原图来说的左上角右下角坐标: [tensor(349.), tensor(26.), tensor(468.), tensor(341.)]if save_txt: # Write to filewith open(save_path + '.txt', 'a') as file:file.write(('%g ' * 6 + '\n') % (*xyxy, cls, conf))# Add bbox to the imagelabel = '%s %.2f' % (classes[int(cls)], conf) # 'person 1.00'if classes[int(cls)] == 'person':#plot_one_bo x(xyxy, im0, label=label, color=colors[int(cls)])xmin = int(xyxy[0])ymin = int(xyxy[1])xmax = int(xyxy[2])ymax = int(xyxy[3])w = xmax - xmin # 233h = ymax - ymin # 602# 如果检测到的行人太小了,感觉意义也不大# 这里需要根据实际情况稍微设置下if w*h > 500:gallery_loc.append((xmin, ymin, xmax, ymax))crop_img = im0[ymin:ymax, xmin:xmax] # HWC (602, 233, 3)crop_img = Image.fromarray(cv2.cvtColor(crop_img, cv2.COLOR_BGR2RGB)) # PIL: (233, 602)crop_img = build_transforms(reidCfg)(crop_img).unsqueeze(0) # torch.Size([1, 3, 256, 128])gallery_img.append(crop_img)if gallery_img:gallery_img = torch.cat(gallery_img, dim=0) # torch.Size([7, 3, 256, 128])gallery_img = gallery_img.to(device)gallery_feats = reidModel(gallery_img) # torch.Size([7, 2048])print("The gallery feature is normalized")gallery_feats = torch.nn.functional.normalize(gallery_feats, dim=1, p=2) # 计算出查询图片的特征向量# m: 2# n: 7m, n = query_feats.shape[0], gallery_feats.shape[0]distmat = torch.pow(query_feats, 2).sum(dim=1, keepdim=True).expand(m, n) + \torch.pow(gallery_feats, 2).sum(dim=1, keepdim=True).expand(n, m).t()# out=(beta∗M)+(alpha∗mat1@mat2)# qf^2 + gf^2 - 2 * qf@gf.t()# distmat - 2 * qf@gf.t()# distmat: qf^2 + gf^2# qf: torch.Size([2, 2048])# gf: torch.Size([7, 2048])distmat.addmm_(1, -2, query_feats, gallery_feats.t())# distmat = (qf - gf)^2# distmat = np.array([[1.79536, 2.00926, 0.52790, 1.98851, 2.15138, 1.75929, 1.99410],# [1.78843, 1.96036, 0.53674, 1.98929, 1.99490, 1.84878, 1.98575]])distmat = distmat.cpu().numpy() # : (3, 12)distmat = distmat.sum(axis=0) / len(query_feats) # 平均一下query中同一行人的多个结果index = distmat.argmin()if distmat[index] < dist_thres:print('距离:%s'%distmat[index])plot_one_box(gallery_loc[index], im0, label='find!', color=colors[int(cls)])# cv2.imshow('person search', im0)# cv2.waitKey()print('Done. (%.3fs)' % (time.time() - t))if opt.webcam: # Show live webcamcv2.imshow(weights, im0)if save_images: # Save image with detectionsif dataloader.mode == 'images':cv2.imwrite(save_path, im0)else:if vid_path != save_path: # new videovid_path = save_pathif isinstance(vid_writer, cv2.VideoWriter):vid_writer.release() # release previous video writerfps = vid_cap.get(cv2.CAP_PROP_FPS)width = int(vid_cap.get(cv2.CAP_PROP_FRAME_WIDTH))height = int(vid_cap.get(cv2.CAP_PROP_FRAME_HEIGHT))vid_writer = cv2.VideoWriter(save_path, cv2.VideoWriter_fourcc(*fourcc), fps, (width, height))vid_writer.write(im0)if save_images:print('Results saved to %s' % os.getcwd() + os.sep + output)if platform == 'darwin': # macosos.system('open ' + output + ' ' + save_path)print('Done. (%.3fs)' % (time.time() - t0))if __name__ == '__main__':parser = argparse.ArgumentParser()parser.add_argument('--cfg', type=str, default='cfg/yolov3.cfg', help="模型配置文件路径")parser.add_argument('--data', type=str, default='data/coco.data', help="数据集配置文件所在路径")parser.add_argument('--weights', type=str, default='weights/yolov3.weights', help='模型权重文件路径')parser.add_argument('--images', type=str, default='data/samples', help='需要进行检测的图片文件夹')parser.add_argument('-q', '--query', default=r'query', help='查询图片的读取路径.')parser.add_argument('--img-size', type=int, default=416, help='输入分辨率大小')parser.add_argument('--conf-thres', type=float, default=0.1, help='物体置信度阈值')parser.add_argument('--nms-thres', type=float, default=0.4, help='NMS阈值')parser.add_argument('--dist_thres', type=float, default=1.0, help='行人图片距离阈值,小于这个距离,就认为是该行人')parser.add_argument('--fourcc', type=str, default='mp4v', help='fourcc output video codec (verify ffmpeg support)')parser.add_argument('--output', type=str, default='output', help='检测后的图片或视频保存的路径')parser.add_argument('--half', default=False, help='是否采用半精度FP16进行推理')parser.add_argument('--webcam', default=False, help='是否使用摄像头进行检测')opt = parser.parse_args()print(opt)with torch.no_grad():detect(opt.cfg,opt.data,opt.weights,images=opt.images,img_size=opt.img_size,conf_thres=opt.conf_thres,nms_thres=opt.nms_thres,dist_thres=opt.dist_thres,fourcc=opt.fourcc,output=opt.output)
6 最后
🧿 更多资料, 项目分享:
https://gitee.com/dancheng-senior/postgraduate
相关文章:

竞赛保研 基于深度学习的行人重识别(person reid)
文章目录 0 前言1 技术背景2 技术介绍3 重识别技术实现3.1 数据集3.2 Person REID3.2.1 算法原理3.2.2 算法流程图 4 实现效果5 部分代码6 最后 0 前言 🔥 优质竞赛项目系列,今天要分享的是 基于深度学习的行人重识别 该项目较为新颖,适合…...

Ncast盈可视 高清智能录播系统 IPSetup.php信息泄露+RCE漏洞复现(CVE-2024-0305)
0x01 产品简介 Ncast盈可视 高清智能录播系统是广州盈可视电子科技有限公司一种先进的音视频录制和播放解决方案,旨在提供高质量、高清定制的录播体验。该系统采用先进的摄像和音频技术,结合强大的软件平台,可以实现高清视频录制、多路音频采集、实时切换和混音、定制视频分…...
GO语言Context的作用
文章目录 Context为什么需要Context多任务超时例子Context结构 Context各种使用方法创建contextvalueCtxvalueCtx结构体WithValue cancelCtxcancelCtx结构体withCancel timerCtxWithDeadlineWithTimeout 总结 Context 为什么需要Context Go语言需要Context主要是为了在并发环…...

金和OA C6 upload_json 任意文件上传漏洞
产品介绍 金和网络是专业信息化服务商,为城市监管部门提供了互联网监管解决方案,为企事业单位提供组织协同OA系统开发平台,电子政务一体化平台,智慧电商平台等服务。 漏洞概述 金和 OA C6 upload_json接口处存在任意文件上传漏洞,攻击者可以通过构造特殊请求包上…...
大模型学习第四课
学习目标: XTuner 大模型单卡低成本微调实战 学习内容: Finetune简介XTuner介绍8GB显卡玩转LLM动手实战环节 学习时间: 20240110 学习产出: Finetune简介 增量预训练微调指令跟随微调LoRA,QLoRAXTuner 简介:适配多…...
Code Runner使用外部控制台,运行结束后等待用户输入
问题描述 网上让程序运行结束暂停的方法大多数只有两种: 1.末尾加上system(“pause”) 2.start /k cmd 第一种方法每一个程序都需要在最后加上这条命令很烦; 第二章方法cmd窗口在程序运行结束后不会自动关闭,需要用户手动关闭 我想找到一种…...
IC设计的前端和后端是如何区分的?
一、工作着重点不同 **1、IC前端:**根据芯片规格书完成SOC的设计和集成, 使用仿真验证工具完成SOC的设计验证。 **2、IC后端:**将前端设计产生的门级网表通过EDA设计工具进行布局布线和进行物理验证并最终产生供制造用的GDSII数据 二、工作…...

Unity WebView 中文输入支持
使用版本:Vuplex 3D WebView for Windows v4.4; 测试环境:unity editor 2020.3.40f1c1、Windows; 1、打开脚本CanvasWebVie!wPrefab 2、找到_initCanvasPrefab方法,约略在459行附近 3、添加一行代码: …...

x-cmd pkg | trdsql - 能对 CSV、LTSV、JSON 和 TBLN 执行 SQL 查询的工具
目录 简介首次用户技术特点竞品和相关作品进一步阅读 简介 trdsql 是一个使用 sql 作为 DSL 的强大工具: 采用 SQL 对 CSV、LTSV、JSON 和 TBLN 文件执行查询与 MySQL,Postgresql,Sqlite 的 Driver 协同,可以实现对应数据库的表与文件的 JO…...

Camunda Spin
Spin 常用于在脚本中解析json或者xml使用,S(variable) 表示构造成Spin对象,通过prop(“属性名”)获取属性值,通过stringValue()、numberValue()、boolValue() 等对类型转换。 repositoryService.createDeployment().name("消息事件流程&…...
strlen/Memcpy_s/strncasecmp
strlen 声明:size_t strlen(const char *str) 举例: #include <stdio.h> #include <string.h>int main () {char str[50];int len;strcpy(str, "This is runoob.com");len strlen(str);printf("|%s| 的长度是 |%d|\n"…...

水经微图安卓版APP正式上线!
在水经微图APP(简称“微图APP”)安卓版已正式上线! 在随着IOS版上线约一周之后,安卓版终于紧随其后发布了。 微图安卓版APP下载安装 自从IOS版发布之后,就有用户一直在问安卓版什么时候发布,这里非常感谢…...

数据结构第十二弹---堆的应用
堆的应用 1、堆排序2、TopK问题3、堆的相关习题总结 1、堆排序 要学习堆排序,首先要学习堆的向下调整算法,因为要用堆排序,你首先得建堆,而建堆需要执行多次堆的向下调整算法。 但是,使用向下调整算法需要满足一个前提…...

[NSSRound#3 Team]This1sMysql
[NSSRound#3 Team]This1sMysql 源码 <?php show_source(__FILE__); include("class.php"); $conn new mysqli();if(isset($_POST[config]) && is_array($_POST[config])){foreach($_POST[config] as $key > $val){$value is_numeric($var)?(int)$…...

Android 通知简介
Android 通知简介 1. 基本通知 图1: 基本通知详情 小图标 : 必须提供,通过 setSmallIcon( ) 进行设置.应用名称 : 由系统提供.时间戳 : 由系统提供,也可隐藏时间.大图标(可选) : 可选内容(通常仅用于联系人照片,请勿将其用于应用图标),通过setLargeIcon( ) 进行设置.标题 : 可选…...

QT开发 2024最新版本优雅的使用vscode开发QT
▬▬▬▬▬▶VS开发QT◀▬▬▬▬▬ 🎄先看效果 🎄编辑环境变量 如图添加环境变量!!! 东西全在QT的安装目录!!! 找到的按照我的教程再装一次!!! 点…...

Redis性能大挑战:深入剖析缓存抖动现象及有效应对的战术指南
在实际应用中,你是否遇到过这样的情况,本来Redis运行的好好的,响应也挺正常,但突然就变慢了,响应时间增加了,这不仅会影响用户体验,还会牵连其他系统。 那如何排查Redis变慢的情况呢?…...

基于SpringBoot的教学管理系统
文章目录 项目介绍主要功能截图:部分代码展示设计总结项目获取方式 🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我,都给你】 &…...
机器学习之独热编码(One-Hot)
一、背景 在机器学习算法中,我们经常会遇到分类特征,例如:人的性别有男女,祖国有中国,美国,法国等。这些特征值并不是连续的,而是离散的,无序的。通常我们需要对其进行特征数字化。…...

IIS+SDK+VS2010+SP1+SQL server2012全套工具包及安装教程
前言 今天花了两个半小时安装这一整套配置,这个文章的目标是将安装时间缩短到1个小时 正文 安装步骤如下: VS2010 —> service pack 1 —>SQL server2012 —> IIS —> SDK 工具包链接如下: https://pan.baidu.com/s/1WQD-KfiUW…...
k8s从入门到放弃之Ingress七层负载
k8s从入门到放弃之Ingress七层负载 在Kubernetes(简称K8s)中,Ingress是一个API对象,它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress,你可…...
Python爬虫实战:研究feedparser库相关技术
1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代,互联网上存在着海量的信息资源。RSS(Really Simple Syndication)作为一种标准化的信息聚合技术,被广泛用于网站内容的发布和订阅。通过 RSS,用户可以方便地获取网站更新的内容,而无需频繁访问各个网站。 然而,互联网…...
在鸿蒙HarmonyOS 5中使用DevEco Studio实现录音机应用
1. 项目配置与权限设置 1.1 配置module.json5 {"module": {"requestPermissions": [{"name": "ohos.permission.MICROPHONE","reason": "录音需要麦克风权限"},{"name": "ohos.permission.WRITE…...

c++第七天 继承与派生2
这一篇文章主要内容是 派生类构造函数与析构函数 在派生类中重写基类成员 以及多继承 第一部分:派生类构造函数与析构函数 当创建一个派生类对象时,基类成员是如何初始化的? 1.当派生类对象创建的时候,基类成员的初始化顺序 …...

【Linux】自动化构建-Make/Makefile
前言 上文我们讲到了Linux中的编译器gcc/g 【Linux】编译器gcc/g及其库的详细介绍-CSDN博客 本来我们将一个对于编译来说很重要的工具:make/makfile 1.背景 在一个工程中源文件不计其数,其按类型、功能、模块分别放在若干个目录中,mak…...
Python 训练营打卡 Day 47
注意力热力图可视化 在day 46代码的基础上,对比不同卷积层热力图可视化的结果 import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pypl…...
0x-3-Oracle 23 ai-sqlcl 25.1 集成安装-配置和优化
是不是受够了安装了oracle database之后sqlplus的简陋,无法删除无法上下翻页的苦恼。 可以安装readline和rlwrap插件的话,配置.bahs_profile后也能解决上下翻页这些,但是很多生产环境无法安装rpm包。 oracle提供了sqlcl免费许可,…...

Linux-进程间的通信
1、IPC: Inter Process Communication(进程间通信): 由于每个进程在操作系统中有独立的地址空间,它们不能像线程那样直接访问彼此的内存,所以必须通过某种方式进行通信。 常见的 IPC 方式包括&#…...
游戏开发中常见的战斗数值英文缩写对照表
游戏开发中常见的战斗数值英文缩写对照表 基础属性(Basic Attributes) 缩写英文全称中文释义常见使用场景HPHit Points / Health Points生命值角色生存状态MPMana Points / Magic Points魔法值技能释放资源SPStamina Points体力值动作消耗资源APAction…...

Python环境安装与虚拟环境配置详解
本文档旨在为Python开发者提供一站式的环境安装与虚拟环境配置指南,适用于Windows、macOS和Linux系统。无论你是初学者还是有经验的开发者,都能在此找到适合自己的环境搭建方法和常见问题的解决方案。 快速开始 一分钟快速安装与虚拟环境配置 # macOS/…...