MogFace人脸检测模型WebUI实战：Python爬虫获取图片并自动检测

MogFace人脸检测模型WebUI实战Python爬虫获取图片并自动检测最近在做一个项目需要批量处理一批人物图片比如给照片自动裁剪出人脸区域或者统计一下图片里有多少人。手动一张张处理肯定不现实于是我就琢磨着能不能搞个自动化流程。正好MogFace这个人脸检测模型效果不错而且有现成的WebUI服务可以调用。我就想能不能先用Python爬虫从网上批量抓点图片下来然后自动扔给MogFace去检测和裁剪最后把结果整理好存起来。说干就干折腾了几天还真把这个流程跑通了。整个过程挺有意思的从怎么绕过网站的反爬机制到怎么高效地调用Web服务再到最后把裁剪好的人脸图片整整齐齐地保存下来每一步都有不少小技巧。今天就把这个实战过程分享出来如果你也有类似的批量图片处理需求比如做数据集、内容审核或者简单的图像分析这套方法应该能给你省不少事儿。1. 整体思路与准备工作我们先来理清整个流程要干什么。简单来说就是三步走找图、检测、保存。找图用Python爬虫从一个公开的、允许爬取的图片网站比如一些免费图库的人物分类批量下载图片到本地。这一步的关键是写得“礼貌”一点别把人家网站搞崩了同时也要能应对一些基本的反爬措施。检测我们会在本地或者服务器上部署好MogFace的WebUI服务。这个服务提供了一个HTTP接口我们写个脚本把下载好的图片一张张传给它它就会返回图片里所有人脸的位置信息。保存根据MogFace返回的人脸位置框就是坐标我们把原图中对应的区域裁剪出来保存成一张张单独的人脸小图。这样一个完整的端到端流程就完成了。听起来是不是挺清晰的在动手之前我们得先把“战场”准备好。环境准备Python 3.7这是必须的。必要的Python库我们主要用requests来发网络请求爬虫和调用WebUI都用它用aiohttp和asyncio来做异步爬取加速用BeautifulSoup4来解析网页HTML。用PIL也就是Pillow库来处理图片裁剪。 你可以用下面这条命令一次性安装好pip install requests aiohttp aiofiles beautifulsoup4 pillowMogFace WebUI服务这个需要你先部署好。通常它会在本地比如http://127.0.0.1:7860或者某个服务器地址上启动一个Web界面。确保这个服务是运行状态并且你知道它的API接口地址一般是/run/predict这样的路径。这部分部署教程网上很多这里就不展开了。目标网站选择为了演示我们选择一个结构相对简单、内容可公开获取的网站作为图片源。请务必遵守目标网站的robots.txt协议尊重版权仅用于学习和技术演示不要用于商业用途或给网站服务器造成压力。我们可以找一个有“人物”或“肖像”分类的免费素材网站。好了思路和工具都齐了接下来我们分步拆解。2. 第一步编写“礼貌”的Python爬虫爬虫的核心是模拟浏览器行为从网站获取图片链接并下载。我们不仅要能抓到数据还要做个“好公民”。2.1 基础爬虫获取单页图片链接我们先写一个函数来抓取单个网页里的所有目标图片链接。这里以解析简单的HTML结构为例。import requests from bs4 import BeautifulSoup import time import os def fetch_image_urls_from_page(page_url, headers): 从指定页面URL中提取图片的直链地址。 image_urls [] try: # 1. 发送请求 response requests.get(page_url, headersheaders, timeout10) response.raise_for_status() # 检查请求是否成功 # 2. 解析HTML soup BeautifulSoup(response.content, html.parser) # 3. 寻找图片标签。这里需要根据目标网站的实际结构调整选择器。 # 例如可能是 img classphoto 或者 div>headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }timeout与错误处理设置超时时间并用try...except捕获异常避免程序因单个页面问题而崩溃。选择器soup.find_all(‘img’, {‘class’: ‘photo’})这一行是最需要根据目标网站实际情况修改的地方。你需要用浏览器的“检查元素”功能去看看到底图片标签有什么特征然后替换这里的标签名和属性。2.2 反爬策略与异步加速如果只爬一页上面的代码够了。但我们要批量下载就得考虑效率和防止被封。添加延时在请求之间随机睡眠一段时间模拟人类操作。import random time.sleep(random.uniform(1, 3)) # 随机等待1到3秒使用代理IP可选如果请求频率过高可能需要轮换IP。你可以准备一个代理IP池。proxies { http: http://your-proxy-ip:port, https: http://your-proxy-ip:port, } response requests.get(url, headersheaders, proxiesproxies, timeout10)异步爬取这是大幅提升爬取效率的利器。我们使用aiohttp和asyncio来并发处理多个页面的请求和下载。import aiohttp import asyncio import aiofiles async def download_image_async(session, img_url, save_path, headers): 异步下载单张图片 try: async with session.get(img_url, headersheaders, timeoutaiohttp.ClientTimeout(total30)) as response: if response.status 200: # 异步写入文件 async with aiofiles.open(save_path, wb) as f: await f.write(await response.read()) print(f下载成功: {save_path}) return True else: print(f下载失败状态码{response.status}: {img_url}) except Exception as e: print(f下载图片出错 {img_url}: {e}) return False async def batch_download_images(image_url_list, save_dir, headers, max_concurrent5): 批量异步下载图片 # 创建保存目录 os.makedirs(save_dir, exist_okTrue) connector aiohttp.TCPConnector(limitmax_concurrent) # 限制并发连接数 async with aiohttp.ClientSession(connectorconnector, headersheaders) as session: tasks [] for i, img_url in enumerate(image_url_list): # 生成文件名可以用URL的哈希值也可以用序号 file_name fimage_{i:04d}.jpg # 或者 hashlib.md5(img_url.encode()).hexdigest() .jpg save_path os.path.join(save_dir, file_name) task asyncio.create_task(download_image_async(session, img_url, save_path, headers)) tasks.append(task) # 等待所有下载任务完成 results await asyncio.gather(*tasks, return_exceptionsTrue) success_count sum([1 for r in results if r is True]) print(f批量下载完成成功 {success_count}/{len(image_url_list)} 张。)使用异步后下载几十上百张图片的速度会快很多。调用方式如下# 假设你已经有了一个图片链接列表 all_image_urls asyncio.run(batch_download_images(all_image_urls, ./downloaded_images, headers))爬虫部分搞定后你的./downloaded_images文件夹里应该已经有一堆图片了。接下来就是让MogFace来识别它们。3. 第二步调用MogFace WebUI进行人脸检测MogFace的WebUI通常基于Gradio或类似的框架搭建会暴露一个POST接口。我们需要按照其要求的格式上传图片并解析返回结果。3.1 了解API接口首先你需要知道你的MogFace WebUI服务的地址和具体的API端点。假设它在http://localhost:7860运行人脸检测的接口是/run/predict。你可以通过浏览器的开发者工具F12在WebUI页面上传一张图片并点击检测观察Network标签页里的请求来找到准确的接口地址和参数格式。通常它需要一个files字段来上传图片文件。3.2 编写检测函数我们写一个函数用来向这个接口发送一张图片并获取检测结果。import requests import json from PIL import Image import io def detect_faces_with_mogface(image_path, api_urlhttp://127.0.0.1:7860/run/predict): 调用MogFace WebUI API检测单张图片中的人脸。 返回人脸框的坐标列表。 faces [] # 存储格式: [(x1, y1, x2, y2), ...] try: # 1. 以二进制形式打开图片文件 with open(image_path, rb) as f: image_data f.read() # 2. 构建请求。注意参数名如‘files’需要根据实际API调整。 files {image: (os.path.basename(image_path), image_data, image/jpeg)} # 有时还需要额外的数据参数具体看API要求 # data {some_parameter: value} # response requests.post(api_url, filesfiles, datadata) response requests.post(api_url, filesfiles, timeout30) response.raise_for_status() # 3. 解析返回的JSON结果 result response.json() # 这里需要根据MogFace API的实际返回结构来解析。 # 假设返回格式是: {faces: [{bbox: [x1, y1, x2, y2], confidence: 0.99}, ...]} if faces in result: for face_info in result[faces]: bbox face_info.get(bbox) if bbox and len(bbox) 4: # 确保坐标是整数 x1, y1, x2, y2 map(int, bbox) faces.append((x1, y1, x2, y2)) print(f图片 {image_path} 检测到 {len(faces)} 张人脸。) except requests.exceptions.RequestException as e: print(f请求MogFace API失败 ({image_path}): {e}) except (json.JSONDecodeError, KeyError) as e: print(f解析MogFace返回结果失败 ({image_path}): {e}, 原始返回: {response.text[:200]}) except Exception as e: print(f处理图片 {image_path} 时发生未知错误: {e}) return faces重要提示result[‘faces’]这个解析路径强烈依赖于MogFace WebUI的具体实现。你必须根据你自己部署的服务的实际返回数据结构来修改这部分代码。可能需要打印一下result看看里面到底是什么。3.3 批量处理与异步调用和下载图片一样对大量图片进行检测时同步调用会非常慢。因为每张图片都要等服务器处理完才能下一张。我们可以用asyncio和aiohttp同样对检测请求进行异步化。import aiohttp import asyncio async def detect_faces_async(session, image_path, api_url, semaphore): 异步调用人脸检测API faces [] async with semaphore: # 使用信号量控制并发请求数避免压垮服务器 try: with open(image_path, rb) as f: image_data f.read() # 使用aiohttp发送multipart/form-data稍微复杂一点 data aiohttp.FormData() data.add_field(image, image_data, filenameos.path.basename(image_path), content_typeimage/jpeg) async with session.post(api_url, datadata, timeout60) as response: if response.status 200: result await response.json() # 解析逻辑与同步版本相同此处省略... # ... 解析 faces ... print(f异步检测完成: {image_path}, 找到 {len(faces)} 张脸。) else: print(fAPI请求失败状态码{response.status}: {image_path}) except Exception as e: print(f异步检测出错 {image_path}: {e}) return image_path, faces async def batch_detect_faces(image_path_list, api_url, max_concurrent3): 批量异步检测人脸 # 限制并发数保护WebUI服务 semaphore asyncio.Semaphore(max_concurrent) connector aiohttp.TCPConnector(limitmax_concurrent) async with aiohttp.ClientSession(connectorconnector) as session: tasks [] for img_path in image_path_list: task asyncio.create_task(detect_faces_async(session, img_path, api_url, semaphore)) tasks.append(task) # 收集所有结果 results await asyncio.gather(*tasks, return_exceptionsTrue) # 整理结果排除异常 detection_results {} for r in results: if isinstance(r, tuple) and len(r)2: img_path, faces r detection_results[img_path] faces return detection_results这样我们就可以并发地对多张图片进行人脸检测效率提升显著。4. 第三步人脸裁剪与结果保存拿到人脸框坐标后最后一步就是把它们从原图里“抠”出来保存。from PIL import Image def crop_and_save_faces(image_path, faces_list, output_dir): 根据检测到的人脸框坐标裁剪并保存人脸图片。 if not faces_list: return try: # 打开原图 original_img Image.open(image_path) # 为每张图片创建一个独立的输出子文件夹方便管理 base_name os.path.splitext(os.path.basename(image_path))[0] save_folder os.path.join(output_dir, base_name) os.makedirs(save_folder, exist_okTrue) for i, (x1, y1, x2, y2) in enumerate(faces_list): # 确保坐标在图片范围内 width, height original_img.size x1, y1 max(0, x1), max(0, y1) x2, y2 min(width, x2), min(height, y2) if x2 x1 and y2 y1: # 确保是有效的矩形区域 # 裁剪人脸区域 face_crop original_img.crop((x1, y1, x2, y2)) # 保存可以按序号命名 face_save_path os.path.join(save_folder, fface_{i:03d}.jpg) face_crop.save(face_save_path) print(f 已保存人脸: {face_save_path}) else: print(f 跳过无效的人脸框: ({x1},{y1},{x2},{y2})) except Exception as e: print(f裁剪保存图片 {image_path} 时出错: {e}) # 主流程整合 def main_pipeline(): # 1. 爬取图片 (这里简化假设已经下载到 downloaded_images 文件夹) image_dir ./downloaded_images output_dir ./detected_faces os.makedirs(output_dir, exist_okTrue) image_files [os.path.join(image_dir, f) for f in os.listdir(image_dir) if f.lower().endswith((.png, .jpg, .jpeg))] # 2. 批量检测人脸 (这里使用同步版本作为示例实际可用异步版) api_url http://127.0.0.1:7860/run/predict all_detections {} for img_file in image_files[:10]: # 先测试前10张 print(f处理: {img_file}) faces detect_faces_with_mogface(img_file, api_url) all_detections[img_file] faces # 3. 批量裁剪保存 for img_file, faces in all_detections.items(): if faces: crop_and_save_faces(img_file, faces, output_dir) print(整个流程执行完毕) if __name__ __main__: main_pipeline()5. 总结与思考跑完这一整套流程感觉还是挺有成就感的。从互联网上抓取原始图片到通过一个AI服务自动识别出其中的人脸最后再把识别结果规整地保存下来整个过程完全自动化。这对于需要构建初始人脸数据集、或者批量处理用户上传图片的场景实用性很强。在实际操作中有几个地方需要特别注意。首先是爬虫的“道德”和稳定性加延时、用代理、解析正确的HTML结构这些细节决定了你能走多远。其次是和MogFace WebUI API的对接一定要搞清楚它接收什么格式、返回什么数据这部分可能需要多试几次。最后是异步编程虽然稍微复杂点但对于成百上千张图片的处理来说速度的提升是实实在在的。这个Demo只是一个起点。你可以基于它做很多扩展比如增加对检测结果的置信度过滤只保存高质量的人脸或者把人脸图片自动分类到以人物ID命名的文件夹这需要额外的人脸识别模型甚至可以把流程封装成一个简单的图形界面工具让非技术人员也能用。技术就是用来解决实际问题的。希望这个结合了Python爬虫和MogFace人脸检测的实战案例能给你带来一些启发帮你更高效地完成手头的图片处理任务。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。