YOLOv12在Unity引擎中的集成：打造实时AR目标检测应用

YOLOv12在Unity引擎中的集成打造实时AR目标检测应用最近在琢磨一个挺有意思的事儿怎么把最新的目标检测模型塞到手机里然后通过摄像头让虚拟世界的东西“粘”在真实世界的物体上。比如你手机对着桌子上的一个杯子屏幕上就能立刻出现一个绕着杯子转的3D小精灵。听起来像是科幻电影里的场景但现在用Unity和YOLOv12我们自己就能动手实现。这个想法的核心就是把YOLOv12这个“火眼金睛”的检测能力和Unity这个强大的3D引擎结合起来。Unity不只是做游戏的它的AR Foundation框架让开发手机AR应用变得很方便。而YOLOv12作为目标检测领域的佼佼者速度快、精度高特别适合在手机这种资源有限的设备上跑实时检测。今天我就带你走一遍这个流程从准备模型到在Unity里写代码最后在手机上看到效果。整个过程就像搭积木一步步来你会发现并没有想象中那么复杂。1. 从YOLOv12到Unity准备工作在开始写代码之前我们得先把“原材料”准备好。主要就是两样东西一个能在Unity里跑的YOLOv12模型以及一个合适的Unity工程环境。1.1 模型转换获得Unity能吃的“食物”YOLOv12官方通常提供PyTorch或类似框架的模型。但Unity的神经网络推理引擎——Barracuda最“爱吃”的是ONNX格式。所以我们的第一站就是把模型转换成ONNX。这个过程一般在Python环境下完成。你需要有原始的YOLOv12模型权重比如一个.pt文件和对应的模型定义文件。转换的核心思路是用一个示例输入比如一张图片跑一遍模型然后把这个计算过程“冻结”下来保存成ONNX格式。import torch import yolov12_model # 假设这是你的YOLOv12模型定义 # 1. 加载训练好的模型权重 model yolov12_model.yolov12(pretrainedTrue) model.load_state_dict(torch.load(yolov12.pt)) model.eval() # 切换到评估模式 # 2. 准备一个示例输入张量模拟一张图片 # 假设输入尺寸是640x6403通道 dummy_input torch.randn(1, 3, 640, 640) # 3. 导出为ONNX格式 # 需要指定输入输出的名称以及动态维度batch和图片尺寸 torch.onnx.export( model, dummy_input, yolov12.onnx, export_paramsTrue, opset_version12, # 使用较新的算子集兼容性更好 do_constant_foldingTrue, input_names[images], output_names[output], dynamic_axes{ images: {0: batch, 2: height, 3: width}, # 动态batch和尺寸 output: {0: batch} } ) print(模型已导出为 yolov12.onnx)转换成功后你会得到一个yolov12.onnx文件。这里有个关键点你需要确认一下模型输出的结构。YOLO系列模型的输出可能是一个张量也可能是多个。你需要知道这个输出张量的形状例如[1, 25200, 85]其中85包含了边界框坐标、置信度和类别概率这关系到我们后面在Unity里怎么解析检测结果。1.2 Unity工程配置搭建AR舞台接下来我们打开Unity Hub创建一个新的3D项目。然后我们需要通过Unity的包管理器Window - Package Manager安装几个核心的包AR Foundation: 这是Unity开发AR应用的统一接口。安装它时通常会连带安装对应平台的插件包如ARCore XR Plugin for Android, ARKit XR Plugin for iOS。Barracuda: 这是Unity官方的轻量级神经网络推理库。它允许我们在游戏运行时直接加载和运行ONNX模型无需依赖其他深度学习框架。安装完成后在Project Settings - XR Plug-in Management中为你目标发布的平台如Android或iOS启用AR Foundation支持。然后我们需要一个简单的AR场景。在场景中创建一个AR Session和一个AR Session Origin对象。AR Session管理AR会话的生命周期AR Session Origin则是所有AR内容如虚拟物体的根节点。接着添加一个AR Camera组件到主摄像机上它会取代普通摄像机并负责处理来自手机摄像头的视频流。2. 核心脚本编写连接摄像头与AI准备工作就绪现在进入核心环节——写C#脚本。我们需要创建一个脚本来做三件事从摄像头取图、送给YOLOv12模型推理、解析结果并放置虚拟物体。2.1 图像抓取与预处理AR Foundation的ARCameraManager组件可以为我们提供摄像头纹理。我们需要将这些纹理数据转换成Barracuda推理引擎所需的张量Tensor格式。using UnityEngine; using UnityEngine.XR.ARFoundation; using Unity.Barracuda; // Barracuda命名空间 public class YOLOv12ARDetector : MonoBehaviour { public NNModel modelAsset; // 在Inspector中拖入转换好的yolov12.onnx文件 public ARCameraManager arCameraManager; private IWorker worker; // Barracuda的工作器用于执行模型 private Texture2D cameraTexture; private RenderTexture preprocessTexture; void Start() { // 1. 加载模型并创建工作器 var model ModelLoader.Load(modelAsset); worker WorkerFactory.CreateWorker(WorkerFactory.Type.ComputePrecompiled, model); // 2. 创建用于预处理的纹理 // 假设模型输入要求是640x640 preprocessTexture new RenderTexture(640, 640, 0, RenderTextureFormat.ARGB32); preprocessTexture.Create(); // 3. 订阅摄像头帧更新事件 if (arCameraManager ! null) { arCameraManager.frameReceived OnCameraFrameReceived; } } void OnCameraFrameReceived(ARCameraFrameEventArgs eventArgs) { // 获取摄像头纹理 if (!arCameraManager.TryGetLatestImage(out XRCpuImage cpuImage)) return; // 将XRCpuImage转换为Texture2D这是一个简化的示例实际需要考虑性能 // 更高效的做法是直接使用Compute Shader或AsyncGPUReadback进行处理 var conversionParams new XRCpuImage.ConversionParams { inputRect new RectInt(0, 0, cpuImage.width, cpuImage.height), outputDimensions new Vector2Int(640, 640), // 缩放到模型输入尺寸 outputFormat TextureFormat.RGBA32, transformation XRCpuImage.Transformation.MirrorY // 通常需要镜像Y轴 }; cameraTexture new Texture2D(conversionParams.outputDimensions.x, conversionParams.outputDimensions.y, conversionParams.outputFormat, false); // 执行转换这步可能耗时在实际应用中需要考虑异步或GPU方式 cpuImage.Convert(conversionParams, cameraTexture.GetRawTextureDatabyte()); cpuImage.Dispose(); cameraTexture.Apply(); // 调用预处理和推理 ProcessFrame(cameraTexture); } void ProcessFrame(Texture2D inputTexture) { // 预处理将Texture2D绘制到固定尺寸的RenderTexture Graphics.Blit(inputTexture, preprocessTexture); // 将RenderTexture转换为Barracuda Tensor // 注意YOLO模型通常期望输入是归一化后的RGB通道且通道顺序可能是BGR var inputTensor new Tensor(preprocessTexture, channels: 3); // 执行推理 worker.Execute(inputTensor); var outputTensor worker.PeekOutput(output); // output需与导出ONNX时的输出名一致 // 解析输出张量得到检测结果 ParseYOLOOutput(outputTensor); // 释放张量避免内存泄漏 inputTensor.Dispose(); outputTensor.Dispose(); } }2.2 解析YOLOv12输出ParseYOLOOutput是这个脚本中最关键也最需要根据模型调整的部分。YOLO的输出是一个密集的预测张量我们需要从中提取出有效的边界框Bounding Box、置信度Confidence和类别Class。void ParseYOLOOutput(Tensor outputTensor) { // 假设输出形状是 [1, N, 85] // N是预测框的数量85 4(bbox坐标) 1(置信度) 80(COCO数据集类别数根据你的模型调整) int numPredictions outputTensor.shape[6]; // 索引可能因Barracuda版本而异需要调试确认 float[] outputData outputTensor.ToReadOnlyArray(); ListDetectionResult results new ListDetectionResult(); for (int i 0; i numPredictions; i) { int baseIndex i * 85; // 解析边界框中心点(x, y)、宽高(w, h)它们通常是相对于输入图像尺寸(640x640)归一化的 float centerX outputData[baseIndex]; float centerY outputData[baseIndex 1]; float width outputData[baseIndex 2]; float height outputData[baseIndex 3]; // 置信度 float confidence outputData[baseIndex 4]; // 如果置信度太低跳过 if (confidence 0.5f) // 阈值可调 continue; // 找到概率最高的类别 int classId 0; float maxClassProb 0f; for (int c 0; c 80; c) { float prob outputData[baseIndex 5 c]; if (prob maxClassProb) { maxClassProb prob; classId c; } } // 计算最终得分可选置信度 * 类别概率 float score confidence * maxClassProb; if (score 0.5f) // 综合得分阈值 continue; // 将归一化坐标转换回屏幕像素坐标假设输入是640x640 float xMin (centerX - width / 2) * 640; float yMin (centerY - height / 2) * 640; float xMax (centerX width / 2) * 640; float yMax (centerY height / 2) * 640; // 注意摄像头纹理的坐标系可能与屏幕坐标系不同可能需要转换 // 例如AR Foundation的纹理可能是竖屏的而模型输入是正方形的 results.Add(new DetectionResult { rect new Rect(xMin, yMin, width * 640, height * 640), label classId, confidence score }); } // 应用非极大值抑制(NMS)去除重叠框 ApplyNMS(results); // 根据results在AR世界中放置或更新虚拟物体 UpdateARAnchors(results); }2.3 在AR世界中锚定虚拟物体得到2D屏幕上的检测框后我们需要将它们“投射”到3D的AR世界中。这里一个常见的策略是使用ARRaycastManager。我们从检测框的中心点向AR场景中发射一条射线如果击中一个真实的平面如桌面、地面我们就在那个命中点放置或移动一个虚拟物体。public GameObject prefabToAnchor; // 要实例化的虚拟物体预制体 public ARRaycastManager raycastManager; private Dictionaryint, GameObject anchoredObjects new Dictionaryint, GameObject(); // 跟踪已锚定的物体 void UpdateARAnchors(ListDetectionResult detections) { ListARRaycastHit hits new ListARRaycastHit(); foreach (var detection in detections) { // 从检测框中心发射射线 Vector2 screenPoint new Vector2(detection.rect.center.x, detection.rect.center.y); // 注意screenPoint可能需要从模型输入坐标空间转换到屏幕坐标空间 if (raycastManager.Raycast(screenPoint, hits, TrackableType.PlaneWithinPolygon)) { Pose hitPose hits[0].pose; // 使用一个唯一ID来管理物体例如类别ID索引 int objectId detection.label; if (!anchoredObjects.ContainsKey(objectId)) { // 创建新的虚拟物体 GameObject newObj Instantiate(prefabToAnchor, hitPose.position, hitPose.rotation); anchoredObjects.Add(objectId, newObj); } else { // 更新已存在物体的位置可以加入平滑移动 anchoredObjects[objectId].transform.position Vector3.Lerp( anchoredObjects[objectId].transform.position, hitPose.position, Time.deltaTime * 5.0f ); anchoredObjects[objectId].transform.rotation hitPose.rotation; } } } // 清理不再被检测到的物体可选 // ... }3. 优化与实战技巧把基础流程跑通只是第一步。要想在手机上获得流畅、稳定的AR体验还需要一些优化技巧。性能是第一位的。在手机上运行神经网络本身就很耗资源。Barracuda支持将模型转换为ComputePrecompiled工作器这能利用手机的GPU进行计算比CPU快很多。在模型转换时也可以尝试量化Quantization将浮点数权重转换为8位整数能显著减少模型大小和提升推理速度不过可能会轻微损失精度。图像预处理开销。前面代码中在CPU上转换XRCpuImage是个性能瓶颈。更优的方案是使用AsyncGPUReadback或直接在Compute Shader中进行图像的缩放、颜色空间转换RGB到BGR和归一化整个过程在GPU上完成避免CPU和GPU之间的数据拷贝。管理AR锚点。频繁地实例化和销毁GameObject会产生GC垃圾回收压力。更好的做法是使用对象池Object Pool来管理你的虚拟物体。同时对于移动的目标不要每帧都重新做Raycast可以尝试用一些简单的视觉跟踪算法或者根据目标在图像中的移动速度来预测其3D位置让虚拟物体的移动更平滑。处理模型输出。YOLOv12的输出解析需要非常精确地匹配训练时的后处理逻辑。务必确认输出张量的维度顺序。非极大值抑制NMS的参数如IoU阈值需要仔细调整以平衡检测的准确性和召回率。4. 效果与应用展望当你把这一切都搞定在手机上运行起来时那种感觉还是挺奇妙的。手机摄像头扫过房间识别出椅子、杯子、键盘然后一个个对应的3D模型就稳稳地“坐”在了这些物体上面。你可以放一个虚拟的茶杯在真实的杯垫上或者让一个卡通角色在你的书本上跳舞。这套技术的应用场景其实非常广。比如互动教育小朋友用手机照一下动物卡片屏幕上就能出现立体的动物和介绍。在工业维修中技术人员用AR眼镜扫描设备关键零部件的信息和操作步骤就能直接叠加在视野里。零售电商也可以用它来做虚拟试妆、虚拟家具摆放让用户直观地看到商品放在自己家中的效果。当然现在这个方案还是一个起点。YOLOv12模型本身还有优化空间可以针对移动端进行剪枝、蒸馏让它更小更快。AR的交互也可以做得更丰富比如让虚拟物体和真实物体发生物理互动或者结合SLAM同步定位与地图构建技术实现更持久、更稳定的AR体验。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。