【AI】wvp前端加载模型进行视频分析

目录效果方案本方案一大模型方案二tensorflow原理解析测试过程CPU​编辑GPU参考效果可以轻量级获取到相应的捕捉方案本方案一直接使用tensorflow coco-ssd模型进行页面上的加载 与使用大模型方案二其中 Omni-Vision Sanctuary (ollama)加载后进行分析的方案最符合但1ollama里 pull omni-vision没有成功2里面使用socket进行通信 一是ollama 11434端口只有http 如果通过python写一个websocket 又中转了一遍好像延时无法满足https://blog.csdn.net/weixin_42186387/article/details/159811265https://megvii.blog.csdn.net/article/details/120540546https://blog.csdn.net/weixin_32535825/article/details/159841498?tensorflow原理解析将前端元素进行获取const videoElement document.getElementById(containeri) as HTMLVideoElement; if (!videoElement) { console.error(视频元素不存在); return; } // 设置帧处理定时器每 1 秒处理一帧 state.frameProcessingInterval[index] setInterval(() { sendFrameForAnalysis(videoElement, index); }, 1000);处理下页面元素直接用模型进行detect!画到屏幕上这里还可以获取到是否有人从而进行告警等其它行为画到页面上测试过程CPUcpu情况下好像需要4-5秒的延迟GPUgpu情况下可以做到实时处理 比较完美参考AI分析放一个分支 (527fed38) · Commits · mesh / wvp-ui · GitLab