基于海思soc的智能产品开发（图像处理的几种需求）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】

        对于一个嵌入式设备来说，如果上面有一个camera，那么就可以有很多的用途。简单的用途就是拍照，比拍照更多一点的就是视频。视频本身可以看成是多个图片之间的组合。采集好了图像，或者视频，是通过网络送出去和别人分享，还是进一步从图像中提取信息，这里面又会分成很多的专业。所以，我们简单归纳一下，图像本身可以分成这几个方向，

1、纯图像处理

        这种纯图像处理，本身应用也是很多的。除了简单的儿童相机拍照之外，还有工业相机拍照、医疗拍照等等。甚至于现在随着内窥镜的发展，很多宠物医疗的检测和诊断，都是需要进行拍照处理的。这部分图像处理，绝不仅仅是大家看到的消费级拍照而已。

        对于拍照的处理，硬件方面可以通过cpu或者是fpga来处理。如果是软件的话，可以qt写一个界面，通过opencv开源算法，或者是自定义的算法来处理也可以的。自身能力存在限制，也可以通过采购halcon等软件来补足。

2、视频处理

        一般来说，视频分成了视频编码和视频解码。当前，用的最多的视频编码方法就是h264、h265。两者对算力要求都非常高，特别是编码。所以，要想实现实时编码，大部分都要借助于soc自身的ip硬加速来实现的。开源库方面则是采用ffmpeg软件，很少自己从0到1去做。

        当然，ffmpeg不仅仅是视频编解码，它还可以做音频的编解码。有兴趣的同学，可以一起学一下音频开发。通常情况下，我们都是采用ffmpeg的框架，然后替换成硬件加速的api，根据客户的需求去编写对应的软件，这是一般的开发思路。

3、网络处理

        随着聊天、直播工具的流行，如何把实时生成的视频送出去，也是目前比较热的一个需求。这方面，有很多的协议，比如说安放上面用的比较多的rtsp协议。除了通讯协议，还有图像特效，比如说美颜、瘦脸、美白、虚拟装饰等等，这方面的需求层出不穷，有兴趣的同学可以好好关注一下。

4、AI应用

        上面的三种相对来说，都是偏传统一点。除了这几样，目前最为火爆的应该就是AI应用。当然大部分的应用更多是一种推广和营销，真正能够落地的还是那几个方面，比如汽车辅助驾驶、人脸识别、车牌识别、ocr识别等等。这些应用都是通过AI技术能够真正落地、发挥效果、改善效率的好工具。

        另外，还有一个比较可喜的现象就是，随着汽车辅助驾驶的普及，相关的算力硬件也是越来越强，与此相比较，对应的价格却是越来越低。这方面，倒是给我们一个很大的机会。大家学习图像和视频的时候，一定要把AI放在一个突出的位置，未来这方面才是方向和发展的重点。