Yolov3 demo 帧率过低以及camera C++ demo测试失败

ubuntu系统,安装好摄像头后,按照官方教程测试了camera
1、包括guvcview软件(10fps左右)
2、opencv python运行正常
3、C++编译报错,fatal:找不到opencv2/highgui/hughgui.hpp,看起来缺少文件(这些头文件在哪里找?)
4、按照教程测试yolov3 demo 实时测试,发现fps在4-7左右浮动,因为NPU是5TOPS,请教一下这边yolov3 demo运行帧率这么低的原因在哪呢?以及如何去修改解决这一问题使其能跑到最高速度呢?
因为只测试camera的时候就发现图像帧率很低,是不是camera的时钟频率是可以调高的?这个有相关文档可参考吗?

@machengsen

请参照我们文档,要安装的

https://docs.khadas.com/linux/vim3/NPUPrebuiltUsage.html#Install-OpenCV4

使用的是我们原始的仓库和最新的固件么,你测试过fb下的速度么?

我们官方测试也就是8到9帧

我按照文档的方式安装的opencv,可以看到之前就是安装过的,但是这个cpp依然报错的

是的,使用的原始仓库,fb模式我也有跑过,但没有显示实时帧率啊?并且fb还有两个问题,就是如何退出fb模式,或者说运行yolo fb之后如何退出回到ubuntu桌面,我使用ctrl+alt+F7 F8换着切会退出去,但是这时候ubuntu桌面变成3个并且模糊不清
另外,在跑yolov3 fb模式,大概在20s左右之后,视频就卡住了,不知道是什么原因,请问你们有遇到类似的现象吗

所以如何提高帧率并没有一个方法是吗?
1、因为最开始测试摄像头的帧率就很低,所以我认为有摄像头的问题,那么是否有方法提高摄像头的帧率,通过修改某些参数?使用fb模式,全屏都是摄像头的内容,没有显示实时帧率了,所以还不知道如何测试fb的帧率(并且包括测试yolov3 fb视频模式都有卡住不动的现象发生)
2、在排除本身摄像头采集数据较慢的前提下,是否本身cpu+npu的效率不高导致帧率低可能是我下一步的验证,如果在帧率低方面有其他什么已知的问题或者想法、测试方法,希望给我点建议,感谢

并且因为我算了下416输入的feature map,yolov3需要的ops在拥有5t算力的芯片应该理论最高跑70多帧,所以实测最高才7帧,有时掉到3帧,这有点太低了。

另外在fb模式测试yolov3,能感觉到其帧率应该大于7-8帧(凭卡顿的感觉),如何显示实测数据嘞?有文档可以参考吗?
在运行yolov3会有闪屏,命令 ./detect_yolov3_fb_mini -d /dev/video0 -m 2
因为帖子不能贴视频,我截了两张图,



不过我按键 ctrl+alt+f8,这个现象就没有了,视频正常显示,但是我并不知道为啥会好。

@machengsen

你用串口工具运行的话,会有信息和帧率打印在串口上。

你的屏幕分辨率是多少

分辨率是 2560x1440,这个是和显示不匹配吗

串口工具运行的意思是说利用供电设备当做串口可以自然显示相应运行的信息和帧率吗

@machengsen

https://docs.khadas.com/linux/zh-cn/vim3/SetupSerialTool.html

可以参考我们的文档

这个分辨率是会有频闪的问题,我们还没定位到原因,1080p目前是正常的,你可以切换到1080p,这里同样有文档。

https://docs.khadas.com/linux/zh-cn/vim3/HdmiResolution.html

按照文档操作(windows),最后的界面是这样的,没有登录界面,需要板卡启动时做对应的什么操作吗?

测试yolov3
我切换到1080p,依然有频闪的问题


但是很奇怪的我按键 CTRL+ALT+F8这个现象就又不存在了,猜测是不是和framebuffer的工作模式有关系?
另外目前按键CTRL+ALT+F7的现象是这样的

发现还有terminal在跟着闪屏,然后CTRL+C,framebuffer模式应该就是退出了,滑动鼠标 界面慢慢恢复正常ubuntu桌面

并且通过前面termina的信息看到FPS在8~9的样子,这符合你们测试fb模式下yolov3的速度吗?

@machengsen 是符合情况的,目前yolov3就是这个速度

使用fb demo请先使用Ctrl+Alt+F1切换到命令行再支持,不要再F7那里执行

我是按照文档中的引脚连的线,不过我看到前面介绍uart是15 16pin,那么文档中的引脚没问题的话,是否需要将overlays打开,目前没有看到ttl类似的字眼

原来就直接在ubuntu的terminal运行fb demo的,在命令行(F1)模式下运行fb demo我也有试过的,现象如下,一样有闪屏的情况,只不过另一帧是命令行部分画面,不是原来的白花花的部分画面,不过使用ctrl+alt+f8组合键还是可以消除这个问题,具体的原因我还不清楚,这个也是尝试出来的。


@machengsen 15和16是板载的串口,不是调试串口,调试串口就是18和19pin,参照文档做就行。你这里需要使用调试串口。

嗯 是按照文档操作的(PC端windows系统),但是上电后串口什么信息都没有,所以我是在说是不是这个调试串口也需要在overlays中打开? 如果是的话,其名字是什么


设置信息
图片