Bytetrack算法在vim3上部署

Which Khadas SBC do you use?

VIM3

Which system do you use? Android, Ubuntu, OOWOW or others?

Ubuntu

Which version of system do you use? Khadas official images, self built images, or others?

vim3-ubuntu-20.04-gnome-linux-4.9-fenix-1.1.1-220725.img.xz

Please describe your issue below:

1、请问是否有人使用khadas的产品部署成功过bytetrack的实例,有的话跟踪的速度是多少fps呢?
2、我在使用GitHub(https://github.com/khadas/aml_npu_sdk.git)上clone下来的acuity-toolkit将我从bytetrack转换出来的onnx转换成case代码的时候,但是没有在doc中找到normal_case如何编译?请问如何编译呢?
我模仿aml_npu_app的例子将代码放进去编译,报了如下的错误,我在sdk和板子环境中都找不到common.target的位置


3、在Model Transcoding and Running User Guide (1.0) CN这个文档中的十四页Linux平台,这个buildroot_sdk_64xx也找不到在哪里,是否我这个系统版本不需要这个东西了呢,因为我编译aml_npu_app的例子是可以直接运行的。
4、使用KSNN将bytetrack的ONNX模型可以转换成功,但是转换pt模型的时候,报了如下错误:

[5092] Failed to execute script pegasus

Traceback (most recent call last):

  File "pegasus.py", line 131, in <module>

  File "pegasus.py", line 112, in main

  File "acuitylib/app/importer/commands.py", line 294, in execute

  File "acuitylib/vsi_nn.py", line 242, in load_pytorch_by_onnx_backend

  File "acuitylib/onnx_ir/frontend/pytorch_frontend/pytorch_frontend.py", line 45, in __init__

  File "torch/jit/__init__.py", line 228, in load

RuntimeError: [enforce fail at inline_container.cc:208] . file not found: archive/constants.pkl

尝试将yolov6的模型进行转换,却报了如下错误:

[3644] Failed to execute script pegasus

Traceback (most recent call last):

  File "pegasus.py", line 131, in <module>

  File "pegasus.py", line 112, in main

  File "acuitylib/app/importer/commands.py", line 294, in execute

  File "acuitylib/vsi_nn.py", line 242, in load_pytorch_by_onnx_backend

  File "acuitylib/onnx_ir/frontend/pytorch_frontend/pytorch_frontend.py", line 45, in __init__

  File "torch/jit/__init__.py", line 228, in load

RuntimeError: [enforce fail at inline_container.cc:143] . PytorchStreamReader failed reading zip archive: failed finding central directory

请问这两种情况如何解决?
5、使用onnx转成nbg和使用pt转成nbg在速度和精度上有区别吗?
纯小白发问,问题有点多 :sweat_smile:

normal_case的代码直接编译,基本是不能用于这种大型模型的,基本需要自己重新设计后处理,然后根据转换出来的代码,去使用NPU的API接口,可以参考我们仓库的源码的用法。

我们有在文档上做说明,现在已经支持在板子上编译,不再需要这个文件夹了。

建议提供下你是怎么修改的。

Pytorch支持的版本很低,我的建议是先转换成onnx,再转换。

非常感谢!由于对c的编译不是很了解,我对比了给的例子里build_vx.sh,发现都是一样的,所以我只是把转出来的.c、.h、makefile.linux等文件按照例子的位置替换进去,然后./build_vx.sh。