yolov5s TB-3399pro rknn1.7.0 部署测试

如题，目前已经在TB-3399pro上完成了yolov5s.onnx转yolov5s.rknn，并做了8bit量化。
但是实际推理的速度有点感人。单帧640*640的输入，inference就要超100ms。
请问这是不是正常速度？

2022-4-18 11:44:22

请问你的rknn.init_runtime()设置什么参数，我也是跟你的情况差不多，不知道跟这个rknn.init_runtime()设置有没有关系

2022-4-18 11:44:30

看下rknntoolkit里带的优化文档，参考优化建议优化原始网络结构、剪枝等操作。
论坛也有很多高手做的很好，可以参考下他们做的。

2022-4-18 11:44:43

不太正常，8bit应该在10ms以下，即使某些地方存在瓶颈也不该那么慢

更多回帖