RK1808前向推理时间不一致的问题

显示全部楼层 · 发表于 2019-10-23 09:06:02

本帖最后由 jefferyzhang 于 2019-10-23 11:47 编辑

eval_perf_fps 是模拟运行一次的结果（修正）
你这两个方法一个混合量化，一个全部量化，运算量和运算类型完全不一样，怎么可能FPS会一样呢？

显示全部楼层 · 发表于 2019-10-23 11:10:40

本帖最后由 jefferyzhang 于 2019-10-23 11:47 编辑

yupanpan 发表于 2019-10-23 10:33
你的意思是说如果我使用第二种方法就是全部量化了，对吗？

那如果我使用第一种方法，但是不修改ssd_mobi ...

具体问题具体分析，要看他里头的dtype什么的精度是否变了。

你的混合量化是什么都没改么？

显示全部楼层 · 发表于 2019-10-23 11:47:02

本帖最后由 jefferyzhang 于 2019-10-23 11:48 编辑

我提交了这个问题给相关部门了，他们会测试下。
他们建议你直接运行模型（不用perf）看看结果会不会有差距

显示全部楼层 · 发表于 2019-10-25 11:36:44

yupanpan 发表于 2019-10-25 10:35
直接运行模型，计算inference的时间，这两个方法得到的结果也是相差很大。但是具体的目标检测结果是否一 ...

了解了，我已经上报问题了，等待NPU部门回复

显示全部楼层 · 发表于 2019-11-5 11:40:26

已回复：
我用C API在RK1808 EVB板上实测，这两种方式生成的RKNN模型性能并没有什么差距：一个是16.31ms（直接调build接口生成的），一个是16.35ms（调用hybrid step1/step2生成的）。如果客户是用rknn.inference统计时间的话，建议直接load_rknn/inference，并且inference多次（大于100次）算平均值。