RK1808前向推理时间不一致的问题

[复制链接] · 发表于 2019-10-22 16:54:48

对tensorflow的ssd_mobilenet_v2模型使用两种方法测试rk1808的性能：

方法一：按照教程里对tensorflow的ssd_mobilenet_v2模型的步骤：
a. python step1.py
b. modify ssd_mobilenet_v2.quantization.cfg
c. python step2.py
d. python step3.py

方法二：直接在一个demo里进行模型加载，模型量化，模型转换和模型测试（就像例子中的mobilenet_v2,mobilenet_v1，只使用了一个test.py)

这两种方法得到的eval_perf_fps的结果不一样，而且差别挺大的，是为什么呢？

只看该作者 · 发表于 2019-10-23 09:06:02

本帖最后由 jefferyzhang 于 2019-10-23 11:47 编辑

eval_perf_fps 是模拟运行一次的结果（修正）
你这两个方法一个混合量化，一个全部量化，运算量和运算类型完全不一样，怎么可能FPS会一样呢？

只看该作者 · 发表于 2019-10-23 10:33:07

jefferyzhang 发表于 2019-10-23 09:06
eval_perf_fps 是根据op的时间和空间复杂度和NPU频率直接计算出的理论FPS，
你这两个方法一个混合量化，一 ...

你的意思是说如果我使用第二种方法就是全部量化了，对吗？

那如果我使用第一种方法，但是不修改ssd_mobilenet_v2.quantization.cfg, 这种情形是混合量化还是全部量化呢？

只看该作者 · 发表于 2019-10-23 11:10:40

本帖最后由 jefferyzhang 于 2019-10-23 11:47 编辑

yupanpan 发表于 2019-10-23 10:33
你的意思是说如果我使用第二种方法就是全部量化了，对吗？

那如果我使用第一种方法，但是不修改ssd_mobi ...

具体问题具体分析，要看他里头的dtype什么的精度是否变了。

你的混合量化是什么都没改么？

只看该作者 · 发表于 2019-10-23 11:19:57

jefferyzhang 发表于 2019-10-23 11:10
具体问题具体分析，要看他里头的dtype什么的精度是否变了。
perf的结果不会说谎，他是按模型计算的，而非 ...

对，混合量化没有改动，没有改动第一种方法中第一步生成的quantization.cfg。

因为第二种方法没有生成这些中间文件，所以我不清楚这是混合量化还是全部量化

只看该作者 · 发表于 2019-10-23 11:47:02

本帖最后由 jefferyzhang 于 2019-10-23 11:48 编辑

我提交了这个问题给相关部门了，他们会测试下。
他们建议你直接运行模型（不用perf）看看结果会不会有差距

只看该作者 · 发表于 2019-10-25 10:35:09

jefferyzhang 发表于 2019-10-23 11:47
我提交了这个问题给相关部门了，他们会测试下。
他们建议你直接运行模型（不用perf）看看结果会不会有差距 ...

直接运行模型，计算inference的时间，这两个方法得到的结果也是相差很大。但是具体的目标检测结果是否一样，还没有测

只看该作者 · 发表于 2019-10-25 11:36:44

yupanpan 发表于 2019-10-25 10:35
直接运行模型，计算inference的时间，这两个方法得到的结果也是相差很大。但是具体的目标检测结果是否一 ...

了解了，我已经上报问题了，等待NPU部门回复

只看该作者 · 发表于 2019-11-5 11:40:26

已回复：
我用C API在RK1808 EVB板上实测，这两种方式生成的RKNN模型性能并没有什么差距：一个是16.31ms（直接调build接口生成的），一个是16.35ms（调用hybrid step1/step2生成的）。如果客户是用rknn.inference统计时间的话，建议直接load_rknn/inference，并且inference多次（大于100次）算平均值。

只看该作者 · 发表于 2019-11-14 16:49:29

楼主，问一下。请问你用rk1808跑过 mobilnet-ssd 这类的目标检测模型吗？我想知道 fps 多大？