rknn-toolkit & rknn-api for Toybrick

請問V1.6.0的docker image要如何取得載點?

brunolin 发表于 2021-5-6 16:45
請問V1.6.0的docker image要如何取得載點?

暂时只能通过百度网盘获取
1. Baidu Cloud: https://eyun.baidu.com/s/3eTG3VsY   (pwd：rknn)

自己训练的yolo3模型，转换成.rknn模型后，在pc插入1808和不插入单独pc的情况下，推理结果不一样。
不插入1808，用pc模拟环境跑，速度慢，但可以检测到目标
插入1808，检测不到目标。

rknn是1.2的版本。

请问版主，该如何处理？

請問關於TK-RK1808S0量化的問題

您好,

[問題1]針對量化後的圖與原圖有差異
我們使用TK-RK1808S0加速棒插在PC上
跑起來的相關資訊如下
PC是ubuntu 18.04
使用的是rknn-toolkit-1.3.0
RKNN VERSION:
API:1.3.0
DRV:1.3.0
由於我們想要加速
使用了混合量化
依照文件上的說明,
rockchip在rknn-toolkit-1.6.1之後會給出量化建議
我是使用rknn-toolkit-1.6.1進行hybrid_quantization_step1
該步驟會產生model_1.quantization.cfg
裡面會在customized_quantize_layers欄位產生量化建議
我將這些量化建議放到rknn-toolkit-1.3.0中所使用的modelname.quantization.cfg中
進行量化三步驟,我們的input是圖, output是放大的圖(做upscale)
做完量化後,的確有加速,但是出來的圖不對,
參考文件上說的,量化後精度會下降,需找出量化後差異較大的層,使該層不做量化
我在hybrid_quantization_step2之後進行accuracy_analysis
得到每一層量化前後的數據,依據該數據找出差異較大的層
將這些層在customized_quantize_layers中的設定設成float32
(原本從rknn-toolkit-1.6.1而來的量化建議是設成dynamic_fixed_point-i16)
但設完之後跑出來的圖還是跟原圖有差距
可以請教板主,可以給我們量化的建議嗎？請問我們需要提供那些資訊?

[問題2]針對不同model量化後的加速問題
由於我們真正的目的是想要upscale video,
採用問題1的model_1,進行量化後的確有加速了3倍多
(image: model_1:fps=19, q_model_1:fps=105)
但仍無法達到我們的要求,於是我採用了model_2
在都沒有進行混合量化的情況下, model_2比model_1快了約2倍
(image: model_1:fps=19,model_2:fps=71; video: model_1:915s, model_2:492s)
照理說,將model_2進行混合量化應該會加速
但此時，model_2進行混合量化後並沒有加速,反而更慢
(image: model_2:fps=71, q_model_2:fps=17.14)
我同樣是依照rknn-toolkit-1.6.1所產生的model_2.quantization.cfg中的量化建議
我也試過將customized_quantize_layers欄位設成{}
但在model_2的案例中,進行混合量化後並沒有達到加速
而在model_1的案例中,進行混合量化後有達到加速
而這兩種model進行混合量化後得到的圖,皆是與原圖有差異
請問板主可以給我們些建議嗎？
請問我們需要提供那些資訊?

3568 NPU是否支持？

zhouye 发表于 2021-7-12 09:56
3568 NPU是否支持？

356x走的是rknn-toolkit2，不是这个

大佬，请问下RV126什么时候能用上Rock-X SDK？

我提点建议,  我建议将rknn tool  kit 拆分成多个不同的项目,  
可以考虑拆分成模型转换工具 和 rknn模型运行工具.  
因为模型的转换需要大量的计算,  放在开发板上往往是资源不够的.  .  
模型转换工具应该拆分成多个小项目.  这样就可以拆开依赖关系.  
例如我现在只用到pytorch,  不用tensorflow.  为了装rknn就不得不装个tensorflow , 而且tensorflow还有各种各样的版本问题. 这就导致问题复杂化了.
我为了能跑rknn的代码折腾了好久好久最起码半个月.    问题一大堆 .  各种版本问题. 到现在还没搞起来..
所以项目应该分成下面这几个小项目. 不要混到一起
pytorch模型转rknn模型的项目
tensorflow模型转rknn模型的项目
onnx模型转rknn模型的项目
等等.
然后再独立出一个在开发板上跑rknn的runtime 项目.
我现在为了用rknn 真是麻烦的要死. 这个得赶紧解决.  影响销量了.

phker 发表于 2021-8-6 11:23
我提点建议,  我建议将rknn tool  kit 拆分成多个不同的项目,  
可以考虑拆分成模型转换工具 和 rknn模型运 ...

rknntoolkit-lite了解下

jefferyzhang 发表于 2021-8-6 11:33
rknntoolkit-lite了解下

辛苦多日不如你一句话呀..   为啥不在主说明书上写明白呢????  害我在开发板上装了半个月的 RKNN-ToolKit.