rknn-toolkit & rknn-api for Toybrick

請問關於TK-RK1808S0量化的問題

您好,

[問題1]針對量化後的圖與原圖有差異
我們使用TK-RK1808S0加速棒插在PC上
跑起來的相關資訊如下
PC是ubuntu 18.04
使用的是rknn-toolkit-1.3.0
RKNN VERSION:
API:1.3.0
DRV:1.3.0
由於我們想要加速
使用了混合量化
依照文件上的說明,
rockchip在rknn-toolkit-1.6.1之後會給出量化建議
我是使用rknn-toolkit-1.6.1進行hybrid_quantization_step1
該步驟會產生model_1.quantization.cfg
裡面會在customized_quantize_layers欄位產生量化建議
我將這些量化建議放到rknn-toolkit-1.3.0中所使用的modelname.quantization.cfg中
進行量化三步驟,我們的input是圖, output是放大的圖(做upscale)
做完量化後,的確有加速,但是出來的圖不對,
參考文件上說的,量化後精度會下降,需找出量化後差異較大的層,使該層不做量化
我在hybrid_quantization_step2之後進行accuracy_analysis
得到每一層量化前後的數據,依據該數據找出差異較大的層
將這些層在customized_quantize_layers中的設定設成float32
(原本從rknn-toolkit-1.6.1而來的量化建議是設成dynamic_fixed_point-i16)
但設完之後跑出來的圖還是跟原圖有差距
可以請教板主,可以給我們量化的建議嗎？請問我們需要提供那些資訊?

[問題2]針對不同model量化後的加速問題
由於我們真正的目的是想要upscale video,
採用問題1的model_1,進行量化後的確有加速了3倍多
(image: model_1:fps=19, q_model_1:fps=105)
但仍無法達到我們的要求,於是我採用了model_2
在都沒有進行混合量化的情況下, model_2比model_1快了約2倍
(image: model_1:fps=19,model_2:fps=71; video: model_1:915s, model_2:492s)
照理說,將model_2進行混合量化應該會加速
但此時，model_2進行混合量化後並沒有加速,反而更慢
(image: model_2:fps=71, q_model_2:fps=17.14)
我同樣是依照rknn-toolkit-1.6.1所產生的model_2.quantization.cfg中的量化建議
我也試過將customized_quantize_layers欄位設成{}
但在model_2的案例中,進行混合量化後並沒有達到加速
而在model_1的案例中,進行混合量化後有達到加速
而這兩種model進行混合量化後得到的圖,皆是與原圖有差異
請問板主可以給我們些建議嗎？
請問我們需要提供那些資訊?