Toybrick

模型推理耗时3.5秒

bivent

注册会员

积分
60
楼主
发表于 2021-4-7 18:25:05    查看: 12728|回复: 3 | [复制链接]    打印 | 只看该作者
Layer ID    Name                                         Operator            Uid       Time(us)
112         convolution_1_2                              CONVOLUTION         1         11977
0           mish_3_1                                     unknown             3         78718
113         convolution_4_0                              RESHUFFLE           4         72651
                                                         CONVOLUTION         
1           mish_6_1                                     unknown             6         39606
114         convolution_7_2                              CONVOLUTION         7         30483
2           mish_9_1                                     unknown             9         39739
115         convolution_11_2                             CONVOLUTION         11        30304
3           mish_13_1                                    unknown             13        39555
116         convolution_14_2                             CONVOLUTION         14        15314
4           mish_16_1                                    unknown             16        20018
117         convolution_17_2                             CONVOLUTION         17        50429
5           mish_19_1                                    unknown             19        39940
222         add_20_2                                     CONVOLUTION         20        4139
118         convolution_21_2                             CONVOLUTION         21        30468
6           mish_23_1                                    unknown             23        39948
119         convolution_25_2                             CONVOLUTION         25        60568
7           mish_27_1                                    unknown             27        39818
120         convolution_28_0                             RESHUFFLE           28        61391
                                                         CONVOLUTION         
8           mish_30_1                                    unknown             30        20434
121         convolution_31_2                             CONVOLUTION         31        15563
9           mish_33_1                                    unknown             33        10621
122         convolution_35_2                             CONVOLUTION         35        15582
10          mish_37_1                                    unknown             37        10554
123         convolution_38_2                             CONVOLUTION         38        9205
11          mish_40_1                                    unknown             40        10562
124         convolution_41_2                             CONVOLUTION         41        26961
12          mish_43_1                                    unknown             43        10652
223         add_44_2                                     CONVOLUTION         44        1390
125         convolution_45_2                             CONVOLUTION         45        9235
13          mish_47_1                                    unknown             47        10557
126         convolution_48_2                             CONVOLUTION         48        26987
14          mish_50_1                                    unknown             50        10648
224         add_51_2                                     CONVOLUTION         51        1137
127         convolution_52_2                             CONVOLUTION         52        9121
15          mish_54_1                                    unknown             54        10652
128         convolution_56_2                             CONVOLUTION         56        34894
16          mish_58_1                                    unknown             58        20314
129         convolution_59_0                             RESHUFFLE           59        66371
                                                         CONVOLUTION         
17          mish_61_1                                    unknown             61        10570
130         convolution_62_2                             CONVOLUTION         62        17810
18          mish_64_1                                    unknown             64        5763
131         convolution_66_2                             CONVOLUTION         66        17749
19          mish_68_1                                    unknown             68        5678
132         convolution_69_2                             CONVOLUTION         69        9154
20          mish_71_1                                    unknown             71        5731
133         convolution_72_2                             CONVOLUTION         72        30775
21          mish_74_1                                    unknown             74        5774
225         add_75_2                                     CONVOLUTION         75        1042
134         convolution_76_2                             CONVOLUTION         76        9211
22          mish_78_1                                    unknown             78        5688
135         convolution_79_2                             CONVOLUTION         79        30855
23          mish_81_1                                    unknown             81        5747
226         add_82_2                                     CONVOLUTION         82        991
136         convolution_83_2                             CONVOLUTION         83        9144
24          mish_85_1                                    unknown             85        5757
137         convolution_86_2                             CONVOLUTION         86        30749
25          mish_88_1                                    unknown             88        5685
227         add_89_2                                     CONVOLUTION         89        1048
138         convolution_90_2                             CONVOLUTION         90        9154
26          mish_92_1                                    unknown             92        5728
139         convolution_93_2                             CONVOLUTION         93        30845
27          mish_95_1                                    unknown             95        5683
228         add_96_2                                     CONVOLUTION         96        1038
140         convolution_97_2                             CONVOLUTION         97        9286
28          mish_99_1                                    unknown             99        5682
141         convolution_100_2                            CONVOLUTION         100       30674
29          mish_102_1                                   unknown             102       5460
229         add_103_2                                    CONVOLUTION         103       836
142         convolution_104_2                            CONVOLUTION         104       9013
30          mish_106_1                                   unknown             106       5411
143         convolution_107_2                            CONVOLUTION         107       30628
31          mish_109_1                                   unknown             109       5427
230         add_110_2                                    CONVOLUTION         110       823
144         convolution_111_2                            CONVOLUTION         111       8997
32          mish_113_1                                   unknown             113       5445
145         convolution_114_2                            CONVOLUTION         114       30608
33          mish_116_1                                   unknown             116       5658
231         add_117_2                                    CONVOLUTION         117       1067
146         convolution_118_2                            CONVOLUTION         118       9225
34          mish_120_1                                   unknown             120       5835
147         convolution_121_2                            CONVOLUTION         121       30845
35          mish_123_1                                   unknown             123       5855
232         add_124_2                                    CONVOLUTION         124       947
148         convolution_125_2                            CONVOLUTION         125       9209
36          mish_127_1                                   unknown             127       5834
149         convolution_129_2                            CONVOLUTION         129       12982
37          mish_131_1                                   unknown             131       10614
150         convolution_132_0                            RESHUFFLE           132       60174
                                                         CONVOLUTION         
38          mish_134_1                                   unknown             134       5774
152         convolution_135_2                            CONVOLUTION         135       17741
40          mish_137_1                                   unknown             137       3246
153         convolution_139_2                            CONVOLUTION         139       17768
41          mish_141_1                                   unknown             141       3229
154         convolution_142_2                            CONVOLUTION         142       4352
42          mish_144_1                                   unknown             144       3244
155         convolution_145_2                            CONVOLUTION         145       30834
43          mish_147_1                                   unknown             147       3239
233         add_148_2                                    CONVOLUTION         148       724
156         convolution_149_2                            CONVOLUTION         149       4298
44          mish_151_1                                   unknown             151       3385
157         convolution_152_2                            CONVOLUTION         152       30759
45          mish_154_1                                   unknown             154       3329
234         add_155_2                                    CONVOLUTION         155       772
158         convolution_156_2                            CONVOLUTION         156       4285
46          mish_158_1                                   unknown             158       3239
159         convolution_159_2                            CONVOLUTION         159       30763
47          mish_161_1                                   unknown             161       3336
235         add_162_2                                    CONVOLUTION         162       776
160         convolution_163_2                            CONVOLUTION         163       4299
48          mish_165_1                                   unknown             165       3242
161         convolution_166_2                            CONVOLUTION         166       30770
49          mish_168_1                                   unknown             168       3239
236         add_169_2                                    CONVOLUTION         169       714
162         convolution_170_2                            CONVOLUTION         170       4301
50          mish_172_1                                   unknown             172       3330
163         convolution_173_2                            CONVOLUTION         173       30764
51          mish_175_1                                   unknown             175       3334
237         add_176_2                                    CONVOLUTION         176       701
164         convolution_177_2                            CONVOLUTION         177       4303
52          mish_179_1                                   unknown             179       3229
165         convolution_180_2                            CONVOLUTION         180       30775
53          mish_182_1                                   unknown             182       3239
238         add_183_2                                    CONVOLUTION         183       778
166         convolution_184_2                            CONVOLUTION         184       4282
54          mish_186_1                                   unknown             186       3469
167         convolution_187_2                            CONVOLUTION         187       30747
55          mish_189_1                                   unknown             189       3244
239         add_190_2                                    CONVOLUTION         190       717
168         convolution_191_2                            CONVOLUTION         191       4300
56          mish_193_1                                   unknown             193       3352
169         convolution_194_2                            CONVOLUTION         194       30772
57          mish_196_1                                   unknown             196       3333
240         add_197_2                                    CONVOLUTION         197       753
170         convolution_198_2                            CONVOLUTION         198       4307
58          mish_200_1                                   unknown             200       3231
171         convolution_202_2                            CONVOLUTION         202       34954
59          mish_204_1                                   unknown             204       5738
172         convolution_205_0                            RESHUFFLE           205       131365
                                                         CONVOLUTION         
60          mish_207_1                                   unknown             207       3214
174         convolution_208_2                            CONVOLUTION         208       6740
62          mish_210_1                                   unknown             210       2028
175         convolution_212_2                            CONVOLUTION         212       6734
63          mish_214_1                                   unknown             214       2027
176         convolution_215_2                            CONVOLUTION         215       5413
64          mish_217_1                                   unknown             217       2102
177         convolution_218_2                            CONVOLUTION         218       33130
65          mish_220_1                                   unknown             220       2111
241         add_221_2                                    CONVOLUTION         221       615
178         convolution_222_2                            CONVOLUTION         222       5470
66          mish_224_1                                   unknown             224       2019
179         convolution_225_2                            CONVOLUTION         225       33078
67          mish_227_1                                   unknown             227       2012
242         add_228_2                                    CONVOLUTION         228       631
180         convolution_229_2                            CONVOLUTION         229       5408
68          mish_231_1                                   unknown             231       2103
181         convolution_232_2                            CONVOLUTION         232       33225
69          mish_234_1                                   unknown             234       2073
243         add_235_2                                    CONVOLUTION         235       618
182         convolution_236_2                            CONVOLUTION         236       5483
70          mish_238_1                                   unknown             238       2009
183         convolution_239_2                            CONVOLUTION         239       33068
71          mish_241_1                                   unknown             241       2117
244         add_242_2                                    CONVOLUTION         242       687
184         convolution_243_2                            CONVOLUTION         243       5408
72          mish_245_1                                   unknown             245       2029
185         convolution_247_2                            CONVOLUTION         247       13030
73          mish_249_1                                   unknown             249       3346
186         convolution_250_2                            CONVOLUTION         250       7269
74          leakyrelu_252_0                              ACTIVATION          252       720
187         convolution_253_2                            CONVOLUTION         253       65468
75          leakyrelu_255_0                              ACTIVATION          255       494
188         convolution_256_2                            CONVOLUTION         256       6589
76          leakyrelu_258_0                              ACTIVATION          258       350
77          pooling_259_1                                POOLING             259       12633
78          pooling_261_1                                POOLING             261       49092
79          pooling_263_1                                POOLING             263       67115
189         convolution_265_2                            CONVOLUTION         265       12873
80          leakyrelu_267_0                              ACTIVATION          267       603
190         convolution_268_2                            CONVOLUTION         268       65510
81          leakyrelu_270_0                              ACTIVATION          270       587
191         convolution_271_2                            CONVOLUTION         271       6740
82          leakyrelu_273_0                              ACTIVATION          273       637
192         convolution_274_2                            CONVOLUTION         274       4163
83          leakyrelu_276_0                              ACTIVATION          276       629
84          upsampling_277_1                             unknown             277       1303
173         convolution_279_2                            CONVOLUTION         279       17741
61          leakyrelu_281_0                              ACTIVATION          281       588
193         convolution_283_2                            CONVOLUTION         283       7545
85          leakyrelu_285_0                              ACTIVATION          285       537
194         convolution_286_2                            CONVOLUTION         286       46162
86          leakyrelu_288_0                              ACTIVATION          288       850
195         convolution_289_2                            CONVOLUTION         289       7579
87          leakyrelu_291_0                              ACTIVATION          291       494
196         convolution_292_2                            CONVOLUTION         292       47358
88          leakyrelu_294_0                              ACTIVATION          294       818
197         convolution_295_2                            CONVOLUTION         295       6572
89          leakyrelu_297_0                              ACTIVATION          297       588
198         convolution_298_2                            CONVOLUTION         298       4386
90          leakyrelu_300_0                              ACTIVATION          300       562
91          upsampling_301_1                             unknown             301       1155
151         convolution_303_2                            CONVOLUTION         303       17682
39          leakyrelu_305_0                              ACTIVATION          305       719
199         convolution_307_2                            CONVOLUTION         307       17714
92          leakyrelu_309_0                              ACTIVATION          309       825
200         convolution_310_2                            CONVOLUTION         310       55334
93          leakyrelu_312_0                              ACTIVATION          312       1008
201         convolution_313_2                            CONVOLUTION         313       17803
94          leakyrelu_315_0                              ACTIVATION          315       772
202         convolution_316_2                            CONVOLUTION         316       54460
95          leakyrelu_318_0                              ACTIVATION          318       1001
203         convolution_319_2                            CONVOLUTION         319       16870
96          leakyrelu_321_0                              ACTIVATION          321       1312
204         convolution_322_2                            CONVOLUTION         322       55730
97          leakyrelu_324_0                              ACTIVATION          324       2167
206         convolution_325_2                            CONVOLUTION         325       4685
205         convolution_328_0                            RESHUFFLE           328       12013
                                                         CONVOLUTION         
98          leakyrelu_330_0                              ACTIVATION          330       746
207         convolution_332_2                            CONVOLUTION         332       14167
99          leakyrelu_334_0                              ACTIVATION          334       745
208         convolution_335_2                            CONVOLUTION         335       45688
100         leakyrelu_337_0                              ACTIVATION          337       602
209         convolution_338_2                            CONVOLUTION         338       4777
101         leakyrelu_340_0                              ACTIVATION          340       560
210         convolution_341_2                            CONVOLUTION         341       40677
102         leakyrelu_343_0                              ACTIVATION          343       582
211         convolution_344_2                            CONVOLUTION         344       6434
103         leakyrelu_346_0                              ACTIVATION          346       495
212         convolution_347_2                            CONVOLUTION         347       55037
104         leakyrelu_349_0                              ACTIVATION          349       856
214         convolution_350_2                            CONVOLUTION         350       2106
213         convolution_353_0                            RESHUFFLE           353       33294
                                                         CONVOLUTION         
105         leakyrelu_355_0                              ACTIVATION          355       626
215         convolution_357_2                            CONVOLUTION         357       19057
106         leakyrelu_359_0                              ACTIVATION          359       618
216         convolution_360_2                            CONVOLUTION         360       65650
107         leakyrelu_362_0                              ACTIVATION          362       742
217         convolution_363_2                            CONVOLUTION         363       6805
108         leakyrelu_365_0                              ACTIVATION          365       622
218         convolution_366_2                            CONVOLUTION         366       65672
109         leakyrelu_368_0                              ACTIVATION          368       676
219         convolution_369_2                            CONVOLUTION         369       6727
110         leakyrelu_371_0                              ACTIVATION          371       619
220         convolution_372_2                            CONVOLUTION         372       65414
111         leakyrelu_374_0                              ACTIVATION          374       386
221         convolution_375_2                            CONVOLUTION         375       951
Total Time(us): 3542149
FPS: 0.28

上面是具体推理各层耗时,请问正常吗?

回复

使用道具 举报

bobby_jiang

高级会员

积分
546
沙发
发表于 2021-4-19 14:51:41 | 只看该作者
这个耗时是模拟器的?还是计算棒的?是量化的,还是没量化的?如果量化的,用的是什么量化方法?
你把代码贴一下,看看是不是有跑到计算棒上。
回复

使用道具 举报

bivent

注册会员

积分
60
板凳
 楼主| 发表于 2021-4-19 15:18:46 | 只看该作者
bobby_jiang 发表于 2021-4-19 14:51
这个耗时是模拟器的?还是计算棒的?是量化的,还是没量化的?如果量化的,用的是什么量化方法?
你把代码 ...

这个是计算棒的耗时,没有进行量化,全部是FP16。全部量化成int8也要跑1.14秒左右,想知道这个时间正常不。按照理论值计算的话,时间远远小于这个时间
回复

使用道具 举报

bobby_jiang

高级会员

积分
546
地板
发表于 2021-5-7 10:09:18 | 只看该作者
你这个模型中包含大量的mish op,现在这个op的性能比较低,建议你用relu去替换mish。
这样性能应该可以提高很多
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表