OpenCV使用OpenCL/GPU的性能测试

测试代码如下：

1. import cv2
   
2. import timeit
   
3. 
   
4. print('OpenCL available:', cv2.ocl.haveOpenCL())
   
5. 
   
6. # A simple image pipeline that runs on both Mat and Umat
   
7. def img_cal(img, mode='none'):
   
8.     if mode=='UMat':
   
9.         img = cv2.UMat(img)
   
10.     img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
11.     img = cv2.GaussianBlur(img, (7, 7), 1.5)
    
12.     img = cv2.Canny(img, 0, 50)
    
13.     if type(img) == cv2.UMat:
    
14.         img = cv2.UMat.get(img)
    
15.     return img
    
16. 
    
17. # Timing function
    
18. def run(processor, function, n_threads, N):
    
19.     cv2.setNumThreads(n_threads)
    
20.     t = timeit.timeit(function, globals=globals(), number=N)/N*1000
    
21.     print('%s avg. with %d threads: %0.2f ms' % (processor, n, t))
    
22.     return t
    
23. 
    
24. img = cv2.imread('a.tif')
    
25. N = 100
    
26. threads = [1,  6]
    
27. 
    
28. processor = {'GPU': "img_cal(img,'UMat')",
    
29.              'CPU': "img_cal(img)"}
    
30. results = {}
    
31. for n in threads:
    
32.     for pro in processor.keys():
    
33.         results[pro,n] = run(processor=pro,
    
34.                              function= processor[pro],
    
35.                              n_threads=n, N=N)
    
36. 
    
37. print('\nGPU speed increase over 1 CPU thread [%%]: %0.2f' % \
    
38.       (results[('CPU', 1)]/results[('GPU', 1)]*100))
    
39. print('CPU speed increase on 6 threads versus 1 thread [%%]: %0.2f' % \
    
40.       (results[('CPU', 1)]/results[('CPU', 6)]*100))
    
41. print('GPU speed increase versus 6 threads [%%]: %0.2f' % \
    
42.       (results[('GPU', 1)]/results[('GPU', 6)]*100))

复制代码测试结果为：

1. toybrick@debian10:~/temp/pytest$ /usr/bin/python3 /home/toybrick/temp/pytest/main.py
   
2. OpenCL available: True
   
3. GPU avg. with 1 threads: 25.12 ms
   
4. CPU avg. with 1 threads: 3.34 ms
   
5. GPU avg. with 6 threads: 16.39 ms
   
6. CPU avg. with 6 threads: 3.14 ms
   
7. 
   
8. GPU speed increase over 1 CPU thread [%]: 13.31
   
9. CPU speed increase on 6 threads versus 1 thread [%]: 106.54
   
10. GPU speed increase versus 6 threads [%]: 153.28
    
11. 
    

复制代码使用了OpenCL/GPU后，性能反而下降了，好奇怪？！

1. toybrick@debian10:~$ clinfo
   
2. Number of platforms                               1
   
3.   Platform Name                                   ARM Platform
   
4.   Platform Vendor                                 ARM
   
5.   Platform Version                                OpenCL 1.2 v1.r18p0-01rel0.5630b190419266e7fe8b09ec0007fb39
   
6.   Platform Profile                                FULL_PROFILE
   
7.   Platform Extensions                             cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_byte_addressable_store cl_khr_3d_image_writes cl_khr_fp64 cl_khr_int64_base_atomics cl_khr_int64_extended_atomics cl_khr_fp16 cl_khr_icd cl_khr_egl_image cl_khr_image2d_from_buffer cl_arm_core_id cl_arm_printf cl_arm_thread_limit_hint cl_arm_non_uniform_work_group_size cl_arm_import_memory
   
8.   Platform Extensions function suffix             ARM
   
9. 
   
10.   Platform Name                                   ARM Platform
    
11. Number of devices                                 1
    
12.   Device Name                                     Mali-T860
    
13.   Device Vendor                                   ARM
    
14.   Device Vendor ID                                0x8602000
    
15.   Device Version                                  OpenCL 1.2 v1.r18p0-01rel0.5630b190419266e7fe8b09ec0007fb39
    
16.   Driver Version                                  1.2
    
17.   Device OpenCL C Version                         OpenCL C 1.2 v1.r18p0-01rel0.5630b190419266e7fe8b09ec0007fb39
    
18.   Device Type                                     GPU
    
19.   Device Profile                                  FULL_PROFILE
    
20.   Device Available                                Yes
    
21.   Compiler Available                              Yes
    
22.   Linker Available                                Yes
    
23.   Max compute units                               4
    
24.   Max clock frequency                             5MHz
    
25.   Device Partition                                (core)
    
26.     Max number of sub-devices                     0
    
27.     Supported partition types                     None
    
28.     Supported affinity domains                    (n/a)
    
29.   Max work item dimensions                        3
    
30.   Max work item sizes                             256x256x256
    
31.   Max work group size                             256
    
32.   Preferred work group size multiple              4
    
33.   Preferred / native vector sizes                 
    
34.     char                                                16 / 16      
    
35.     short                                                8 / 8      
    
36.     int                                                  4 / 4      
    
37.     long                                                 2 / 2      
    
38.     half                                                 8 / 8        (cl_khr_fp16)
    
39.     float                                                4 / 4      
    
40.     double                                               2 / 2        (cl_khr_fp64)
    
41.   Half-precision Floating-point support           (cl_khr_fp16)
    
42.     Denormals                                     Yes
    
43.     Infinity and NANs                             Yes
    
44.     Round to nearest                              Yes
    
45.     Round to zero                                 Yes
    
46.     Round to infinity                             Yes
    
47.     IEEE754-2008 fused multiply-add               Yes
    
48.     Support is emulated in software               No
    
49.   Single-precision Floating-point support         (core)
    
50.     Denormals                                     Yes
    
51.     Infinity and NANs                             Yes
    
52.     Round to nearest                              Yes
    
53.     Round to zero                                 Yes
    
54.     Round to infinity                             Yes
    
55.     IEEE754-2008 fused multiply-add               Yes
    
56.     Support is emulated in software               No
    
57.     Correctly-rounded divide and sqrt operations  No
    
58.   Double-precision Floating-point support         (cl_khr_fp64)
    
59.     Denormals                                     Yes
    
60.     Infinity and NANs                             Yes
    
61.     Round to nearest                              Yes
    
62.     Round to zero                                 Yes
    
63.     Round to infinity                             Yes
    
64.     IEEE754-2008 fused multiply-add               Yes
    
65.     Support is emulated in software               No
    
66.   Address bits                                    64, Little-Endian
    
67.   Global memory size                              4029292544 (3.753GiB)
    
68.   Error Correction support                        No
    
69.   Max memory allocation                           1007323136 (960.7MiB)
    
70.   Unified memory for Host and Device              Yes
    
71.   Minimum alignment for any data type             128 bytes
    
72.   Alignment of base address                       1024 bits (128 bytes)
    
73.   Global Memory cache type                        Read/Write
    
74.   Global Memory cache size                        262144 (256KiB)
    
75.   Global Memory cache line size                   64 bytes
    
76.   Image support                                   Yes
    
77.     Max number of samplers per kernel             16
    
78.     Max size for 1D images from buffer            65536 pixels
    
79.     Max 1D or 2D image array size                 2048 images
    
80.     Base address alignment for 2D image buffers   32 bytes
    
81.     Pitch alignment for 2D image buffers          16 pixels
    
82.     Max 2D image size                             65536x65536 pixels
    
83.     Max 3D image size                             65536x65536x65536 pixels
    
84.     Max number of read image args                 128
    
85.     Max number of write image args                8
    
86.   Local memory type                               Global
    
87.   Local memory size                               32768 (32KiB)
    
88.   Max number of constant args                     8
    
89.   Max constant buffer size                        65536 (64KiB)
    
90.   Max size of kernel argument                     1024
    
91.   Queue properties                                
    
92.     Out-of-order execution                        Yes
    
93.     Profiling                                     Yes
    
94.   Prefer user sync for interop                    No
    
95.   Profiling timer resolution                      1000ns
    
96.   Execution capabilities                          
    
97.     Run OpenCL kernels                            Yes
    
98.     Run native kernels                            No
    
99.   printf() buffer size                            1048576 (1024KiB)
    
100.   Built-in kernels                                (n/a)
     
101.   Device Extensions                               cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_byte_addressable_store cl_khr_3d_image_writes cl_khr_fp64 cl_khr_int64_base_atomics cl_khr_int64_extended_atomics cl_khr_fp16 cl_khr_icd cl_khr_egl_image cl_khr_image2d_from_buffer cl_arm_core_id cl_arm_printf cl_arm_thread_limit_hint cl_arm_non_uniform_work_group_size cl_arm_import_memory
     
102. 
     
103. NULL platform behavior
     
104.   clGetPlatformInfo(NULL, CL_PLATFORM_NAME, ...)  ARM Platform
     
105.   clGetDeviceIDs(NULL, CL_DEVICE_TYPE_ALL, ...)   Success [ARM]
     
106.   clCreateContext(NULL, ...) [default]            Success [ARM]
     
107.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_DEFAULT)  Success (1)
     
108.     Platform Name                                 ARM Platform
     
109.     Device Name                                   Mali-T860
     
110.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_CPU)  No devices found in platform
     
111.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_GPU)  Success (1)
     
112.     Platform Name                                 ARM Platform
     
113.     Device Name                                   Mali-T860
     
114.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_ACCELERATOR)  No devices found in platform
     
115.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_CUSTOM)  No devices found in platform
     
116.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_ALL)  Success (1)
     
117.     Platform Name                                 ARM Platform
     
118.     Device Name                                   Mali-T860
     
119. toybrick@debian10:~$

复制代码

我不明白为什么你会觉得GPU一定要跑的比CPU快？
这里GPU主频只有200-800Mhz，CPU却有1.2g-1.8g，跑一些常规算法明显CPU是快的。
GPU只有在做矩阵运算时候才有并行运算优势。

这个测试代码就是做的矩阵运算。在其他平台上，GPU比CPU快很多。

与CPU想比，GPU有更多的运算单元，可以并行运算。所以虽然GPU主频低，但速度比CPU快。

你可以把GPU频率抬到最高试试。
依然没有CPU快的话他就确实不会有CPU快的了。

请问，如何设置GPU频率？