Toybrick

标题: OpenCV使用OpenCL/GPU的性能测试 [打印本页]
作者: badboy    时间: 2020-11-2 11:31
标题: OpenCV使用OpenCL/GPU的性能测试
测试代码如下：
  1. import cv2
  2. import timeit

  4. print('OpenCL available:', cv2.ocl.haveOpenCL())

  6. # A simple image pipeline that runs on both Mat and Umat
  7. def img_cal(img, mode='none'):
  8.     if mode=='UMat':
  9.         img = cv2.UMat(img)
  10.     img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
  11.     img = cv2.GaussianBlur(img, (7, 7), 1.5)
  12.     img = cv2.Canny(img, 0, 50)
  13.     if type(img) == cv2.UMat:
  14.         img = cv2.UMat.get(img)
  15.     return img

  17. # Timing function
  18. def run(processor, function, n_threads, N):
  19.     cv2.setNumThreads(n_threads)
  20.     t = timeit.timeit(function, globals=globals(), number=N)/N*1000
  21.     print('%s avg. with %d threads: %0.2f ms' % (processor, n, t))
  22.     return t

  24. img = cv2.imread('a.tif')
  25. N = 100
  26. threads = [1,  6]

  28. processor = {'GPU': "img_cal(img,'UMat')",
  29.              'CPU': "img_cal(img)"}
  30. results = {}
  31. for n in threads:
  32.     for pro in processor.keys():
  33.         results[pro,n] = run(processor=pro,
  34.                              function= processor[pro],
  35.                              n_threads=n, N=N)

  37. print('\nGPU speed increase over 1 CPU thread [%%]: %0.2f' % \
  38.       (results[('CPU', 1)]/results[('GPU', 1)]*100))
  39. print('CPU speed increase on 6 threads versus 1 thread [%%]: %0.2f' % \
  40.       (results[('CPU', 1)]/results[('CPU', 6)]*100))
  41. print('GPU speed increase versus 6 threads [%%]: %0.2f' % \
  42.       (results[('GPU', 1)]/results[('GPU', 6)]*100))
复制代码测试结果为：
  1. toybrick@debian10:~/temp/pytest$ /usr/bin/python3 /home/toybrick/temp/pytest/main.py
  2. OpenCL available: True
  3. GPU avg. with 1 threads: 25.12 ms
  4. CPU avg. with 1 threads: 3.34 ms
  5. GPU avg. with 6 threads: 16.39 ms
  6. CPU avg. with 6 threads: 3.14 ms

  8. GPU speed increase over 1 CPU thread [%]: 13.31
  9. CPU speed increase on 6 threads versus 1 thread [%]: 106.54
  10. GPU speed increase versus 6 threads [%]: 153.28

复制代码使用了OpenCL/GPU后，性能反而下降了，好奇怪？！
作者: badboy    时间: 2020-11-2 11:32
  1. toybrick@debian10:~$ clinfo
  2. Number of platforms                               1
  3.   Platform Name                                   ARM Platform
  4.   Platform Vendor                                 ARM
  5.   Platform Version                                OpenCL 1.2 v1.r18p0-01rel0.5630b190419266e7fe8b09ec0007fb39
  6.   Platform Profile                                FULL_PROFILE
  7.   Platform Extensions                             cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_byte_addressable_store cl_khr_3d_image_writes cl_khr_fp64 cl_khr_int64_base_atomics cl_khr_int64_extended_atomics cl_khr_fp16 cl_khr_icd cl_khr_egl_image cl_khr_image2d_from_buffer cl_arm_core_id cl_arm_printf cl_arm_thread_limit_hint cl_arm_non_uniform_work_group_size cl_arm_import_memory
  8.   Platform Extensions function suffix             ARM

  10.   Platform Name                                   ARM Platform
  11. Number of devices                                 1
  12.   Device Name                                     Mali-T860
  13.   Device Vendor                                   ARM
  14.   Device Vendor ID                                0x8602000
  15.   Device Version                                  OpenCL 1.2 v1.r18p0-01rel0.5630b190419266e7fe8b09ec0007fb39
  16.   Driver Version                                  1.2
  17.   Device OpenCL C Version                         OpenCL C 1.2 v1.r18p0-01rel0.5630b190419266e7fe8b09ec0007fb39
  18.   Device Type                                     GPU
  19.   Device Profile                                  FULL_PROFILE
  20.   Device Available                                Yes
  21.   Compiler Available                              Yes
  22.   Linker Available                                Yes
  23.   Max compute units                               4
  24.   Max clock frequency                             5MHz
  25.   Device Partition                                (core)
  26.     Max number of sub-devices                     0
  27.     Supported partition types                     None
  28.     Supported affinity domains                    (n/a)
  29.   Max work item dimensions                        3
  30.   Max work item sizes                             256x256x256
  31.   Max work group size                             256
  32.   Preferred work group size multiple              4
  33.   Preferred / native vector sizes                 
  34.     char                                                16 / 16      
  35.     short                                                8 / 8      
  36.     int                                                  4 / 4      
  37.     long                                                 2 / 2      
  38.     half                                                 8 / 8        (cl_khr_fp16)
  39.     float                                                4 / 4      
  40.     double                                               2 / 2        (cl_khr_fp64)
  41.   Half-precision Floating-point support           (cl_khr_fp16)
  42.     Denormals                                     Yes
  43.     Infinity and NANs                             Yes
  44.     Round to nearest                              Yes
  45.     Round to zero                                 Yes
  46.     Round to infinity                             Yes
  47.     IEEE754-2008 fused multiply-add               Yes
  48.     Support is emulated in software               No
  49.   Single-precision Floating-point support         (core)
  50.     Denormals                                     Yes
  51.     Infinity and NANs                             Yes
  52.     Round to nearest                              Yes
  53.     Round to zero                                 Yes
  54.     Round to infinity                             Yes
  55.     IEEE754-2008 fused multiply-add               Yes
  56.     Support is emulated in software               No
  57.     Correctly-rounded divide and sqrt operations  No
  58.   Double-precision Floating-point support         (cl_khr_fp64)
  59.     Denormals                                     Yes
  60.     Infinity and NANs                             Yes
  61.     Round to nearest                              Yes
  62.     Round to zero                                 Yes
  63.     Round to infinity                             Yes
  64.     IEEE754-2008 fused multiply-add               Yes
  65.     Support is emulated in software               No
  66.   Address bits                                    64, Little-Endian
  67.   Global memory size                              4029292544 (3.753GiB)
  68.   Error Correction support                        No
  69.   Max memory allocation                           1007323136 (960.7MiB)
  70.   Unified memory for Host and Device              Yes
  71.   Minimum alignment for any data type             128 bytes
  72.   Alignment of base address                       1024 bits (128 bytes)
  73.   Global Memory cache type                        Read/Write
  74.   Global Memory cache size                        262144 (256KiB)
  75.   Global Memory cache line size                   64 bytes
  76.   Image support                                   Yes
  77.     Max number of samplers per kernel             16
  78.     Max size for 1D images from buffer            65536 pixels
  79.     Max 1D or 2D image array size                 2048 images
  80.     Base address alignment for 2D image buffers   32 bytes
  81.     Pitch alignment for 2D image buffers          16 pixels
  82.     Max 2D image size                             65536x65536 pixels
  83.     Max 3D image size                             65536x65536x65536 pixels
  84.     Max number of read image args                 128
  85.     Max number of write image args                8
  86.   Local memory type                               Global
  87.   Local memory size                               32768 (32KiB)
  88.   Max number of constant args                     8
  89.   Max constant buffer size                        65536 (64KiB)
  90.   Max size of kernel argument                     1024
  91.   Queue properties                                
  92.     Out-of-order execution                        Yes
  93.     Profiling                                     Yes
  94.   Prefer user sync for interop                    No
  95.   Profiling timer resolution                      1000ns
  96.   Execution capabilities                          
  97.     Run OpenCL kernels                            Yes
  98.     Run native kernels                            No
  99.   printf() buffer size                            1048576 (1024KiB)
  100.   Built-in kernels                                (n/a)
  101.   Device Extensions                               cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_byte_addressable_store cl_khr_3d_image_writes cl_khr_fp64 cl_khr_int64_base_atomics cl_khr_int64_extended_atomics cl_khr_fp16 cl_khr_icd cl_khr_egl_image cl_khr_image2d_from_buffer cl_arm_core_id cl_arm_printf cl_arm_thread_limit_hint cl_arm_non_uniform_work_group_size cl_arm_import_memory

  103. NULL platform behavior
  104.   clGetPlatformInfo(NULL, CL_PLATFORM_NAME, ...)  ARM Platform
  105.   clGetDeviceIDs(NULL, CL_DEVICE_TYPE_ALL, ...)   Success [ARM]
  106.   clCreateContext(NULL, ...) [default]            Success [ARM]
  107.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_DEFAULT)  Success (1)
  108.     Platform Name                                 ARM Platform
  109.     Device Name                                   Mali-T860
  110.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_CPU)  No devices found in platform
  111.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_GPU)  Success (1)
  112.     Platform Name                                 ARM Platform
  113.     Device Name                                   Mali-T860
  114.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_ACCELERATOR)  No devices found in platform
  115.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_CUSTOM)  No devices found in platform
  116.   clCreateContextFromType(NULL, CL_DEVICE_TYPE_ALL)  Success (1)
  117.     Platform Name                                 ARM Platform
  118.     Device Name                                   Mali-T860
  119. toybrick@debian10:~$
复制代码
作者: jefferyzhang    时间: 2020-11-2 15:22
我不明白为什么你会觉得GPU一定要跑的比CPU快？
这里GPU主频只有200-800Mhz，CPU却有1.2g-1.8g，跑一些常规算法明显CPU是快的。
GPU只有在做矩阵运算时候才有并行运算优势。
作者: badboy    时间: 2020-11-2 15:57
这个测试代码就是做的矩阵运算。在其他平台上，GPU比CPU快很多。
作者: badboy    时间: 2020-11-2 15:58
与CPU想比，GPU有更多的运算单元，可以并行运算。所以虽然GPU主频低，但速度比CPU快。
作者: jefferyzhang    时间: 2020-11-2 16:00
你可以把GPU频率抬到最高试试。
依然没有CPU快的话他就确实不会有CPU快的了。
作者: badboy    时间: 2020-11-2 18:08
请问，如何设置GPU频率？



欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3