Toybrick AI 开发平台 及 AI 计算棒

本教程视频直播回看：https://aijishu.com/l/1110000000107841?aff=eeeknow&from=singlemessage

1.端侧AI的发展现状与挑战
AI云计算
端侧仅负责发送输入数据，并接收计算结果


优势：
计算资源集中管理和分配
单一计算可达很高的算力和精度
部署便捷


劣势：
算力成本高
流量成本高、延迟大
离线无法工作


2.瑞芯微Toybrick AI开发平台
瑞芯微官方于2019年1月15日正式推出AI开发平台---Toybrick。
硬件上，提供多系列开发平台和参考设计满足不同用户群体。
软件上，提供稳定可靠的系统平台、丰富的开发工具、AI教学案例和开源的社区


社区地址:http://t.rock-chips.com
平台旨在提供高效、便捷、稳定的开发环境，让开发者迅速上手AI应用开发，加速AI行业产品研发进程，提升行业应用生态。


RK3399Pro Application Processor
Core

• Big.Little architecture: Dual-core Cortex-A72+Quad-core Cortex-A53, 64-bit CPU
  
• ARM Mali-T860MP4 GPU, OpenGL ES1.1/2.0/3.0/3.1/3.2, Vulkan 1.0, OpenCL 1.2, DX11
• NPU:  1920 INT8 MACs/192 INT16 MACs/64 FP16 MACs , MAX to 800MHz
  

Memory

• Dual channel DDR3-1866/DDR3L-1866/LPDDR3-1866/LPDDR4-1866
  
• Support eMMC 5.1 with HS400, SDIO 3.0 with HS200
  

Multimedia

• 4K VP9 and 4K 10-bit H.265/H.264 video decoder, up to 60fps
  
• 1080P other video decoders (VC-1, MPEG-1/2/4, VP8)
• 1080P video encoders for H.264 and VP8
• Security Video Path, OP-TEE, support Widevine Level1, PlayReady
• Video post processor: de-interlace, de-noise, enhancement for edge/detail/color
  

Display

• Dual display engine up to 4096x2160 and 2560x1600
  
• Dual channel MIPI-DSI TX, 4 lanes per channel
• eDP 1.3 with PSR, 4 lanes up to 10.8Gbps
• HDMI 2.0a with HDCP 1.4/2.2, up to 4K 60Hz
• DisplayPort 1.2 with 4 lanes, up to 4K 60Hz
• HDR10/HLG display with conversion between Rec.2020 and Rec.709
  

Camera

• Dual 13MPixel ISP and dual MIPI CSI-2
  
  

Other

• Built-in dual Type-C with USB 3.0 and DisplayPort Alternate mode
  
• PCIe v2.1 (4 full-duplex lanes), up to 2.5Gbps/lane
• Embed RGMII interface  three channels I2S,  SPDIF output
  

PMU

• RK808-D / RK818-3
  
  
  

RK1808 AIOT Processor
Core

• Dual core ARM Cortex-A35, 1.2GHz
  
  

NPU

• 1920 INT8 MACs/192 INT16 MACs/64 FP16 MACs
  
• MAX to 800MHz
  

Memory

• 32bit DDR3-1600/DDR3L-1600/ LPDDR2-1066 /LPDDR3-1600
  
• Support eMMC 4.51, Serial Nor Flash booting
  

Multi-Media

• 1080P H.264 video encoder
  
• 2M ISP with 13M MIPI-DSI/ 5M DVP input
• BT.1120 and  UVC interface
  

Display

• MIPI-DSI/RGB interface
  
  

External interface

• RGMII interface
  
• PCI-e 2.1, dual link; mux with USB 3.0
• USB 2.0 OTG and USB 2.0 host
• Dual SDIO 3.0 interface for Wi-Fi and SD card
• 8ch I2S with TDM/PCM, 2ch I2S, VAD function
• I2C/UART/SPI interface
  

Package

• FCCSP420LD 14X14, 0.5mm pitch
  
  
  
  

NPU 性能

• 功耗不及所需GPU的10%
  
  
• Tensorflow、PyTorch、Caffe、MxNet、DarkNet、Onnx等，直接转换和部署
• 丰富的文档、wiki、教程、直播、示例代码；并且不停的在更新
• 相比所需GPU，成本低廉
• 高达3Tops的算力
• 可以很方便集成进任何移动设备和其他嵌入式设备
  

3.RK AI开发






RKNN ToolKit主要功能

• 模型转换，量化/混合量化，模型优化开关
• 模型预编译，模型分段，批量推理
• 自定义算子，模型多输入
• 多加速棒支持
• 性能预估，内存预估
• 模拟调试，量化精度分析，可视化功能
  

Toybrick 1808计算棒提供主动和被动两种工作模式

• 被动模式下，模型部署在上位机，计算棒是一个通用计算棒，担当AI加速器的功能；
• 主动模式下，模型部署在计算棒上，计算棒是一个专用AI应用模块；
  

Toybrick 1808计算棒提供全套模型保护方案

• 加解密过程均运行中TrustZone安全环境中，无法跟踪
• 让您的模型在计算棒上不用担心被盗走，每颗计算棒上的模型存储秘文均不一样，只有当前计算棒可以使用，拷走无效。
  

多计算棒运行

• Toybrick 1808计算棒支持多计算棒同时运行
  

Rock-X 性能指标

极术社区绑定邮箱时提示数据发送异常是什么原因，不绑定看不了视屏哇

dong 发表于 2020-7-20 15:30
极术社区绑定邮箱时提示数据发送异常是什么原因，不绑定看不了视屏哇

好像是浏览器的问题，换了个浏览器就好了