Toybrick AI 开发平台及 AI 计算棒 - Toybrick

1.端侧AI的发展现状与挑战
AI云计算
端侧仅负责发送输入数据，并接收计算结果

优势：
计算资源集中管理和分配
单一计算可达很高的算力和精度
部署便捷

劣势：
算力成本高
流量成本高、延迟大
离线无法工作

2.瑞芯微Toybrick AI开发平台
瑞芯微官方于2019年1月15日正式推出AI开发平台---Toybrick。
硬件上，提供多系列开发平台和参考设计满足不同用户群体。
软件上，提供稳定可靠的系统平台、丰富的开发工具、AI教学案例和开源的社区

社区地址:http://t.rock-chips.com
平台旨在提供高效、便捷、稳定的开发环境，让开发者迅速上手AI应用开发，加速AI行业产品研发进程，提升行业应用生态。

RK3399Pro Application Processor
Core

Big.Little architecture: Dual-core Cortex-A72+Quad-core Cortex-A53, 64-bit CPU
ARM Mali-T860MP4 GPU, OpenGL ES1.1/2.0/3.0/3.1/3.2, Vulkan 1.0, OpenCL 1.2, DX11
NPU: 1920 INT8 MACs/192 INT16 MACs/64 FP16 MACs , MAX to 800MHz

Memory

Dual channel DDR3-1866/DDR3L-1866/LPDDR3-1866/LPDDR4-1866
Support eMMC 5.1 with HS400, SDIO 3.0 with HS200

Multimedia

4K VP9 and 4K 10-bit H.265/H.264 video decoder, up to 60fps
1080P other video decoders (VC-1, MPEG-1/2/4, VP8)
1080P video encoders for H.264 and VP8
Security Video Path, OP-TEE, support Widevine Level1, PlayReady
Video post processor: de-interlace, de-noise, enhancement for edge/detail/color

Display

Dual display engine up to 4096x2160 and 2560x1600
Dual channel MIPI-DSI TX, 4 lanes per channel
eDP 1.3 with PSR, 4 lanes up to 10.8Gbps
HDMI 2.0a with HDCP 1.4/2.2, up to 4K 60Hz
DisplayPort 1.2 with 4 lanes, up to 4K 60Hz
HDR10/HLG display with conversion between Rec.2020 and Rec.709

Camera

Dual 13MPixel ISP and dual MIPI CSI-2

Other

Built-in dual Type-C with USB 3.0 and DisplayPort Alternate mode
PCIe v2.1 (4 full-duplex lanes), up to 2.5Gbps/lane
Embed RGMII interface three channels I2S, SPDIF output

PMU

RK808-D / RK818-3

RK1808 AIOT Processor
Core

Dual core ARM Cortex-A35, 1.2GHz

NPU

1920 INT8 MACs/192 INT16 MACs/64 FP16 MACs
MAX to 800MHz

Memory

32bit DDR3-1600/DDR3L-1600/ LPDDR2-1066 /LPDDR3-1600
Support eMMC 4.51, Serial Nor Flash booting

Multi-Media

1080P H.264 video encoder
2M ISP with 13M MIPI-DSI/ 5M DVP input
BT.1120 and UVC interface

Display

MIPI-DSI/RGB interface

External interface

RGMII interface
PCI-e 2.1, dual link; mux with USB 3.0
USB 2.0 OTG and USB 2.0 host
Dual SDIO 3.0 interface for Wi-Fi and SD card
8ch I2S with TDM/PCM, 2ch I2S, VAD function
I2C/UART/SPI interface

Package

FCCSP420LD 14X14, 0.5mm pitch

NPU 性能

功耗不及所需GPU的10%
Tensorflow、PyTorch、Caffe、MxNet、DarkNet、Onnx等，直接转换和部署
丰富的文档、wiki、教程、直播、示例代码；并且不停的在更新
相比所需GPU，成本低廉
高达3Tops的算力
可以很方便集成进任何移动设备和其他嵌入式设备

[attach]1151[/attach]

3.RK AI开发

RKNN ToolKit主要功能

模型转换，量化/混合量化，模型优化开关
模型预编译，模型分段，批量推理
自定义算子，模型多输入
多加速棒支持
性能预估，内存预估
模拟调试，量化精度分析，可视化功能

[attach]1152[/attach]

Toybrick 1808计算棒提供主动和被动两种工作模式

被动模式下，模型部署在上位机，计算棒是一个通用计算棒，担当AI加速器的功能；
主动模式下，模型部署在计算棒上，计算棒是一个专用AI应用模块；

Toybrick 1808计算棒提供全套模型保护方案

加解密过程均运行中TrustZone安全环境中，无法跟踪
让您的模型在计算棒上不用担心被盗走，每颗计算棒上的模型存储秘文均不一样，只有当前计算棒可以使用，拷走无效。

多计算棒运行

Toybrick 1808计算棒支持多计算棒同时运行

Rock-X 性能指标
[attach]1153[/attach]