端侧仅负责发送输入数据，并接收计算
结果
计算资源集中管理和分配，借助服务器的强大性能，可以实现很高的浮点算力和精度水平
部署便捷，云服务器可直接部署训练的模型框架，无需转换和二次开发即可使用
算力成本高，常规神经网络运算使用GPU浮点运算，GPU成本高，功耗大，云端部署服务器的运维成本也很大
流量成本高、延迟大，输入和输出依赖网络传递，视觉识别任务一般输入的图片码流很大，如果是移动设备，没有固定的有线网络，移动流量成本是相当的大的
离线无法工作，云端的人工智能识别高度依赖网络，如果网络离线，所有功能都将无法使用
AI 边缘计算
线下运行、低延迟，不依赖网络，无需和云端通讯，可独立运作
冗余部署，去中心化，单个设备损坏不影响其他设备正常工作
应用更加广泛，相比AI云计算高昂的成本，边缘计算更利于消费电子和移动领域。
瑞芯微AI平台介绍
RK3399Pro/RK1808 with NPU
- 功耗不及所需GPU的10%
- Tensorflow、PyTorch、Caffe、MxNet、DarkNet、Onnx等，直接转换和部署
- 丰富的文档、wiki、教程、直播、示例代码；并且不停的在更新
- 相比所需GPU，成本低廉
- 高达3Tops的算力
- 可以很方便集成进任何移动设备和其他嵌入式设备
RK3399Pro & RK1808 运算单元
型号
| RK3399Pro
| RK1808
| 支持的库
|
CPU
| A72 * 2 + A53 * 4 (1.8GHz/1.4GHz 64bit)
| A35 * 2 (1.2GHz 64bit)
| *
|
GPU
| MaliT860 MP4
| 无
| GLES 3.1/CL 1.2
|
NPU
| 1920 INT8 MACs / 192 INT16 MACs / 64 FP16 MACs
(MAX 800MHz 3Tops)
| RKNN
|
VPU Decoder
| 4K VP9/4K 10bit H264/H265 60FPS
(1080P30 H264/H265 * 6)
| 1080P60 H264
| MPP
|
VPU Encoder
| 1080P30 H264/VP8
| 1080P30 H264
| MPP
|
RGA
| 实时图像缩放、旋转、混合、裁剪、格式转换 等等功能
| libRGA
|
人工智能项目流程
前期流程 – 科研过程
[attach]1158[/attach]
后期流程 – 项目过程
[attach]1159[/attach]
瑞芯微边缘AI项目加速
RKNN使用流程
- 创建RKNN对象
- 配置模型输入预处理（归一化、通道顺序）
- 读取模型
- 转换模型（量化、预编译等）
- 导出rknn模型、部署
什么是量化
量化就是将浮点转换为定点运算的过程
rknn支持Tensorflow的训练量化，或者训练后由rknn来量化
RKNN混合量化
RKNN允许对模型的每一层设置量化/不量化以及量化参数
（不量化） FP32/FP16，提高精度
（量化）INT16/INT8，提高速度
模型保护
Toybrick 1808计算棒提供全套模型保护方案
让您的模型在计算棒上不用担心被盗走，每颗计算棒上的模型存储秘文均不一样，只有当前计算棒可以使用，拷走无效。加解密过程均运行中TrustZone安全环境中，无法跟踪
案例分析“新零售”
新零售 – 场景介绍
智能结算，商品结算、餐盘识别、菜品识别、蛋糕识别、蔬果识别
无人货柜，商品识别、人手识别、减重计算、自动结算
无人超市，商品识别、减重计算、自动结算、防盗防损
无人货柜
多角度摄像头
使用快速的低精度模型
重量感应器
RK3399Pro + 多个RK1808
模型选择
[attach]1160[/attach]
模型选择的考量
精度，模型自身精度、同模型不同主干网络的精度；输入输出大小、类别数量的影响
速度，一般来说除去模型设计问题，速度越快精度就会越低；输入输出大小、类别数量的影响
训练难度，不同模型训练起来难度也不一样，并非适合项目
转换效果，转换rknn、量化前后评估
数据采集
[attach]1161[/attach]
工程手段提高精度
人工智能模型精度，现有人工智能技术条件下，已经能将计算机视觉识别的准确度提高到一个很高的水平，但不可能达到100%准确
增加重量数据参考，获取电子称数据，防止商品漏检，能够在一定条件下极大提高精度
物理手段：多摄像头多角度识别、补光灯，通过安装在不同角度的摄像头，在不同角度进行识别。防止遮挡、反光、曝光、白平衡等影响
软件技术手段，例如：图像金字塔输入，同一张图缩放多种倍率传入模型，进行检测，取综合检测结果