Toybrick

人工智能平台项目实战

hisping

管理员

积分
611
发表于 2020-6-3 14:38:30    查看: 19079|回复: 5 | [复制链接]    打印 | 显示全部楼层






云计算与边缘计算

云计算

端侧仅负责发送输入数据,并接收计算结果
计算资源集中管理和分配,借助服务器的强大性能,可以实现很高的浮点算力和精度水平
部署便捷,云服务器可直接部署训练的模型框架,无需转换和二次开发即可使用
算力成本高,常规神经网络运算使用GPU浮点运算,GPU成本高,功耗大,云端部署服务器的运维成本也很大

流量成本高、延迟大,输入和输出依赖网络传递,视觉识别任务一般输入的图片码流很大,如果是移动设备,没有固定的有线网络,移动流量成本是相当的大的
离线无法工作,云端的人工智能识别高度依赖网络,如果网络离线,所有功能都将无法使用

AI 边缘计算
线下运行、低延迟,不依赖网络,无需和云端通讯,可独立运作

冗余部署,去中心化,单个设备损坏不影响其他设备正常工作

应用更加广泛,相比AI云计算高昂的成本,边缘计算更利于消费电子和移动领域。


瑞芯微AI平台介绍
RK3399Pro/RK1808 with NPU
  • 功耗不及所需GPU的10%
  • Tensorflow、PyTorch、Caffe、MxNet、DarkNet、Onnx等,直接转换和部署
  • 丰富的文档、wiki、教程、直播、示例代码;并且不停的在更新
  • 相比所需GPU,成本低廉
  • 高达3Tops的算力
  • 可以很方便集成进任何移动设备和其他嵌入式设备


RK3399Pro & RK1808 运算单元

型号
RK3399Pro
RK1808
支持的库
CPU
A72 * 2 + A53 * 4 (1.8GHz/1.4GHz 64bit)
A35 * 2 (1.2GHz 64bit)
*
GPU
MaliT860 MP4

GLES 3.1/CL 1.2
NPU
1920 INT8 MACs / 192 INT16 MACs / 64 FP16 MACs   
(MAX 800MHz 3Tops)
RKNN
VPU Decoder
4K VP9/4K 10bit H264/H265 60FPS
(1080P30 H264/H265 * 6)
1080P60 H264
MPP
VPU Encoder
1080P30 H264/VP8
1080P30 H264
MPP
RGA
实时图像缩放、旋转、混合、裁剪、格式转换 等等功能
libRGA



人工智能项目流程
前期流程 – 科研过程


后期流程 – 项目过程



瑞芯微边缘AI项目加速

RKNN使用流程
  • 创建RKNN对象
  • 配置模型输入预处理(归一化、通道顺序)
  • 读取模型
  • 转换模型(量化、预编译等)
  • 导出rknn模型、部署

什么是量化

量化就是将浮点转换为定点运算的过程
rknn支持Tensorflow的训练量化,或者训练后由rknn来量化


RKNN混合量化
RKNN允许对模型的每一层设置量化/不量化以及量化参数
(不量化) FP32/FP16,提高精度

(量化)INT16/INT8,提高速度

模型保护
Toybrick 1808计算棒提供全套模型保护方案
让您的模型在计算棒上不用担心被盗走,每颗计算棒上的模型存储秘文均不一样,只有当前计算棒可以使用,拷走无效。加解密过程均运行中TrustZone安全环境中,无法跟踪


案例分析“新零售”
新零售 – 场景介绍
智能结算,商品结算、餐盘识别、菜品识别、蛋糕识别、蔬果识别
无人货柜,商品识别、人手识别、减重计算、自动结算
无人超市,商品识别、减重计算、自动结算、防盗防损

无人货柜
多角度摄像头
使用快速的低精度模型
重量感应器
RK3399Pro + 多个RK1808


模型选择



模型选择的考量
精度,模型自身精度、同模型不同主干网络的精度;输入输出大小、类别数量的影响
速度,一般来说除去模型设计问题,速度越快精度就会越低;输入输出大小、类别数量的影响
训练难度,不同模型训练起来难度也不一样,并非适合项目
转换效果,转换rknn、量化前后评估

数据采集


工程手段提高精度

人工智能模型精度,现有人工智能技术条件下,已经能将计算机视觉识别的准确度提高到一个很高的水平,但不可能达到100%准确
增加重量数据参考,获取电子称数据,防止商品漏检,能够在一定条件下极大提高精度
物理手段:多摄像头多角度识别、补光灯,通过安装在不同角度的摄像头,在不同角度进行识别。防止遮挡、反光、曝光、白平衡等影响
软件技术手段,例如:图像金字塔输入,同一张图缩放多种倍率传入模型,进行检测,取综合检测结果








本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

xsky

中级会员

积分
388
发表于 2020-7-15 10:44:41 | 显示全部楼层
模型保护,这个有没有文档?
回复

使用道具 举报

hisping

管理员

积分
611
 楼主| 发表于 2020-7-16 16:31:09 | 显示全部楼层
回复

使用道具 举报

HXB28986628

注册会员

积分
77
发表于 2021-5-14 13:52:25 | 显示全部楼层
如何将自己的算法移植进去呢?
回复

使用道具 举报

yunhaiguozi

新手上路

积分
46
发表于 2021-9-8 14:46:26 | 显示全部楼层
hisping 发表于 2020-7-16 16:31
参考wiki  http://t.rock-chips.com/wiki.php?mod=view&id=117

链接失效了
回复

使用道具 举报

yqj520

新手上路

积分
18
发表于 2022-12-5 17:29:07 | 显示全部楼层
你好, 能提供下鸿蒙系统的开发软件吗
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表