Toybrick

标题: 人工智能平台项目实战 [打印本页]

作者: hisping    时间: 2020-6-3 14:38
标题: 人工智能平台项目实战
[attach]1157[/attach]



本教程视频直播回看:http://zb.laoyaoba.com/watch/10036538?from=singlemessage



云计算与边缘计算

云计算

端侧仅负责发送输入数据,并接收计算结果
计算资源集中管理和分配,借助服务器的强大性能,可以实现很高的浮点算力和精度水平
部署便捷,云服务器可直接部署训练的模型框架,无需转换和二次开发即可使用
算力成本高,常规神经网络运算使用GPU浮点运算,GPU成本高,功耗大,云端部署服务器的运维成本也很大

流量成本高、延迟大,输入和输出依赖网络传递,视觉识别任务一般输入的图片码流很大,如果是移动设备,没有固定的有线网络,移动流量成本是相当的大的
离线无法工作,云端的人工智能识别高度依赖网络,如果网络离线,所有功能都将无法使用

AI 边缘计算
线下运行、低延迟,不依赖网络,无需和云端通讯,可独立运作

冗余部署,去中心化,单个设备损坏不影响其他设备正常工作

应用更加广泛,相比AI云计算高昂的成本,边缘计算更利于消费电子和移动领域。


瑞芯微AI平台介绍
RK3399Pro/RK1808 with NPU


RK3399Pro & RK1808 运算单元

型号
RK3399Pro
RK1808
支持的库
CPU
A72 * 2 + A53 * 4 (1.8GHz/1.4GHz 64bit)
A35 * 2 (1.2GHz 64bit)
*
GPU
MaliT860 MP4

GLES 3.1/CL 1.2
NPU
1920 INT8 MACs / 192 INT16 MACs / 64 FP16 MACs   
(MAX 800MHz 3Tops)
RKNN
VPU Decoder
4K VP9/4K 10bit H264/H265 60FPS
(1080P30 H264/H265 * 6)
1080P60 H264
MPP
VPU Encoder
1080P30 H264/VP8
1080P30 H264
MPP
RGA
实时图像缩放、旋转、混合、裁剪、格式转换 等等功能
libRGA



人工智能项目流程
前期流程 – 科研过程
[attach]1158[/attach]

后期流程 – 项目过程

[attach]1159[/attach]

瑞芯微边缘AI项目加速

RKNN使用流程

什么是量化

量化就是将浮点转换为定点运算的过程
rknn支持Tensorflow的训练量化,或者训练后由rknn来量化


RKNN混合量化
RKNN允许对模型的每一层设置量化/不量化以及量化参数
(不量化) FP32/FP16,提高精度

(量化)INT16/INT8,提高速度

模型保护
Toybrick 1808计算棒提供全套模型保护方案
让您的模型在计算棒上不用担心被盗走,每颗计算棒上的模型存储秘文均不一样,只有当前计算棒可以使用,拷走无效。加解密过程均运行中TrustZone安全环境中,无法跟踪


案例分析“新零售”
新零售 – 场景介绍
智能结算,商品结算、餐盘识别、菜品识别、蛋糕识别、蔬果识别
无人货柜,商品识别、人手识别、减重计算、自动结算
无人超市,商品识别、减重计算、自动结算、防盗防损

无人货柜
多角度摄像头
使用快速的低精度模型
重量感应器
RK3399Pro + 多个RK1808


模型选择

[attach]1160[/attach]

模型选择的考量
精度,模型自身精度、同模型不同主干网络的精度;输入输出大小、类别数量的影响
速度,一般来说除去模型设计问题,速度越快精度就会越低;输入输出大小、类别数量的影响
训练难度,不同模型训练起来难度也不一样,并非适合项目
转换效果,转换rknn、量化前后评估

数据采集
[attach]1161[/attach]

工程手段提高精度

人工智能模型精度,现有人工智能技术条件下,已经能将计算机视觉识别的准确度提高到一个很高的水平,但不可能达到100%准确
增加重量数据参考,获取电子称数据,防止商品漏检,能够在一定条件下极大提高精度
物理手段:多摄像头多角度识别、补光灯,通过安装在不同角度的摄像头,在不同角度进行识别。防止遮挡、反光、曝光、白平衡等影响
软件技术手段,例如:图像金字塔输入,同一张图缩放多种倍率传入模型,进行检测,取综合检测结果









作者: xsky    时间: 2020-7-15 10:44
模型保护,这个有没有文档?
作者: hisping    时间: 2020-7-16 16:31
xsky 发表于 2020-7-15 10:44
模型保护,这个有没有文档?

参考wiki  https://t.rock-chips.com/wiki.php?filename=%E6%9D%BF%E7%BA%A7%E6%8C%87%E5%8D%97/TB-RK1808S0#hash_9
作者: HXB28986628    时间: 2021-5-14 13:52
如何将自己的算法移植进去呢?
作者: yunhaiguozi    时间: 2021-9-8 14:46
hisping 发表于 2020-7-16 16:31
参考wiki  http://t.rock-chips.com/wiki.php?mod=view&id=117

链接失效了

作者: yqj520    时间: 2022-12-5 17:29
你好, 能提供下鸿蒙系统的开发软件吗




欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3