Toybrick

基于CV的商品结算自动结账系统

折虬

新手上路

积分
15
发表于 2021-7-3 12:26:59    查看: 6799|回复: 0 | [复制链接]    打印 | 显示全部楼层
参赛作品演示视频与源码:
链接:https://pan.baidu.com/s/1kmZNk3QwFRr0LLyq0bmBDA
提取码:7y2x

参赛作品介绍:
设计背景:
    计算机视觉技术是计算机模拟人类的视觉过程,具有感受环境的能力和人类视觉功能的技术,综合了人工智能、图像处理、模式识别等技术。近年来计算机视觉发展迅速,由于其速度快、信息量大、功能多的特点,被应用于越来越多的领域当中,而人们对将计算机视觉技术集成到零售行业也产生了浓厚的兴趣,自动结账(Automatic Checkout , ACO)的概念也应运而生。
    自动结账的目的是根据要购买的产品图片自动生成购物清单,在无人管理的情况下可以实现高效的商品的识别与结账功能。此外,除了方便用户结账、缓解高峰排队、提高效率等方面外,对经营者来说,自动结账可以减轻门店包括收银台设备、收银员管理等的运营成本,并且可以利用好结账信息,通过采集信息反哺线上,采集到线下的交易数据,包括订单数据、会员信息、门店信息,弥补线下零售场景数据采集欠缺的问题,同时对线上的APP推广,拉新、精准营销、提升日活等,都有帮助。

实现功能:
    利用PyTorch深度学习框架,用目标检测yolov3算法对商品数据集进行训练,输出模型,再对商品进行实时识别并最终实现自动结账功能。
数据集:
    数据集参考了文献 RPC: A Large-Scale Retail ProductCheckout Dataset [2]。这是就产品图像数量和类别而言,迄今为止最大的数据集,包括受控环境中拍摄的单产品图像和由结帐系统拍摄的多产品图像,也为结帐图像提供了不同级别的注释。但由于数据集过于庞大,硬件无法支持,且效率与实现效果不尽如人意,所以我们将200多种商品的50000多张图片筛选到12种商品和1000多张图片,并根据实际情况,我们也拍摄了一些相关的商品图加入数据集中进行训练,使用LabelImg进行标记。


神经网络训练结果:


实现情况展示:



后期完善目标:
   1、我们在进行测试的时候发现,模型对于多物品的识别存在一些困难,轻则会出现如上展示的框画错的情况,重则会导致无法识别商品种类。分析后,可能存在过拟合的情况,模型训练还存在一些问题;   
    2、受限于我们拥有的设备的算力,我们对训练集进行了大幅度的削减,最终在能够接受的时间内完成了神经网络的训练。可以尝试通过云计算的方式提升算力,争取训练出能识别更多种类商品的神经网络;  
    3、目前我们的项目基于的是单品图进行网络的训练,之后可以尝试编写一个图像合成的算法,并学习如何使用图像渲染的技术,制作较为逼真的合成结算图用于训练我们的神经网络,争取提升它的识别准确性;
    4、我们的项目最终希望实现在现实场景中的应用,当前的系统不是一个非常完善的系统,我们还可以在建立APP、优化UI界面等方面对系统进行优化;
    5、在实际应用时,改进实时识别的摄像系统,采用可以固定的云台等等设备,搭建一个可以移动、比较稳定的检测环境。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表