基于CV的商品结算自动结账系统

参赛作品演示视频与源码：
链接：https://pan.baidu.com/s/1kmZNk3QwFRr0LLyq0bmBDA
提取码：7y2x

参赛作品介绍：
设计背景：
    计算机视觉技术是计算机模拟人类的视觉过程，具有感受环境的能力和人类视觉功能的技术，综合了人工智能、图像处理、模式识别等技术。近年来计算机视觉发展迅速，由于其速度快、信息量大、功能多的特点，被应用于越来越多的领域当中，而人们对将计算机视觉技术集成到零售行业也产生了浓厚的兴趣，自动结账（Automatic Checkout , ACO）的概念也应运而生。
    自动结账的目的是根据要购买的产品图片自动生成购物清单，在无人管理的情况下可以实现高效的商品的识别与结账功能。此外，除了方便用户结账、缓解高峰排队、提高效率等方面外，对经营者来说，自动结账可以减轻门店包括收银台设备、收银员管理等的运营成本，并且可以利用好结账信息，通过采集信息反哺线上，采集到线下的交易数据，包括订单数据、会员信息、门店信息，弥补线下零售场景数据采集欠缺的问题，同时对线上的APP推广，拉新、精准营销、提升日活等，都有帮助。

实现功能：
    利用PyTorch深度学习框架，用目标检测yolov3算法对商品数据集进行训练，输出模型，再对商品进行实时识别并最终实现自动结账功能。
数据集：

    数据集参考了文献 RPC: A Large-Scale Retail ProductCheckout Dataset [2]。这是就产品图像数量和类别而言，迄今为止最大的数据集，包括受控环境中拍摄的单产品图像和由结帐系统拍摄的多产品图像，也为结帐图像提供了不同级别的注释。但由于数据集过于庞大，硬件无法支持，且效率与实现效果不尽如人意，所以我们将200多种商品的50000多张图片筛选到12种商品和1000多张图片，并根据实际情况，我们也拍摄了一些相关的商品图加入数据集中进行训练，使用LabelImg进行标记。

神经网络训练结果：


实现情况展示：



后期完善目标：

   1、我们在进行测试的时候发现，模型对于多物品的识别存在一些困难，轻则会出现如上展示的框画错的情况，重则会导致无法识别商品种类。分析后，可能存在过拟合的情况，模型训练还存在一些问题；   

    2、受限于我们拥有的设备的算力，我们对训练集进行了大幅度的削减，最终在能够接受的时间内完成了神经网络的训练。可以尝试通过云计算的方式提升算力，争取训练出能识别更多种类商品的神经网络；  

    3、目前我们的项目基于的是单品图进行网络的训练，之后可以尝试编写一个图像合成的算法，并学习如何使用图像渲染的技术，制作较为逼真的合成结算图用于训练我们的神经网络，争取提升它的识别准确性；

    4、我们的项目最终希望实现在现实场景中的应用，当前的系统不是一个非常完善的系统，我们还可以在建立APP、优化UI界面等方面对系统进行优化；

    5、在实际应用时，改进实时识别的摄像系统，采用可以固定的云台等等设备，搭建一个可以移动、比较稳定的检测环境。