(12)发明专利申请
(10)申请公布号 CN 110516570 A(43)申请公布日 2019.11.29
(21)申请号 201910755108.4(22)申请日 2019.08.15
(71)申请人 东莞弓叶互联科技有限公司
地址 523808 广东省东莞市松山湖园区研
发五路1号1栋123室、124室、125室、126室、127室、128室(72)发明人 莫卓亚 刘涛 刘元路 (74)专利代理机构 东莞市华南专利商标事务所
有限公司 44215
代理人 卞华欣(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/32(2006.01)G06K 9/34(2006.01)G06K 9/46(2006.01)
权利要求书2页 说明书5页 附图5页
G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)B07C 5/34(2006.01)B07C 5/36(2006.01)
(54)发明名称
一种基于视觉的垃圾分类识别方法和装置(57)摘要
本发明涉及垃圾分类技术领域，尤其是指一种基于视觉的垃圾分类识别方法和装置，通过识别机构采集垃圾的图像信息，然后传输至总控单元，利用总控单元来识别出图像信息内的垃圾并进行分类，最后控制拾取机构拾取垃圾并放入对应类别的位置，从而在减少了人工干预的前提下，实现了自动化识别和分类垃圾的效果，有利于提升垃圾分类的效率。
CN 110516570 ACN 110516570 A
权 利 要 求 书
1/2页
1.一种基于视觉的垃圾分类识别方法，其特征在于：包括以下步骤：a.通过识别机构对待分类垃圾进行拍照获得图像；b.分析图像信息，并获得图像中的待分类垃圾的轮廓，确定待分类垃圾的所属类别以及抓取位置；
c.根据所确定的待分类垃圾的类别和抓取位置，驱动拾取机构抓取待分类垃圾并进行分类。
2.根据权利要求1所述的基于视觉的垃圾分类识别方法，其特征在于：所述识别机构包括高光谱相机，在步骤b中，具体为：
b1.通过高光谱相机采集待分类垃圾的光谱图像集；b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；b3.从图像特征子集合中选取主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；
b4.对轮廓内的主成分图像进行光谱特征识别，判断待分类垃圾的材质类型。3.根据权利要求1或2所述的基于视觉的垃圾分类识别方法，其特征在于：所述识别机构包括2D相机，在步骤b中，包括：
b’.2D相机拍摄待分类垃圾并生成RGB图片；b”.深度神经网络模型检测RGB图片并确立待分类垃圾的材质类型和轮廓；b”’.根据待分类垃圾的轮廓，判断待分类垃圾的轮廓中心和抓取位置。4.根据权利要求3所述的基于视觉的垃圾分类识别方法，其特征在于：在步骤b和步骤c之间，还包括：结合光谱分析和RGB图片分析的结果，对待分类垃圾的轮廓和材质类型进行综合判断。
5.根据权利要求1任意一项所述的基于视觉的垃圾分类识别方法，其特征在于：在步骤b和步骤c之间，还包括：
c1.通过3D相机采集待分类垃圾的点云数据；c2.通过识别机构获取待分类垃圾的轮廓后，于点云数据中提取轮廓范围内的点云；c3.分析轮廓范围内的点云并判断最优空间抓取点；c4.把最优空间抓取点传输至拾取机构。
6.根据权利要求3所述的基于视觉的垃圾分类识别方法，其特征在于：在步骤b和步骤c之间，还包括：
bc1.通过3D相机获取待分类垃圾的点云数据；bc2.结合RGB图片与点云数据，获得待分类垃圾的RGBD信息；bc3.根据新的RGBD信息来识别待分类垃圾的材质类型和轮廓，并根据判断结果来控制拾取机构进行拾取。
7.一种垃圾分类装置，其特征在于：包括总控单元，所述总控单元设置有深度神经网络模型；传输机构，用于传输待分类垃圾；沿着所述传输机构的传输方向，依次设置有：识别机构，用于获取待分类垃圾的图像信息，并把图像信息传输至所述总控单元；拾取机构，用于根据总控单元的判断结果，拾取待分类垃圾并进行分类。
2
CN 110516570 A
权 利 要 求 书
2/2页
8.根据权利要求7所述的垃圾分类装置，其特征在于：还包括位于所述识别机构和所述拾取机构之间的3D相机，所述3D用于获取待分类垃圾的点云数据，并传输至所述总控单元。
9.根据权利要求7所述的垃圾分类装置，其特征在于：所述拾取机构包括沿着所述传输机构的传输方向依次设置的至少一个用于拾取所述传输机构所承载的垃圾的拾取机器人，拾取机器人的两侧分别设置有至少一个料框，料框用于承载分选出来的垃圾。
10.根据权利要求9所述的垃圾分类装置，其特征在于：拾取机器人包括安装架、拾取组件、用于驱动所述拾取组件升降的升降机构、用于驱动所述升降机构沿着X方向移动的第一平移机构以及用于驱动所述升降机构沿着Y方向移动的第二平移机构，所述安装架位于所述传输机构的上方，所述第一平移机构和所述第二平移机构均装设于所述安装架，所述拾取组件装设于所述升降机构。
3
CN 110516570 A
说 明 书
一种基于视觉的垃圾分类识别方法和装置
1/5页
技术领域
[0001]本发明涉及垃圾分类技术领域，尤其是指一种基于视觉的垃圾分类识别方法和装置。
背景技术
[0002]日常生活中产生的垃圾至少分为可回收垃圾和不可回收垃圾，为了提升资源的利用率，目前很多地区已经开始实施垃圾分类，通过垃圾分类来把垃圾按类别进行分放，从而便于回收或者处理。传统的垃圾分类是通过人工的方式来实现的，这种方式具有效率低、工作环境差以及对人体产生不良影响等等后果，因此随着科技的发展，目前已经出现了采用机械实现垃圾分类的方法，如专利号为“201910287785.8”的发明申请专利，其公开了一种通过人工进行识别，然后通过机械手抓取和分类垃圾的技术方案，即通过相机拍摄垃圾的图片后发给工作人员识别，然后工作人员把垃圾进行类别选定以后，由机械手进行垃圾的抓取和分类。[0003]但是，这个方案依然存在一下技术问题：需要人工参与，因而对于垃圾分类的效率还没有达到最高。
发明内容
[0004]本发明针对现有技术的问题提供一种基于视觉的垃圾分类识别方法和装置，能够进一步减少人工的干预，从而提升垃圾分类的效率。[0005]为了解决上述技术问题，本发明采用如下技术方案：[0006]本发明提供的一种基于视觉的垃圾分类识别方法，包括以下步骤：[0007]a.通过识别机构对待分类垃圾进行拍照获得图像；[0008]b.分析图像信息，并获得图像中的待分类垃圾的轮廓，确定待分类垃圾的所属类别以及抓取位置；
[0009]c.根据所确定的待分类垃圾的类别和抓取位置，驱动拾取机构抓取待分类垃圾并进行分类。
[0010]进一步的，所述识别机构包括高光谱相机，在步骤b中，具体为：[0011]b1.通过高光谱相机采集待分类垃圾的光谱图像集；[0012]b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；[0013]b3.从图像特征子集合中选取主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；[0014]b4.对轮廓内的主成分图像进行光谱特征识别，判断待分类垃圾的材质类型。[0015]更进一步的，所述识别机构包括2D相机，在步骤b中，包括：[0016]b’.2D相机拍摄待分类垃圾并生成RGB图片；[0017]b”.深度神经网络模型检测RGB图片并确立待分类垃圾的材质类型和轮廓；[0018]b”’.根据待分类的垃圾的轮廓，判断待分类垃圾的轮廓中心和抓取位置。
4
CN 110516570 A[0019]
说 明 书
2/5页
优选的，在步骤b和步骤c之间，还包括：结合光谱分析和RGB图片分析的结果，对待
分类垃圾的轮廓和材质类型进行综合判断。[0020]优选的，在步骤b和步骤c之间，还包括：
[0021]c1.通过3D相机采集待分类垃圾的点云数据；[0022]c2.通过识别机构获取待分类垃圾的轮廓后，于点云数据中提取轮廓范围内的点云；
[0023]c3.分析轮廓范围内的点云并判断最优空间抓取点；[0024]c4.把最优空间抓取点传输至拾取机构。[0025]优选的，在步骤b和步骤c之间，还包括：[0026]bc1.通过3D相机获取待分类垃圾的点云数据；[0027]bc2.结合RGB图片与点云数据，获得待分类垃圾的RGBD信息；[0028]bc3.根据新的RGBD信息来识别待分类垃圾的材质类型和轮廓，并根据判断结果来控制拾取机构进行拾取。
[0029]本发明还提供了一种垃圾分类装置，包括[0030]总控单元，所述总控单元设置有深度神经网络模型；[0031]传输机构，用于传输待分类垃圾；[0032]沿着所述传输机构的传输方向，依次设置有[0033]识别机构，用于获取待分类垃圾的图像信息，并把图像信息传输至所述总控单元；[0034]拾取机构，用于根据总控单元的判断结果，拾取待分类垃圾并进行分类。[0035]进一步的，还包括位于所述识别机构和所述拾取机构之间的3D相机，所述3D用于获取待分类垃圾的点云数据，并传输至所述总控单元。[0036]进一步的，所述拾取机构包括沿着所述传输机构的传输方向依次设置的至少一个用于拾取所述传输机构所承载的垃圾的拾取机器人，拾取机器人的两侧分别设置有至少一个料框，料框用于承载分选出来的垃圾。[0037]更进一步的，拾取机器人包括安装架、拾取组件、用于驱动所述拾取组件升降的升降机构、用于驱动所述升降机构沿着X方向移动的第一平移机构以及用于驱动所述升降机构沿着Y方向移动的第二平移机构，所述安装架位于所述传输机构的上方，所述第一平移机构和所述第二平移机构均装设于所述安装架，所述拾取组件装设于所述升降机构。[0038]本发明的有益效果：本发明通过引入深度神经网络模型来对机构所拍摄的图片中的待分类垃圾进行识别，然后驱动拾取机构抓取该待分类垃圾进行分类，从而在减少了人工干预的前提下实现了自动识别并分类垃圾的效果，提升了垃圾分类的效率。附图说明
[0039]图1为实施例1的工作流程图。
[0040]图2为实施例1的高光谱相机的工作流程图。[0041]图3为实施例1的2D相机的工作流程图。
[0042]图4为实施例1的高光谱相机和2D相机配合的工作流程图。[0043]图5为实施例2的示意图。
[0044]图6为实施例2中拾取机构的俯视图。
5
CN 110516570 A[0045]
说 明 书
3/5页
附图标记：1—传输机构，2—识别机构，3—拾取机构，4—3D相机，31—拾取机器
人，32—料框，33—安装架，34—拾取组件，35—升降机构，36—第一平移机构，37—第二平移机构。
具体实施方式
[0046]为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。以下结合附图对本发明进行详细的描述。[0047]实施例1
[0048]如图1至图4所示，本实施例提供了一种基于视觉的垃圾分类识别方法，包括以下步骤：
[0049]a.通过识别机构2对待分类垃圾进行拍照获得图像；[0050]b.分析图像信息，并获得图像信息中的待分类垃圾的轮廓，然后确定待分类垃圾的所属类别；
[0051]c.根据所确定的待分类垃圾的所属类别，驱动拾取机构3抓取待分类垃圾并进行分类。
[0052]本发明通过一个总控单元对识别机构2所拍摄的图像信息中的待分类垃圾进行识别，然后驱动拾取机构3抓取该待分类垃圾进行分类，从而在减少了人工干预的前提下实现了自动识别并分类垃圾的效果，提升了垃圾分类的效率。同时，若本发明遇上无法准确识别图像信息上的垃圾的情况时，总控单元会把该图像信息上传时云端，并把垃圾归入“未识别”的一类中；工作人员定期自云端下载图像信息并进行分类，然后对该图像信息和分类结果进行数据上的更新，从而不断地让增加云端数据库中垃圾的图像信息以及所属类别，使得本发明对于垃圾的识别率越来越高。[0053]在本实施例中，所述识别机构2可为高光谱相机，因此步骤b具体为：[0054]b1.通过高光谱相机采集待分类垃圾的光谱图像集；[0055]b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；[0056]b3.从图像特征子集合中选取合适的主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；同时对轮廓内的主成分图像进行光谱特征识别，判断材质类型。具体的，对于成分图像的算法，包括但不仅限于神经网络、随机森林、极限学习机以及K均值聚类等。
[0057]即本发明通过高光谱相机来拍摄待分类垃圾来获得该待分类垃圾的高光谱图集，然后由总控单元对该高光谱图集进行自动分析和判断垃圾类型，从而实现了减少人工干预的垃圾识别和分类效果。该方式对于垃圾的识别率高，存在无法判断的概率较低；若依然出现无法识别的垃圾，则依然可上传至云端由工作人员进行分类。[0058]此外，本发明除了采用高光谱相机作为识别机构2以外，还可以采用其他的相机，例如作为本实施例的另一实施方式，所述识别机构2还可以为2D相机，因此步骤b包括：[0059]b’.2D相机拍摄待分类垃圾并生成RGB图片；[0060]b”.深度神经网络模型检测RGB图片并确立待分类垃圾的材质类型和轮廓；[0061]b”’.根据待分类垃圾的轮廓，判断待分类垃圾的轮廓中心和抓取位置，从而便于驱动拾取机构3进行垃圾的拾取以及分类。
6
CN 110516570 A[0062]
说 明 书
4/5页
优选的，为了进一步提升垃圾识别的准确度，作为本实施例的又一实施方式，本发
明可以采用2D相机和高光谱相机两者配合以实现垃圾的识别，即同时通过2D相机和高光谱相机分别对垃圾拍照，同时通过上述的步骤b1-b4和步骤b’-b”’来对垃圾的材质以及轮廓中心进行判断；在分别判断完成以后，结合高光谱相机的判断结果和2D相机(即深度神经网络模型)的判断结果，识别出待分类垃圾的所属类别以及抓取中心，并驱动拾取机构3拾取待分类垃圾进行分类，从而保证了垃圾分类结果的精度和准确性。当然，这种方式虽然成本更高，但是对于垃圾分类的精确度更高，适用于需要把垃圾进行多类别细分的场合之中。[0063]优选的，由于高光谱相机和2D相机均只能够判断图片中待分类垃圾的平面轮廓，这对于高度不规则的垃圾来说，轮廓中心不一定是最佳抓取点，即拾取机构3还是会存在拾取起垃圾后垃圾掉落的问题。为了解决这种问题，在本实施例中的步骤b和步骤c之间，还包括：
[0064]c1.通过3D相机4采集待分类垃圾的点云数据；[0065]c2.通过识别机构2获取待分类垃圾的轮廓后，于点云数据中提取轮廓范围内的点云；
[0066]c3.分析轮廓范围内的点云并判断最优抓取点，具体为在高光谱相机拍摄的高光谱图集或者2D相机拍摄的RGB图片中，把每一个平面坐标(x，y)所对应的点云数据均表示出来，从而汇集成一个立体图形，以此来判断最佳的抓取位置；[0067]c4.把最优抓取点传输至拾取机构3，保证了拾取机构3能够稳定地进行垃圾拾取。[0068]优选的，在步骤b和步骤c之间，还包括：[0069]bc1.通过3D相机4获取待分类垃圾的点云数据；[0070]bc2.结合RGB图片与点云数据，获得待分类垃圾的RGBD信息；[0071]bc3.利用RGBD信息对深度神经网络模型进行训练；[0072]bc4.根据新的RGBD模型来识别待分类垃圾的材质类型和轮廓，并根据判断结果来控制拾取机构3进行拾取。由于在模型中加入了高度信息，因此能够有效提高垃圾黏连或重叠时的识别准确率，从而保证遇上黏连垃圾或者重叠垃圾时，拾取机构3能够分开多次进行拾取而不是只拾取一次以后把剩余的垃圾留在传输机构1上。[0073]实施例2
[0074]如图5和图6所示，本实施例提供了一种垃圾分类装置，该装置应用了实施例1所述的方法，具体结构包括[0075]总控单元(图中未显示)，所述总控单元设置有深度神经网络模型；[0076]传输机构1，用于传输待分类垃圾，该传输机构1优选为传输带；[0077]沿着所述传输机构1的传输方向，依次设置有[0078]识别机构2，用于获取待分类垃圾的图像信息，并把图像信息传输至所述总控单元；
[0079]拾取机构3，用于根据总控单元的判断结果，拾取待分类垃圾并进行分类。[0080]即装置是通过传输机构1通过传输带把垃圾传输至识别机构2进行拍照，识别机构2拍摄的图片传输至总控单元，由总控单元的深度神经网络模型进行深度学习识别，从而判断出垃圾的类型并控制拾取机构3拾取垃圾，与此同时传输机构1会把垃圾传输至拾取机构3，由拾取机构3进行垃圾拾取和分类，达到了自动化实现垃圾识别和分类的效果。具体的，
7
CN 110516570 A
说 明 书
5/5页
该识别机构2为高光谱相机或者2D相机，又或者为高光谱相机和2D相机组合而成，识别机构2的类型根据实际使用情况而进行选定。[0081]在本实施例中，本发明还包括位于所述识别机构2和所述拾取机构3之间的3D相机4，所述3D用于获取待分类垃圾的点云数据，并传输至所述总控单元；[0082]所述总控单元还内置有光谱分析算法和3D点云识别算法，即总控单元结合所述识别机构2的判断结果和所述3D相机4的点云信息，确定待分类垃圾的轮廓、类型以及抓取中心，然后控制所述拾取机构3拾取待分类垃圾并进行分类。[0083]在本实施例中，所述拾取机构3包括沿着所述传输机构1的传输方向依次设置的至少一个用于拾取所述传输机构1所承载的垃圾的拾取机器人31，拾取机器人31的两侧分别设置有至少一个料框32，料框32用于承载分选出来的垃圾。当然，该拾取机器人31的数量可为两个以上，即通过设置有至少两个拾取机器人31，能够保证在一个拾取机器人31无法跟上识别节奏时，通过另一个拾取机器人31来把漏掉的垃圾进行拾取分类，避免有垃圾进行遗漏的现象发生。[0084]优选的，拾取机器人31包括安装架33、拾取组件34、用于驱动所述拾取组件34升降的升降机构35、用于驱动所述升降机构35沿着X方向移动的第一平移机构36以及用于驱动所述升降机构35沿着Y方向移动的第二平移机构37，所述安装架33位于所述传输机构1的上方，所述第一平移机构36和所述第二平移机构37均装设于所述安装架33，所述拾取组件34装设于所述升降机构35。该拾取组件34优选为夹爪，夹爪包括两个夹持部，夹持部的形状可与铲斗的结构相似。通过第一平移机构36、第二平移机构37和升降机构35三者配合，实现对于拾取组件34的移动控制，让拾取组件34能够顺利而高效地进行垃圾拾取，然后把垃圾投入到对应的料框32之内。[0085]以上所述，仅是本发明较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明以较佳实施例公开如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当利用上述揭示的技术内容作出些许变更或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明技术是指对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。
8
CN 110516570 A
说 明 书 附 图
1/5页
图1
9
CN 110516570 A
说 明 书 附 图
2/5页
图2
10
CN 110516570 A
说 明 书 附 图
3/5页
图3
11
CN 110516570 A
说 明 书 附 图
4/5页
图4
12
CN 110516570 A
说 明 书 附 图
5/5页
图5
图6
13
因篇幅问题不能全部显示，请点此查看更多更全内容