(12)发明专利申请
(10)申请公布号 CN 111539265 A(43)申请公布日 2020.08.14
(21)申请号 202010254595.9(22)申请日 2020.04.02
(71)申请人 申龙电梯股份有限公司
地址 215212 江苏省苏州市吴江区黎里镇
莘塔申龙路55号
申请人 江阴市智行工控科技有限公司
东南大学(72)发明人 牛丹 梁莎莎 丁力 陈夕松
陆一洲 朱孝慈 岳友 (74)专利代理机构 苏州创元专利商标事务所有
限公司 32103
代理人 范晴 范成骥(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/40(2006.01)
权利要求书2页 说明书5页 附图3页
G06K 9/62(2006.01)
CN 111539265 A(54)发明名称
一种电梯轿厢内异常行为检测方法(57)摘要
本发明公开了一种电梯轿厢内异常行为检测方法，包括：对电梯监控视频的原始图像进行预处理操作；对预处理后的视频进行筛选，采用光流法分割出存在人、宠物及电动车出现的视频段；将筛选出的视频段输入训练好的yolov3模型进行识别，得到视频中的人数和宠物数，并判断是否出现电动车；计算筛选出的视频段中每一帧的运动历史图，根据运动历史图计算出每一帧图像的能量值；根据人数和宠物数，自适应确定能量阈值；结合图像的能量值和确定的自适应能量阈值，以及确定出的是否存在电动车，判断视频段中是否出现异常行为。筛选出有目标出现的视频段再进行处理，节省服务器的计算力消耗，降低对服务器数目和配置的要求，同时也降低运营成本。
CN 111539265 A
权 利 要 求 书
1/2页
1.一种电梯轿厢内异常行为检测方法，其特征在于，包括：步骤1，对电梯监控视频的原始图像进行预处理操作，将彩色的原始图像转换为灰度图像，再将灰度图像进行高斯模糊处理和滤波去噪，得到预处理后的图像；
步骤2，对预处理后的视频进行筛选，采用光流法分割出存在人、宠物及电动车出现的片段，作为筛选出的视频段；
步骤3，将筛选出的视频段输入训练好的yolov3模型进行识别，得到视频中的人数和宠物数，并判断是否出现电动车；
步骤4，计算筛选出的视频段中每一帧的运动历史图，根据运动历史图计算出每一帧图像的能量值；
步骤5，根据人数和宠物数，自适应确定能量阈值；步骤6，结合图像的能量值和确定的自适应能量阈值，以及确定出的是否存在电动车，判断视频段中是否出现异常行为。
2.根据权利要求1所述的电梯轿厢内异常行为检测方法，其特征在于，步骤2中的所述采用光流法分割出存在人、宠物及电动车出现的片段，包括：
步骤21，由光流约束方程求出亮度梯度方向上的光流速率V(x,y)，x,y为光流约束方程中像素点的坐标；
步骤22，根据电梯轿厢内的场景设置先验阈值L；步骤23，筛选出亮度梯度方向上光流速率大于先验阈值的片段作为有目标出现的视频段。
3.根据权利要求2所述的电梯轿厢内异常行为检测方法，其特征在于，步骤4中的所述计算出每一帧图像的能量值，包括：
步骤41，选择帧差法作为更新函数；步骤42，设置持续时间τ、衰退参数δ和人为阈值ξ；步骤43，计算每一帧图像的能量值时，使用计算图像熵的方法，通过计算每一帧图像的运动历史图的图像熵，得到对应图像的总能量值Tt。
4.根据权利要求3所述的电梯轿厢内异常行为检测方法，其特征在于，步骤5中的所述根据人数和宠物数，自适应确定能量阈值，包括：
步骤51，以人数、宠物数、自适应能量阈值三个量作为特征值进行SVM分类得到自适应能量阈值的初始值T0；
步骤52，自适应调整阈值，自适应能量阈值T与阈值初始值T0、人数n1和宠物数n2的关系为：
其中，a,b为自适应系数，w为电梯轿厢核载人数。
5.根据权利要求4所述的电梯轿厢内异常行为检测方法，其特征在于，步骤6中的所述判断视频段中是否出现异常行为，包括：
步骤61，根据步骤3识别出的对应帧是否出现电动车判断是否出现异常行为，若出现电
2
CN 111539265 A
权 利 要 求 书
2/2页
动车，则对应视频段确定为出现异常行为，若未出现电动车，则执行步骤62；
步骤62，根据步骤3得到的对应帧的人数判断对应视频是单人视频还是多人视频，若为单人视频，则执行步骤63，若为多人视频，则执行步骤64；
步骤63，直接判断画面总能量值Tt是否超过步骤5确定的自适应能量阈值T，若超过，则对应视频确定为出现异常行为；
步骤64，计算图像中每人的平均能量值Ts，若每人的平均能量值超过步骤5确定的自适应能量阈值T，则对应视频确定为出现异常行为。
3
CN 111539265 A
说 明 书
一种电梯轿厢内异常行为检测方法
1/5页
技术领域
[0001]本发明属于图像处理技术领域，涉及一种电梯轿厢内异常行为检测方法。背景技术
[0002]电梯轿厢内异常或不文明行为给电梯的正常运行以及电梯乘客的安全带来了很大的隐患，目前多使用人工24小时值守的方式进行视频监控或者简单地基于SVM、yolo等算法对电梯轿厢内的视频目标进行分类监测。但日常生活中，电梯轿厢监控视频中都存在有大量间断时段无人或宠物等目标的出现，使用yolo等深度学习算法长时间无区别地对有无目标的轿厢视频都进行视频大数据挖掘分析，对本地服务器或者云端服务器计算力的配置要求或分配使用都是一个很大的成本负担，特别是在实际应用场景中，单单一个小型社区就会存在数十台监控视频同时需要服务器进行视频大数据挖掘分析进行监控时，基于yolo长时无区别分析的方法对服务器端的数量要求以及单台服务器计算力的配置要求都会很高，同时长时间运行所产生的耗电及维保等运营成本也会很高。发明内容
[0003]本发明目的是：提供一种节省服务器的计算力消耗，降低耗电等运营成本的电梯轿厢内异常行为检测方法。
[0004]本发明的技术方案是：一种电梯轿厢内异常行为检测方法，包括：步骤1，对电梯监控视频的原始图像进行预处理操作，将彩色的原始图像转换为灰度图像，再将灰度图像进行高斯模糊处理和滤波去噪，得到预处理后的图像；[0005]步骤2，对预处理后的视频进行筛选，采用光流法分割出存在人、宠物及电动车出现的片段，作为筛选出的视频段；[0006]步骤3，将筛选出的视频段输入训练好的yolov3模型进行识别，得到视频中的人数和宠物数，并判断是否出现电动车；[0007]步骤4，计算筛选出的视频段中每一帧的运动历史图，根据运动历史图计算出每一帧图像的能量值；[0008]步骤5，根据人数和宠物数，自适应确定能量阈值；[0009]步骤6，结合图像的能量值和确定的自适应能量阈值，以及确定出的是否存在电动车，判断视频段中是否出现异常行为。[0010]其进一步的技术方案是：步骤2中的所述采用光流法分割出存在人、宠物及电动车出现的片段，包括：[0011]步骤21，由光流约束方程求出亮度梯度方向上的光流速率V(x,y)，x,y为光流约束方程中像素点的坐标；[0012]步骤22，根据电梯轿厢内的场景设置先验阈值L；[0013]步骤23，筛选出亮度梯度方向上光流速率大于先验阈值的片段作为有目标出现的视频段。
4
CN 111539265 A[0014]
说 明 书
2/5页
其进一步的技术方案是：步骤4中的所述计算出每一帧图像的能量值，包括：
[0015]步骤41，选择帧差法作为更新函数；[0016]步骤42，设置持续时间τ、衰退参数δ和人为阈值ξ；[0017]步骤43，计算每一帧图像的能量值时，使用计算图像熵的方法，通过计算每一帧图像的运动历史图的图像熵，得到对应图像的总能量值Tt。[0018]其进一步的技术方案是：步骤5中的所述根据人数和宠物数，自适应确定能量阈值，包括：
[0019]步骤51，以人数、宠物数、自适应能量阈值三个量作为特征值进行SVM分类得到自适应能量阈值的初始值T0；[0020]步骤52，自适应调整阈值，自适应能量阈值T与阈值初始值T0、人数n1和宠物数n2的关系为：
[0021]
其中，a,b为自适应系数，w为电梯轿厢核载人数。
[0023]其进一步的技术方案是：步骤6中的所述判断视频段中是否出现异常行为，包括：[0024]步骤61，根据步骤3识别出的对应帧是否出现电动车判断是否出现异常行为，若出现电动车，则对应视频段确定为出现异常行为，若未出现电动车，则执行步骤62；[0025]步骤62，根据步骤3得到的对应帧的人数判断对应视频是单人视频还是多人视频，若为单人视频，则执行步骤63，若为多人视频，则执行步骤64；[0026]步骤63，直接判断画面总能量值Tt是否超过步骤5确定的自适应能量阈值T，若超过，则对应视频确定为出现异常行为；[0027]步骤64，计算图像中每人的平均能量值Ts，若每人的平均能量值超过步骤5确定的自适应能量阈值T，则对应视频确定为出现异常行为。[0028]本发明的优点是：[0029]通过融合yolo3、光流法和自适应能量阈值，在使用yolo3深度学习算法检测前结合使用光流法对视频进行预处理，筛选出有目标出现的视频段再进行处理，提高了yolo3使用的针对性，从而节省服务器的计算力消耗，进而大幅降低对服务器数目和配置的要求，同时也降低电力、维保等运营成本；根据电梯内人数变化以及其他影响因素来自适应确定能量阈值，可以减少误判率，提高异常行为的判断准确性。附图说明
[0030]下面结合附图及实施例对本发明作进一步描述：
[0031]图1是本申请提供的一种电梯轿厢内异常行为检测方法的流程图；[0032]图2是本申请提供的一种视频段的场景示意图；[0033]图3是本申请提供的另一种视频段的场景示意图。
具体实施方式
[0034]实施例：本申请提供了一种电梯轿厢内异常行为检测方法，如图1所示，该方法可
5
[0022]
CN 111539265 A
说 明 书
3/5页
以包括以下步骤：[0035]步骤1，对电梯监控视频的原始图像进行预处理操作，将彩色的原始图像转换为灰度图像，再将灰度图像进行高斯模糊处理和滤波去噪，得到预处理后的图像。[0036]步骤2，对预处理后的视频进行筛选，采用光流法分割出存在人、宠物及电动车出现的片段，作为筛选出的视频段。[0037]结合参考图2和图3，示例性的，筛选出视频段N1和视频段N2。[0038]可选的，步骤2中的采用光流法分割出存在人、宠物及电动车出现的片段，包括：[0039]步骤21，由光流约束方程求出亮度梯度方向上的光流速率V(x,y)，x,y为光流约束方程中像素点的坐标。[0040]其中，光流约束方程为：E(x，y，t)＝E(x+dx，y+dt)，由此求出亮度梯度方向上的光流速率为：V(x，y)＝abs(Et/sqrt(Ex*Ex+Ey*Ey))。[0041]步骤22，根据电梯轿厢内的场景设置先验阈值L。[0042]示例性的，设置先验阈值L＝4.0。[0043]步骤23，筛选出亮度梯度方向上光流速率大于先验阈值的片段作为有目标出现的视频段，即筛选出V(x,y)＞L的片段作为有目标出现的视频段。[0044]步骤3，将步骤2筛选出的视频段输入训练好的yolov3模型进行识别，得到视频中的人数和宠物数，并判断是否出现电动车。
[0045]将视频段N1和视频段N2输入训练好的yolo3模型进行识别，得到视频段N1中的人数为1，并判断出现电动车，视频段N2中的人数n1为2，宠物数n2为1。结合参考图2和图3，其中单实线框识别的是人，双实线框识别的是电动车，虚线框识别的是宠物。[0046]步骤4，计算步骤2筛选出的视频段中每一帧的运动历史图，根据运动历史图计算出每一帧图像的能量值。
[0047]运动历史图是一种基于视觉的模板方法，通过计算时间段内同一位置的像素变化，将目标运动情况以图像亮度的形式表现出来。每个像素的灰度值表示在一组视频序列中该位置像素的最近的运动情况，最后运动的时刻越接近当前帧，该像素的灰度值越高，因此，运动历史图可以表征人体在一个动作过程中最近的动作情况。[0048]可选的，步骤4中的计算出每一帧图像的能量值，包括：[0049]步骤41，选择帧差法作为更新函数。[0050]步骤42，设置持续时间τ、衰退参数δ和人为阈值ξ。[0051]示例性的，若摄像模块的拍摄帧率为10帧/秒，则持续时间τ的取值为10，δ的取值为1，ξ的取值为255/12。[0052]步骤43，计算每一帧图像的能量值时，使用计算图像熵的方法，通过计算每一帧图像的运动历史图的图像熵，得到对应图像的总能量值Tt。[0053]图像熵是一种图像特征的统计形式，反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，图像的二维熵与一维熵相比，增添了灰度的空间特征，而在图像处理中，涉及最多的空间特征就是像素和邻域像素之间的关系，二维熵在一维的基础上引入图像的邻域灰度均值用作灰度分布的空间特征量。[0054]以低n帧图像为例，如图3所示，计算该帧图像总能量值Tt为2.324。[0055]步骤5，根据步骤3得到的人数n1和宠物数n2，自适应确定能量阈值。
6
CN 111539265 A[0056]
说 明 书
4/5页
可选的，步骤5中的根据人数和宠物数，自适应确定能量阈值，包括：
[0057]步骤51，以人数、宠物数、自适应能量阈值三个量作为特征值进行SVM分类得到自适应能量阈值的初始值T0。[0058]以图3为例，若电梯核载人数为12，电梯内人数n1为2，宠物数n2为1，则T0＝1.35。[0059]步骤52，自适应调整阈值，自适应能量阈值T与阈值初始值T0、人数n1和宠物数n2的关系为：
[0060]
其中，a,b为自适应系数，w为电梯轿厢核载人数，示例性的，图3中T0＝1.35，w＝
12，n1＝2，n2＝1，此时取a＝0.7，b＝0.2，则阈值T＝1.1554。[0062]步骤6，结合步骤4计算出的图像的能量值和步骤5确定的自适应能量阈值，以及确定出的是否存在电动车，判断视频段中是否出现异常行为。[0063]可选的，步骤6中的判断视频段中是否出现异常行为，包括：[0064]步骤61，根据步骤3识别出的对应帧是否出现电动车判断是否出现异常行为，若出现电动车，则对应视频段确定为出现异常行为，若未出现电动车，则执行步骤62。[0065]比如图2中的视频段N1出现了电动车，则直接判断视频段N1出现了异常，图3中的视频段N2未出现电动车，则执行步骤62。[0066]步骤62，根据步骤3得到的对应帧的人数n1判断对应视频是单人视频还是多人视频，若为单人视频，则执行步骤63，若为多人视频，则执行步骤64。[0067]比如图3中的视频段N2中的人数n1为2，则判定视频段N2为多人视频，则执行步骤64。
[0068]步骤63，直接判断画面总能量值Tt是否超过步骤5确定的自适应能量阈值T，若超过，则对应视频确定为出现异常行为。[0069]步骤64，计算图像中每人的平均能量值Ts，若每人的平均能量值超过步骤5确定的自适应能量阈值T，则对应视频确定为出现异常行为。[0070]示例性的，如图3所示，人数n1为2，该帧图像总能量值Tt为2.324，因此Ts为1.162。当前平均能量值Ts超过了步骤5确定的自适应能量阈值T，因此判定视频段N2出现了异常行为，相关报警装置给出报警信号。
[0071]将深度学习与人体行为识别结合，首先使用光流法结合先验阈值对电梯内监控视频进行筛选，分割出有人、宠物及电动车出现的视频片段，然后再进行后续yolo3的人数识别及宠物电动车的识别工作，节省对服务器的计算资源的占用，降低运行成本。使用运动历史图与图像熵相结合的方式对筛选出的每一帧画面能量值进行计算，并通过将其与适合于电梯轿厢这一场景的自适应能量阈值相比较的方法对画面是否出现异常行为作出判断，降低了误判率，提高了异常行为的判断准确性。[0072]综上所述，本申请提供的电梯轿厢内异常行为检测方法，通过融合yolo3、光流法和自适应能量阈值，在使用yolo3深度学习算法检测前结合使用光流法对视频进行预处理，筛选出有目标出现的视频段再进行处理，提高了yolo3使用的针对性，从而节省服务器的计算力消耗，进而大幅降低对服务器数目和配置的要求，同时也降低电力、维保等运营成本；
7
[0061]
CN 111539265 A
说 明 书
5/5页
根据电梯内人数变化以及其他影响因素来自适应确定能量阈值，可以减少误判率，提高异常行为的判断准确性。[0073]术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或者两个以上。
[0074]上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
[0075]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器、磁盘或光盘等。[0076]以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
8
CN 111539265 A
说 明 书 附 图
1/3页
图1
9
CN 111539265 A
说 明 书 附 图
2/3页
图2
10
CN 111539265 A
说 明 书 附 图
3/3页
图3
11
因篇幅问题不能全部显示，请点此查看更多更全内容