V0I 48 No.06.J Ljne 201 1 0舔甓与技术 SILK ‘I习 20¨06』:{ 麓0648羲 基于计算机视觉的织物疵点检测技术研究进展 楼少敏。,朱 彦 ,俞晓群 (浙江科技学院a.中德学院; b.服装学院,杭州310023) 摘要:对基于计算机视觉的织物疵点检测技术进行回顾,介绍了灰度共生矩阵法,局部二值模式算法支持向量机,学习向量量化分类器,多分类器组合和决策融合等算法等在图像预处理,特征提取重讨论了 种基于多数投票原则的多分类器决策融合技术,试验结果证实该技术有较高精确性关键词:计算机视觉;织物疵点检测;决策融合 。 、,邻域关联分析,自组织映射, 分类和识别等方面的应用情况,着 中图分类号:TSIOI.9 支献标志码:a 文章编号:1001—7003(201 1)06—0017 05 Progress of fabric defect detection techniques based on computer vision LOU Shao—rnin ,ZHU Yanb.YU Xiao—qunb (a.Chinese。Geyman School;b College ofFashion,Zhejiang University ofScience and Technology,Hangzhou 310023China) .Abstract:In this paper,various methods of fabric defect dectection based on computer vision are reviewed,. This article describes the image preprocessingfeature extraction,classificaition and identification for the various algorithms,such as Gray level CO—occurrence Matrix,Local Binary PatternsContextual Analysis, ,Self-organjzing Maps,Support Vector Method,Learning Vector Quantization,Multi.classifier combination, decision fusion,etc.A multi—classifier decision fusion technique based on majority voting is mainly discussed. Empirical results indicate the high accuracy of the presented approach. Key Words:Computer vision;Fabric defect detection;Decision fusion 在纺织和服装工业中,疵点检测研究主要集中在 织物的疵点检测上。起初,大多是直接对图像的灰度 1 疵点检测 在自动化检测中,解决检测微小疵点的问题,需 要具有局部破解织品质地样式的同质性以对各种疵点 进行分类处理的能力。在目前众多检测织品疵点的技 值进行空间域计算,抽取特征值,如灰度共生矩阵、 马尔科夫随机场等是纹理分析常用的方法,但均存在 计算量大、处理速度慢等缺点。20世纪90年代中后期 以来,由于小波分析等现代数学工具的出现,疵点检 测研究转向以在频域对图像分析为主,神经网络技术 开始成为疵点分析技术而被广泛采用。 术中,使用最多的疵点检测处理算法有高斯马尔可夫 随机场、傅里叶变换、高斯滤波器和小波变换。尽管 科研人员对哪种检测为最好的疵点检测方法没有达成 一致的结论,但滤波方法,尤其是贾柏(Gabor)滤波 计算机视觉检测是利用计算机视觉技术对表面不 正常结构进行检测、分析、分类的过程。由于人工视 觉检测系统有各种缺点,例如疲劳、厌烦等,只能检 测到60%~75%的主要疵点,以快速和可靠的计算机视 器在实践方面已经得到越来越多的应用。不过Gabor 滤波器的虚部是一个边缘检测子,在检测疵点时效 果不理想,通常需要用到多个不同参数的Gabor滤波 器,以求完整覆盖整个频域平面口 ]。Yang等 ]认为, 传统的Daubechies/J ̄波并不能保证特征具有很好的分 辨疵点的能力,小波基的构造应随着纹理背景不同而 变化,小波分解结合高斯马尔可夫随机场(GNRF)或者 觉来代替低效的人工视觉,实现织物疵点自动检测势 在必行。近年来,国内有学者对织品表观质量检测, 尤其是织物疵点的计算机视觉检测进行了研究n ]。 共生矩阵进行特征提取的方法值得进一步研究。 Xie[6 提到基于滤波器组的方法在纹理疵点检测上 收稿日期:201卜O3 17;修回日期:2011z05—02 基金项目:浙江省科技计划项目(2007C21147) 的应用已经十分广泛。通过控制和设计各种滤波器, 在各方向和比例上对纹理进行分解以获得清晰的疵点 显示。值得注意的是近年来的研究表明,邻域关联分 17— 作者简介:楼少敏(1963一 ),男,副教授,主要从事机电 一体化教学与研究。 Vof 48 NO.06 ju 0 2《j{ l 量来描述给定的图像块特征 MOI一∑f 五 SILK 习 20㈠年06问 臻0蒴 }8羲 6 估计,不问的 使用不同的特征 )来表示输入,将各 (1) 单个分类器最后决策组合起来,找到输入为 时, 类 的最终估计 ,表达式如下: fd,.=f(dlv 1),dl 2 I),…,dl 其参数。 , Ojala等 ]将LBP算子引入纹理分析中。LBP算子 )) (5) 能够抓住图像邻域纹理空间结的信息,起初采用的是 一式(5)中:_,是组合函数; 个3×3邻域像素值米计算LBP,邻域像素值首先通 使用0—1损耗函数最小化贝叶斯风险,最可能的 类应该满足下列条件: 过中心像素值阀值化,然后将阀值化的像素值与各像 素的权重值相乘,最后一起相加得 ̄IjLBP。一个LBP的 计算实例为:LBP一1+2+8+16+128—155。数学上 来说,对(新,J,。)循环对称的局部图像纹理,LBP算子 =arg maxf& (6) 为了给一组单个的弱分类器进行决策融合,使用 简单的大多数投票算法,在给定的任何顺序的投票 的求解方程式为: 尸~1 中,看是 有更多投票的候选者,如果有,选择该候 (gp--gc)2s' (2) LBPp, (弱,.Yc)一 选者。大多数投票原则有许多优点,如有效性,对噪 声的鲁棒性,且能防止过度拟合。 每个分类器lv@是在一定的特征量 )下进行 训练,并且由其个体决策d 。 决定其模式类。假定每 式(2)中:P是相等的空间像素数值:R是邻域圆对称的对称 半径; (z)一 ); 是相等的空间像素值P的灰度 值; 是中心像素的灰度值。 个单个的 分类器的权重为 t ql’且 —um ,则: m 4疵点分类与识别 4.1学习向量量化(LVQ)分类器 一Vi, ≥()'∑ =1 旦 』 (7) fal= ( ) (8) 个基于学习式向量量化的神经分类器由一个输 举一个简单的多数投票例子,每个分类器有一个 权重2i=1/m。A1imoglu等[ 提到,Perrone给…了许 多证实投票法优点的实例,此外,他还认为,当学习 者无偏见及不相关时,最小均方误差、权重应该与方 差成反比。 入层、一个隐藏层和一个输出层组成。隐藏层是一个 竞争层,其诸多神经无代表模式域的子集。隐藏层的 学习采用的是基于神经网络的白组织后验概率极大化 算法[20]。在学习过程中,隐藏的神经元权值的更新是 根据赢者通吃的原则。对于给定的一个训练模式的输 入 (f),它属于目标类 ,输出为c的神经元i的权重进 行更新的方程式如下: wi(f十1)一w (f)十。【(t)X(t)一Wi( )I, 一c(3) 4.3错误预测的可能性 通过分类器组合能够降低错误预测的可能性。对 于6个分类器的集合,错误预测的概率为: P(ensemble incorrect)=∑ (?)s (1一s)。一 (9) 式(9)中:s是单个分类器的出错率。 权值更新的方程式如下: wi( 十1)一w (t)十。【(t)【X(t)一W ( )【, T=/=c(4) 学习率“随学习进程的发展而降低,更多关于LVQ 学习算法可见文献[21]。输出的线性层是一个监管 层,其将隐藏神经元的子集输出分配进指定的当类标 试验中,6个分类器的平均出错率s一0.01874,用 式(9)计算得到错误预测的概率为0.134,这个结果与 使用分类器集合的实证结果是相符的。 4.4 采用多数投票原则的组合LVQ分类器的决策融合 及性能评估 分类器组合是一项通用的技术,已被应用于许多 签。LVQ疵点检测器输入层大小用输入特征向量的大 小来定义,隐藏神经元的数量由模式空间的复杂度来 确定。 模式识别和分类工作上。在分类器组合中模式识别可 以有许多术语描述,例如分类器集成、分类器融合、 在疵点检测试验中,平面图像通过滑动窗被连续 扫描,利用滑动窗灰度分布来提取可以表征纹理特征 的特征向量。输出层包括2个神经元,对输入特征向 量是否正常进行区分。 混合专家系统、分类器整合等。分类器组合一个最大 的优点是各种分类器组合之后能够互为补充,得到更 优的性能,并且组合可以在特征层次上,也可以在决 4.2决策融合的大多数投票规则 假定m个学习者(LVQ神经网络)和 类(正常的,异 策层次上,研究表明决策层上进行组合是可行的。 分类器组合广泛地应用在各种任务中。Kittler 常的),用 来表示给定输入f类,个学习者的后验概率 等 ]对分类器组合进行了有益的研究。Lotte等 对 -—・—19・-—— Voi 48 No 06 J¨n 20 {’ SILK 习 optimal Gabor filters[J].Proc World Acad Sci Techno1 2006 l3:1307—6884 .检测技术的文献研究,着乖探讨了… 个组合LvQ疵点 检测器用于织品的疵点检测,并使用多数投票原则进 行决策融合,试验结果显永该方案能够对织品的疵点 【14]TOLBAAS,KHANHA,MUTAMAAMeta1.Decisionfusion ,进行检测,并且检测 确率能达 ̄1J98.64%,其中平均 错误验收率仪为0.001 2,试验结果证实了 述方法的 for visual inspection of textiles[J].Textile Research Journal,20l0,80(19):2094—2106. [1 5 J HU M K.Visual pattern recognition by moment invari— 高精确性。不过该系统住基十特征级和决策级融合的 疵点检测组合分类器的设计方面需要改进,且计算比 ants[J].IRE Trans Info Theory,1 962,8(2):1 79—1 87. [16]LAWS K I.Textured image segmentation[D]Dept ,较复杂,可以考虑利用现场町编程门阵列(FPGA)进行 优化。 Electrical EngineeringUniversity of Southern Califor-nia,. January,1980. rJ 73 LAWS K I.Texture energy measures[D]//Proc Image Under- 参考文献: [1]步红刚,黄秀 .基于计算机视觉的织物疵点检测的近 期进展[J].东华大学学报:自然科学版,2006,32(3): l28—133. standing Workshop,1979:41—51. 118]FLUSSER J,SUK T.Rotation moment invariants for rec. ognition of symmetric objects[J].IEEE Trans.Image Proc, 2006,15:3784—3790. [2]刘曙光,屈萍鸽.基。二计算机视觉的织物疵点自动检测 [J].西安工程大学学报,2009,23(2):196—201. 【1 9]PIETIKfilNEN M,OJALA T.Nonparametric texture analy—sis with simple spatial operators[C].Proe 5th [3]KUMAR A,PANG G.Defect detection in textured materials using Gabor filters[J].IEEE Transactions on Industry Applications,2002,38(2):425—440. International Confefence on Quality Control by Artificial Vision.Trois—Rivieres.Canada.1999:11一l6. 120]KOHONEN T.Self-organizing formation of topologically [4]KUMAR A PANG G.Fabric defect segmentation using multichannel blob detectors[J].Optical Engineering,2000, correct feature maps[J].Biological Cybernetics,1 982, 43(1):59—69. [21]FAUSETT L.Fundamentals of neural networksfM]. Prentice—Hall,Inc Upper Saddle River,NJ,USA,1 994. 39(12):3l76—3190. 15J YANG Xue Zhi,PANG G,Yung N.Discriminative fabric defect detection using adaptive wavelets[J].Optical Enginee— ring,2002,41(12):3 1 16—3 l26. [22]ALIMOGLU ALPAYDIN E.Combining multiple repre— sentations for pen—based handwritten digit recognition[J]. Turk J Elec Engin,2001,9(1):1—12. 123j KITTLER J,HATEF M DUIN R.et a1.On Combining [6]XIE x.A review of recent advances in surface defect detection using texture analysis techniques[J].Electronic Let—ters on Computer Vision and Image Analysis,2008,7(3): l一22. Classiifers[J].IEEE Trans.PAMI,1998,20(3),226—239. [24]LOTTE F’CONGEDO M,LECUYER A,et a1.A review of classiicatfion algorithms for EEG.,based brain .computer [7]KUMAR A.Neural network based detection of local fabric defects[J].Pattern Recognition,2003,36(7):1645—1659. [8]CHEN C M,CHEN C C,CHEN C C.A comparative study of texture features based on SVM and SOM[C]//Int conf Pattern Recognition,2006:630~633. interfaces[J].J Neural Eng,2007,4:1-13. I 25 lRAKOTOMAMONJY A,GUIGUE MALLET G,et a1. Ensemble of SVMs for improving brain computer interfacep300 speller performances[C]//Int Conf on Artificial Neural Networks,2005. [9]TOLBAA S,KHAN H A,RAAFAT H M.Feature fusionfor defect detection in lfat surface products[C]//ISSPIT,Ajman, UAE.2009. [26]HUFFMANN U,GARCIA G,VESIN J M,et a1.A boosting approach to P3 00 detection with application to brain— [10]CHENG H D,SUN Homogeneity approach to color segmentation[JJ.Proceedings of the Joint Conference on Information Sciences,2000,5(2):2—5. computer interfaces[C]//Conference Proe 2nd Int IEEE EMBS Conference on Neural Engineering,2005. [27]HONG L,JAIN A K.Integrating faces and finger print for personal identincation[J].IEEE Trans.Pattern Analysis andMachine Intelligence,1998,20(12):1295一 l307. [1 1]TILDA.Textile defect image database[DB].University of Freiburg.Germany.http://lmb.informatik.unifreiburg. de/research/dfgtexture/tilda. [12]KUMAR A.Computer vision—based fabric defect detection: [28]JAIN A K,DUIN R P W,MAO J.Statistical pattern A survey[J].IEEE Trans Industrial Electronics,2008,55(1): 348-363. recognition:a review[J].IEEE Transactions On Pattern Analysisand Machine Intelligence,2000,22(1):3-37. [13]MAK K L,PENG P.Detecting defects in textile fabricswith