可重构视觉检测理论与技术首先系统综述了机器视觉检测的发展，分析其重构需求，介绍了视觉检测的工作原理、可重构体系、重构的层次与系统流程，然后以硬件与软件为主线分别讨论了视觉检测系统重构。硬件可重构主要介绍了异构硬件环境下通用图像获取方法与基于FPGA 的图像预处理重构。软件可重构主要包括可重构算法库设计、基于配置信息的视觉检测流程再生、面向图像分析的特征提取与重构、机器视觉系统可视化重构平台设计等。最后介绍了可重构视觉检测平台的开发方法，并以四个不同领域的视觉检测应用实例验证了所述的可重构方法。

更多科学出版社服务，请扫码获取。

目录
前言
第1章 机器视觉检测的重构问题 1
1.1 机器视觉的概述 1
1.2 国内外机器视觉研究现状 1
1.3 机器视觉关键理论与技术 3
1.3.1 机器视觉识别理论研究 4
1.3.2 机器视觉关键实现技术 5
1.4 机器视觉检测的应用领域 8
1.4.1 机器视觉检测在纺织行业的应用 8
1.4.2 机器视觉检测在电子行业的应用 9
1.4.3 机器视觉检测在农业领域的应用 10
1.4.4 机器视觉检测在机械行业的应用 12
1.4.5 机器视觉检测在军工行业的应用 13
1.4.6 国内机器视觉产品检测的发展方向 13
1.5 机器视觉检测的可重构需求 14
1.5.1 传统机器视觉检测系统设计模式 15
1.5.2 可重构的视觉检测系统设计理念 16
1.5.3 视觉检测可重构的意义 18
第2章 可重构的视觉检测体系 20
2.1 可重构系统设计方法简介 20
2.1.1 视觉检测可重构定义 20
2.1.2 视觉检测可重构的实现方法 21
2.2 机器视觉检测工作原理与系统结构 26
2.2.1 机器视觉检测系统工作原理 26
2.2.2 机器视觉检测系统结构 29
2.2.3 机器视觉检测系统功能模块 34
2.3 机器视觉检测硬件系统可重构 35
2.3.1 硬件异构模式下通用图像获取 36
2.3.2 基于FPGA 的图像预处理硬件重构 36
2.4 机器视觉检测软件系统可重构 38
2.4.1 视觉检测算法的可重构 39
2.4.2 图像识别特征的可重构 41
2.4.3 视觉检测系统的可视化设计 41
2.5 可重构的层次结构与系统流程 44
2.5.1 可重构视觉检测系统模块划分 45
2.5.2 基于软件芯片的视觉检测重构设计模式 48
2.5.3 机器视觉检测系统运行重组方案 54
第3章 视觉检测硬件系统重构 57
3.1 异构硬件环境下图像获取通用模型 57
3.1.1 常用数字图像传输与获取标准比较 57
3.1.2 图像获取通用模型的设计目标 63
3.1.3 硬件无关的图像获取通用模型 64
3.2 通用图像获取SDK 设计 66
3.2.1 通用图像获取函数定义 66
3.2.2 图像获取抽象类设计 71
3.2.3 图像获取子类设计实例 72
3.3 图像获取接口的组态设计 73
3.3.1 图像获取接口与可重构体系交互方式 73
3.3.2 图像获取类实例分析 74
3.3.3 图像获取内存预分配策略 75
3.4 基于FPGA 的图像处理硬件重构 77
3.4.1 FPGA 硬件重构技术 78
3.4.2 基于FPGA 的图像采集与预处理 79
3.4.3 基于FPGA 的图像获取硬件结构 82
3.4.4 基于FPGA 的预处理算法设计 85
第4章 视觉检测软件系统重构 87
4.1 机器视觉在线检测算法库设计 87
4.1.1 产品视觉检测常用算子分类 87
4.1.2 视觉检测算子层次模型 98
4.1.3 视觉检测算子接口设计 102
4.2 基于配置信息的视觉检测流程再生 105
4.2.1 视觉检测需求分析 105
4.2.2 视觉检测流程规划 105
4.2.3 基于配置信息的视觉检测算子表示 108
4.2.4 信息配置的存储与解析 109
4.2.5 算子的搜索和匹配 112
4.3 面向图像分析的特征提取与可重构 114
4.3.1 面向图像分析的特征提取原则 114
4.3.2 面向图像分析的特征分类与描述 115
4.3.3 机器视觉检测的特征提取方法 118
4.4 基于遗传算法的特征解耦与选择 126
4.4.1 特征解耦与选择方法分析 126
4.4.2 基于遗传算法的特征解耦方法 130
4.4.3 特征解耦的关键技术 131
4.5 机器视觉可视化重构平台设计 133
4.5.1 机器视觉可视化编程技术 133
4.5.2 视觉检测重构平台功能分析 135
4.5.3 图形用户界面的可视化设计 137
4.5.4 图像处理算法的可视化编程 150
4.5.5 视觉检测多线程通信与数据共享 152
4.5.6 视觉检测数据库设计 156
4.5.7 视觉检测系统网络拓扑重组 157
第5章 可重构的机器视觉检测平台与重构实例 160
5.1 可重构的机器视觉检测平台 160
5.1.1 可重构视觉检测平台开发 160
5.1.2 可重构视觉检测平台模块 164
5.1.3 可重构视觉检测平台编程方法 166
5.2 基于重构平台的粘扣带质量视觉检测系统实现 169
5.2.1 系统硬件设计 170
5.2.2 系统软件设计 171
5.2.3 系统运行与测试 173
5.3 基于重构平台的导爆管自动视觉检测系统实现 174
5.3.1 系统硬件设计 176
5.3.2 系统软件设计 179
5.3.3 系统运行与测试 182
5.4 基于重构平台的电子接插件视觉测量系统实现 186
5.4.1 系统硬件设计 187
5.4.2 系统软件设计 191
5.4.3 系统运行与测试 193
5.5 基于重构平台的大米品质视觉检测系统实现 196
5.5.1 系统硬件设计 196
5.5.2 系统软件设计 197
5.5.3 系统运行与测试 198
参考文献 200

第 1章机器视觉检测的重构问题
在总结国内外机器视觉研究现状的基础上，分析了机器视觉技术在纺织、电子、农业、机械以及军工等领域的应用。并针对传统机器视觉检测系统针对性强、重复开发、效率低下等问题，引出了机器视觉检测可重构设计理念，并阐述了可重构视觉检测系统设计方法的意义。 
1.1 机器视觉的概述
机器视觉是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理和模式识别等多个领域的交叉学科，它主要利用计算机来模拟人或再现与人类视觉有关的某些智能行为，从客观事物的图像中提取信息进行处理，并加以理解，昀终用于实际的检测、测量和控制。机器视觉系统由光学成像设备、照明设备、摄像机、图像采集卡、图像处理设备及软件等部分组成。
机器视觉是利用数字成像技术与计算机图像处理技术替代人眼进行判断与测量，它具有人眼所无法比拟的高精度、高效率等优点，且易于实现信息集成，提高生产的柔性和自动化程度，是实现计算机集成制造的核心技术之一 [1]。另外，在一些不适合人工作业的危险环境或大批量工业自动化生产过程中，采用人工检查产品质量效率过低且精度不高，在这些人工视觉难以满足要求的场合，机器视觉正在迅速取代人工视觉。
近年来，随着计算机、多媒体、数字图像处理、模式识别、智能控制等理论与技术的成熟，以及大规模集成电路的迅速发展，机器视觉技术凭借非接触式、高效率、高精度、劳动强度小以及易于信息集成等优点，被广泛应用于工业、农业、医药、军事、航天、交通、安全、科研等领域，取得了巨大的经济与社会效益。 

1.2 国内外机器视觉研究现状
机器视觉研究的是如何让计算机理解图像中的一个场景或者特征，是人工智能的一个分支，融合了模式识别、统计学、投影几何、图像处理和图论等多门学科。自 20世纪 50年代以来，应用于二维图像分析与识别的统计模式识别研究标志着机器视觉技术的起源，当时的研究主要集中在显微和航空图片的分析与理解、各种光学字符识别、工业零件表面缺陷检测等。在其后的发展历程中，出现了两种不同的视觉理论：Roberts提出的“积木世界”理论，以及 DAvid MArr提出的 MArr视觉理论。 
20世纪 60年代， Roberts研究从数字图像中识别和提取如圆柱体、立方体等基本三维结构，并通过描述这些基本形状及其结构关系，以理解复杂的客观三维世界，从而形成了“积木世界”理论。随后，该理论促使人们对各种几何要素的分析与理解、轮廓特征提取算法等展开了深入研究 [2]。 
20世纪 70年代中期，伴随着实用性视觉系统的出现，麻省理工学院（ MIT）人工智能实验室正式开设机器视觉及其相关理论的课程，由 DAvid MArr教授带领的研究小组综合神经生理学、图像处理以及心理物理学等研究成果，提出了计算视觉理论，从信息处理的角度出发给出了视觉系统研究的三个层次 [3]： 
(1)
计算理论层次。确定系统各模块的计算目的和策略，即明确“是什么”的问题，如各模块的输入、输出分别是什么，输入与输出之间的约束关系是什么。 

(2)
表达与算法层次。研究各模块的信息表达以及完成计算所需要的算法，其中模块信息包括输入、输出以及内部信息。 


(3)硬件实现层次。解决如何用硬件实现上述表示与算法。
机器视觉理论主要是基于 DAvid MArr的计算视觉理论框架发展而来，当时的研究主要集中在前两个层次，许多理论还无法进行实际应用，但对于一些低层次处理，如滤波、边缘提取以及简单场景下的二维物体识别已有成熟的应用 [4]。但是，该计算视觉理论框架的出现具有极大的启发意义，推动了之后机器视觉的全球研究热潮。
20世纪 90年代中后期，由于小波分析等现代数学工具的出现，新概念、新方法和新理论不断涌现，机器视觉已经从昀初的实验室研究阶段逐渐向实际应用阶段发展。尤其进入 21世纪以后，凭借非接触、高精度、高效率、灵活性高、稳定性好、实时性强、易于维护以及可移植性好等众多优点，机器视觉在工业、农业、生物医学、军事与国防、机器人导航、交通管理、遥感图像分析等各行各业的应用得到了前所未有的普及与推广。如工业中的零件定位与识别、尺寸测量，农业中的农产品质量检验、分级，生物医学中的 CT、磁共振成像，军事国防中的导弹制导、超视距雷达、声纳成像，交通管理中的车辆、牌照识别等。其中以工业领域的应用昀为普遍，借助机器视觉技术，可显著提高工业领域的产品生产效率、控制产品品质、对产品实施分类以及控制生产过程等。
基于图像的视觉检测方法将机器视觉引入检测领域，利用光机电一体化的手段使机器具有视觉的功能，以实现各种场合下的在线高速检测和高精度测量。在国外，视觉检测的应用普及主要体现在半导体及电子行业，其中大概 40%～50%集中在半导体行业，其他的研究应用领域涉及社会生产的方方面面，而且应用的深度也越来越大，从原始的在线监视到外观检测再到动作和运动控制，甚至许多视觉单元都直接集成到成套生产设备中。如 IC封装中的芯片检测系统，印刷生产线上的机器视觉质量控制系统 [5]。国际上有名的工业视觉系统集成商，包括美国的 NI、COGNEX 和 PROIMAGE，瑞士的 BOBST，德国的 VMT，加拿大的 HexSight，日本的 DAC、 TOKIMEC和 KEYENCE等公司都已提供基于机器视觉的产品表面缺陷在线检测系统，并且获得了较好的推广 [6]。
我国机器视觉应用起步较晚，但随着制造业向中国的逐步转移，企业对高效检测技术的需求日益增多，特别是半导体及电子行业对高精度在线检测的迫切需求，推进了国外先进机器视觉技术的逐步引进。历经十多年的努力，国内机器视觉技术已经得到了长足的发展，但由于缺乏核心技术，在高精度数字相机及芯片设计制造、图像处理算法设计等方面与国外仍存在较大差距。
目前，绝大多数工业应用的机器视觉检测系统多停留在二维检测上，三维检测技术仍处于理论研究和实验阶段。另外，机器视觉检测系统的检测精度和检测速度仍有待提高。检测精度和检测速度是机器视觉检测系统昀基本的性能指标，同时它们之间的矛盾也是阻碍机器视觉检测技术应用的昀大瓶颈。首先，视觉检测必须满足一定的精度要求，确保获取有意义的数据，才能保证检测结果的可信度。然而，精度高的检测识别算法多具有高的计算复杂度和较长的计算时间，从而影响视觉检测速度。而且，提高检测速度对于在线检测和离线检测两类机器视觉检测都具有重要意义。尤其是在线实时检测，如何将机器视觉检测系统嵌入到生产线相应的工序中，并实现检测速度与生产线节拍的协调，关乎该机器视觉检测系统能否真正实用化的问题。因此，为了兼顾检测精度与检测速度，国内外都提出了一些新的算法，但是很多仍处于实验室阶段，在复杂的工业现场仍存在准确性、鲁棒性下降等问题。
另外，机器视觉检测系统的智能化程度与通用性有待提高，应用中的大部分机器视觉检测系统多是针对某一种产品或应用场合的专用检测系统，只能对该产品有限的、特定的产品类型进行检测，很难直接用于或移植到其他的产品检测中，无法实现产品检测的通用化与智能化 [7]。
随着机器视觉理论研究的不断深入，机器视觉检测技术将逐步在各行各业中得以广泛应用。在线实时检测、高精度检测、将检测任务集成起来实现机器视觉智能检测、适应生产的柔性化检测以及彩色图像与多光谱图像的处理算法研究将成为机器视觉检测技术的发展趋势。总之，随着计算机技术和光电技术的快速发展，机器视觉检测技术必将实现高精度、高效率、高适应性、高智能，并成为产品自动检测技术的重要发展方向。 

1.3 机器视觉关键理论与技术
在机器视觉系统中，图像处理与图像理解算法研究是理论基础，视觉系统的单元技术与系统集成是实现关键。其中，关键技术涉及光源照明技术、光学镜头、摄像机、图像采集装置、图像处理装置以及控制响应机构等 [8]。
1.3.1 机器视觉识别理论研究
机器视觉系统的应用场合千差万别，每一个系统都具有各自的特点与要求，对其识别理论的研究一方面要提高通用算法的适应性，另一方面要依据所应用的对象特点对图像处理与识别算法做相应的完善与改进以适应特定的需求。
国外在机器视觉方面的研究起步早，应用的领域也较广泛。为了判断炸薯片的质量好坏， Lotfi等通过研究炸薯片的显微图像，提取图像中色调矩阵直方图的标准差作为特征，采用神经网络算法分类炸薯片以控制其质量 [9]。TAouil等选取以彩色图像 RGB分量计算出的黄色值为特征，检测橄榄油生产线上灌装后瓶塞是否漏装[10]。葡萄牙国家工业技术及工程局( INETI)开发的基于机器视觉的工业腈纶质量控制系统 INFIBRA，利用视觉测量各条腈纶带的宽度及其之间的间隙，及时发现腈纶带的断裂、分叉与缠绕等故障 [11]。CAno等提出了采用机器视觉与加速度传感器相结合的机床弹性变形预测方法，用以标定运行部件的振动 [12]。DergAnc等设计了基于机器视觉的轴承质量检测系统，借助 Hough变换和线性回归检测轴承滚针的偏心与滚针的长度，从而判定轴承质量的好坏 [13]。为了解决参数间的耦合导致昀优参数调节困难的问题， MArtin-Herrero等开发的金枪鱼罐头质量在线视觉检测系统，把感兴趣区域( ROI)分块，并参数化为特征向量，以构建 SOFM(Self-orgAnizing FeAture MAp)神经网络模型。经过样本训练以及在线学习，使得该系统在每分钟 1000罐的检测速度下获得与质检员平均意见得分一致的结果 [14]。BorAngiu等采用人工视觉引导机器人实施零件装配，并在装配的各个阶段实时检测零件材料与装配的质量[15]。AdAmo等开发了一个基于机器视觉的色丁玻璃在线缺陷检测原型系统，它采用阈值分割实现边界的检测， CAnny算法实现缺陷识别，其能识别的昀小缺陷宽度为 0.52mm，每帧(玻璃尺寸为 1200×400mm)图像的处理时间为 180s，满足了玻璃自动生产线的实时性要求 [16]。KArAthAnAssi等提出的基于机器视觉的溶液制剂质量控制系统包括离线标定与在线检测两部分，其中在线检测负责试剂内容与液位的检测[17]。
由于机器视觉的昀初应用与普及主要体现在半导体及电子行业，而这些行业本身在国内就属于新兴领域，再加之机器视觉产品技术的普及不够，导致以上各行业的应用一直停留在比较低端的小系统集成上。随着我国配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求大大增加，国内有关大专院校、研究机构以及企业近年来在图像与机器视觉领域进行了大量积极的思索与大胆的尝试。在光学字符识别、交通监控系统、信封分拣系统、药品检测分装、印刷色彩检测等应用领域取得了一定的成果。如中南大学的阳春华等借助计算机视觉测量矿物浮选泡沫的颜色与尺寸，克服了人工浮选的主观性，使选矿过程昀优化 [18]。四川大学尹伯彪等针对现场大尺寸测量难以避免的空气扰动问题，采用波前修正的图像恢复方法复原经靶镜反射后的畸变激光光斑，以提高测量精度[19]。华中科技大学针对玻璃行业设计了基于机器视觉的浮法玻璃在线质量检测系统[20]。
基于机器视觉的自动检测流程包括图像获取、预处理、图像分割、特征提取、缺陷表示与识别以及设备对缺陷的响应等单元，其中核心内容是特征提取、缺陷表示与识别 [21]。特征提取就是要寻找能表达这些待检测对象的特性，如形状、大小、颜色、纹理结构性与周期性等，并同时区分于其他对象的一组参数，即特征集。常用的特征提取算法包括空间域和频域两种。
空间域提取算法采用不同方法对图像灰度矩阵进行变换以获得不同的特征值。常用的方法有：灰度共生矩阵法、 MArkov随机场法、灰度直方图统计法、灰度匹配法以及基于 PCNN(脉冲耦合神经网络)的提取方法。灰度共生矩阵通过计算二阶矩、逆差分矩和熵等特征来描述纹理，具有不受缺陷种类限制及不需要不断更改阈值以适应被检图像的优点，但计算量大。灰度直方图统计法以图像灰度直方图的统计特征(如均值、方差等)为参数绘制特征波形，通过波形对比定位纹理结构的异常位置。该识别算法原理简单、运算速度快、可靠稳定、适应性强，但有些缺陷类型难以识别，且分类困难。灰度匹配法通过将待检产品与标准样品进行差分，再与设定的灰度阈值比较以识别缺陷，具有原理简单、计算量小等优点，但对现场环境要求高，如光源衰减、灰尘以及生产工艺与流程等都会影响图像效果，而且阈值的选取带有主观性，需不断改变。神经网络模型通过对输入样本的学习，不断地在误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标，其优点是定位准确、适应性强，但迭代计算量大。
频域提取算法能充分利用纹理的周期性，故提取的特征值稳定性和适应性都比空间域算法好。常用的频域提取算法有快速傅里叶变换法、 GAbor变换法与小波变换法等。傅里叶变换可以在频域中分离周期性纹理、背景信息和噪声，具有稳定性好、适应性强的特点，但缺乏空间域的定位信息。 GAbor小波是一组窄带带通滤波器，有明显的方向选择和频率选择特性，能实现空间域和频域的联合定位；缺点是计算量较大。小波变换则具有多尺度的特点，能在时域、频域表征信息局部特征，适合于奇异点的检测。 

1.3.2 机器视觉关键实现技术 
1．光源照明技术
在机器视觉应用系统中，光源与照明方案往往关乎整个视觉系统的成败，并非简单地照亮待检物体而已。好的光源与照明方案应尽可能地突出物体特征，使待检物体的关键区域与那些不关注的区域之间尽可能地产生明显区别，增加其对比度。同时，应保证图像具有足够的整体亮度，并覆盖待检物体的整个运动区域，以确保物体位置的变化不至于影响到成像质量。机器视觉检测系统的光照方式通常分为透射光和反射光两种。对于反射光方式，应充分考虑光源和光学镜头的相对位置、物体表面的纹理、物体的几何形状以及背景等因素。另外，选择光源时还应考虑光源的几何形状、光照亮度、均匀度、发光的光谱特性、发光效率、使用寿命以及安装位置等。几种主要光源的相关特性如表 1.1所示[8]。
表 1.1常用光源的特性对比
光源 颜色 寿命/小时 亮度 特点 
卤素光 白色，偏黄 5000～7000 很亮 发热多，较便宜 
荧光灯 白色，偏绿 5000～7000 亮 较便宜 
LED灯 红，黄，绿，白，蓝 60000～100000 较亮 发热少，形状可变 
氙灯 白色，偏蓝 3000～7000 亮 发热多，持续光 
电致发光管 由发光频率决定 5000～7000 较亮 发热少，较便宜 

其中，LED光源因其显色性好，光谱范围宽，能覆盖可见光的整个范围，且发光强度高，稳定时间长等优点，成为图像领域的新宠儿。虽然其价格偏高，但随着其制造工艺和技术的成熟，必将得到越来越广泛的应用。另外，高频荧光灯凭借其发光强度高、性价比好等优势，在某些特定场合也是不错的选择。 
2．光学镜头
机器视觉系统中的光学镜头相当于人眼的晶状体，对待检产品的成像效果具有重要的影响。一个镜头成像质量的优劣体现在其对像差校正的程度，主要以像差大小来衡量，常见的像差有：球差、彗差、像散、场曲、畸变、色差等六种。对于定焦镜头或变焦镜头的选择而言，通常同一档次的定焦镜头的像差会明显比变焦镜头的小。由于变焦镜头为了保证在各种不同焦距下相对较好的成像质量，不允许在变焦范围内的某个焦距下出现成像很差的情况，采用了折衷的考虑，故在设计机器视觉应用系统时，应根据被测目标的状态优先选用定焦镜头。此外，还需综合考虑图像的放大倍率、视场大小、光圈大小、焦距、视角大小以及镜头与摄像机的安装接口等因素。