一，引言：

AOI（automatically optical inspection）是光学自动检测，顾名思义是通过光学系统成像实现自动检测的一种手段，是众多自动图像传感检测技术中的一种检测技术，焦点技术点如何获得准确且高质量的光学图像并加工处理。

AOI检测技术应运而生的配景是电子元件集成度与精细化水平高，检测速度与效率更高，检测零缺陷的生长需求。AOI检测的最大优点是节省人力，降低本钱，提高生产效率， 统一检测标准和排除人为因素滋扰，包管了检测结果的稳定性，可重复性和准确性，实时发明产品的不良，确保出货质量。在人工智能技术与大数据生长进步的今天，AOI检测不但仅是一部检测设备，对大宗不良结果进行分类和统计，可以发明不良爆发的原因，在工艺改善和生产良率提升中也正逐步发挥着更重要的作用，因此，可以预期未来AOI检测技术将在半导体与电子电路检测中将会发挥越来越重要的作用。

二，AOI检测基来源理与设备组成：

AOI检测原理是接纳摄像技术将被检测物体的反射光强以定量化的灰阶值输出，通过与标准图像的灰阶值进行比较，剖析判定缺陷并进行分类的历程。与人工检查做一个形象的比喻，AOI接纳的普通LED或特殊光源相当于人工检查时的自然光，AOI接纳的光学传感器和光学透镜相当于人眼，AOI的图像处理与剖析系统就相当于人脑，即“看”与“判”两个环节。因此，AOI检测的事情逻辑可以简单地分为图像收罗阶段（光学扫描和数据收集），数据处理阶段（数据分类与转换），图像剖析段（特征提取与模板比对）和缺陷报告阶段四个阶段（缺陷巨细类型分类等）。为了支持和实现AOI检测的上述四个功效，AOI设备的硬件系统也就包括事情平台，成像系统，图像处理系统和电气系统四个部分，是一个集成了机械，自动化，光学和软件等多学科的自动化设备。

（1）图像收罗阶段（光学扫描和数据收集）

 AOI的图像收罗系统主要包括光电转化摄影系统，照明系统和控制系统三个部分。因为摄影获得的图像被用于与模板做比照，所以获取的图像信息准确性关于检测结果很是重要，可以想象一下，如果图像收罗器看不清楚或看不到被检测物体的特征点，那么也就无法谈到准确的检出。

下面我们对光电转化摄影系统，照明系统和控制系统三个部分逐一剖析介绍。

首先，光电转化摄影系统指的是光电二极管器件和与之搭配的成像系统。是获得图像的”眼睛”, 原理都是光电二极管接受到被检测物体反射的光线，光能转化爆发电荷，转化后的电荷被光电传感器中的电子元件收集，传输形成电压模拟信号。二极管吸收光线强度差别时生成的模拟电压巨细差别，依次输出模拟电压值被转化为数字灰阶0-255值，灰阶值反应了物体反射光的强弱，进而实现识别差别被检测物体的目的。

光电转化器可以分为CCD（charge Coupling diode）和CMOS（ complementary metal oxide semiconductor ）两种。因为制作工艺与设计差别，CCD与CMOS传感器事情原理主要体现为数字电荷传送的方法的差别，事情原理如下图所示，CCD接纳硅基半导体加工工艺，并设置了笔直和水平移位寄存器，电极所爆发的电场推动电荷链接方法传输到中央模数转换器。这样的结构与设计很难集成许多的感光单位，制造本钱高且功耗大
；而CMOS接纳无机半导体加工工艺，每像素设计了特另外电子电路，每个像素都可以被定位，而无需CCD中那样的电荷移位设计，对图像信息的读取速度远远高于CCD芯片，因光晕和拖尾等太过曝光而爆发的非自然现象的爆发频率要低得多，价格和功耗比CCD光电转化器也低，但其缺点是半导体工艺制作的像素单位缺陷多，灵敏度会有一些问题，同时，为每个像素电子电路提供所需的特别空间不会作为光敏区域。芯片外貌上的光敏区域部分（界说为填充因子）小于CCD芯片。从理论上讲，这个原因导致可以收集的图像信息光子数会有所减少，所以，CMOS光电转化元件一般需要搭配高亮度光源，噪音也比较大。

岂论CCD照旧CMOS结构，一个光电转化器单位即为一个像素点，若干个光电转化器以行列的方法进行排列形成矩阵就组成了图像传感器。权衡图像传感器性能主要是有解析度，尺寸或面积，灵敏度，信噪比等，其中解析度与尺寸是最重要的指标。图像传感器拍摄被检测物体画面时，光电转化器的尺寸越小像素密度越小就可以将物体“看”得更细致。因此，理论上光电转化器件的像素数量应该越多越好。但像素数量的增加会提高制造本钱和导致制品率下降。因此，将光学透镜与光电转化器件结合在一起，可以将微小的被检测物体放大成像在光电转化器件上，也可以实现高解析度检测效果，所以，实际AOI检测设备会凭据客户的需求进行配置。

近年来，CMOS制作工艺的半导体技术化，加上其快的扫描和图像传输速度优势，CMOS面扫描图像传感器也开始被接纳在工业级AOI检测设备中， 逐步形成了线扫描CCD图像传感器和CMOS面扫描图像传感器两种主流技术。

下图例为线扫面图像传感器事情例：

线扫描图像传感器的扫描宽度偏向只有一个像素，通过移动来获得图像，没有自身放大电路且噪音小，所有一般解析度比较好。被检测物体的同一位置信号在扫描历程中会被多次收集，光电转化后的信号累加输出，所以纵然其中一个光电传感器泛起问题也不影响检查结果，但缺点是要求平台的运动精度很是高，收罗区域要准确。

面扫描图像收罗器CMOS的每一个光电二极管都可以独立输出电压信号，因此，输出速度非？，节省了事情时间，因此，对运动平台的移动精度要求没有线扫描那么严格，但缺点是信号没有了积分历程，要求被检测物体反射光要足够强，感光二极管泛起问题后会造成假点和误判，信号的噪音也会相应增强。

 近年来，平板显示行业的玻璃基板尺寸不绝增加和工艺节拍不绝缩短，对自动光学检测设备的检测速度 （TACT time）提出了更高的要求。以色列奥宝科技利用了CMOS图像传感器极高的图像信息独区和处理速度优势，基于对CMOS 图像传感器的深刻理解基础上，客制化的开发了数据传输与帧频速度高的面阵相机，并系统解决了面阵CMOS传感器，光源以及同步性等系统问题，乐成开发了基于面阵CMOS 图像传感器的AOI检测系统，在包管工业要求的工艺节拍同时，克服了CMOS图像传感器填充因子小和信噪比偏高先天劣势，检测能力及各项指标都获得了行业内的认可。

除光电传感器外，AOI图像收罗历程中照明系统也很是重要，选择最佳光源目的是包管被检测物体的特征区别于其他配景，涉及到光源的光谱特性，光源颜色，色温特性。高效率长寿命，高亮度且均匀的光源是必须考虑的参数，高亮度均匀性好的光源可以提高信噪比，而长寿命高效率则可以提高设备的稳定性，降低事情负荷。

照明光源凭据波长分类可以分为可见波长光源，特殊波长光源？杉ǔす庠匆簿褪且话阆执ひAOI检测设备中最常用的红绿蓝LED光源。特殊波长光源一般是指红外或紫外波长光源，一些特殊质料在可见光规模内吸收差别不大，灰阶变革不明显时可以考虑接纳特殊波长光源，好比说利用紫外光能量高可以引发荧光质料的原理，检测具有荧光发光特性物质微残留时紫外光源就是一种比较有效的手段，因质料身分与红外光谱有对应关系的原理，红外光源对不具有发光性质的有机化合物残留缺陷检出就有很大的作用，甚至可以实现身分剖析。特殊光源中，利用偏振光与物体相互作用后偏振态的变革，利用光学干预原理的白光干预（white light interferometry）在特定缺陷检测中的获得了应用，例如通过相干光的干预图案盘算出对应的相位差和光程差，可以丈量出被测物体与参考物体之间的差别，且区分率与精度为可以抵达亚波长，丈量三维物体形貌与高度也正成为AOI检测的新需求。（下图为侧光源与同轴光源实例）

除波长参数外，光源的入射角度也是提高检出的重要参数。凭据光源入射角度的差别分为同轴光源，侧光和背光三种，选择某种角度的光源是由光在被检测物体外貌散射特性的差别最大化来决定的。同轴光源的灯源排列密度高，亮度高且均匀，能够凸显物体外貌不平整，克服外貌反光造成的滋扰，主要用于检测物体平整平滑外貌的碰伤、划伤、裂纹和异物。 同轴光基本是红、绿、蓝三色光源，也可以是差别波长光源的任意组合。侧光源与同轴光源的平行照射理念正好相反，低角度光源从很小的角度将光线直接照射到被检测物体上。由于光的偏向险些与物体外貌平行，物体外貌高度的任何变革都会改变反射光到光电传感器的光路，从而突出变革，适合有一定高度的缺陷物检出。侧光源的角度与高度变革时，有一定高度的被检出物体的强反射面（阳面）和弱反射面（阴面）的角度和反射光强度都会有变革。为检出结果的判定提供了富厚的信息。背光源的原理则是利用被检测物体中差别部分光透过率差别实现检出的要领，硬件上与其他光源的摆放位置差别，光源不与光电传感器同侧，而是置于光电传感器的劈面，接受被检测物体透过光的强弱，适合被检测物体中有缺失部分检出。

基于对平板显示工艺的深入理解，以色列奥宝科利用CMOS扫描帧频快的特点，将上述差别光源类型，强度与待检测面板的质料进行有针对性考察，在不增加事情节拍的同时进行多种扫描条件的交叉确认，实现了极低的误检出，极高的检测精度和准确率。

AOI图像收罗的最后一个要害办法是控制系统，光电传感器的FOV （视窗）有限，物体高速运动中准确地抓拍到清晰的图像，软硬件协调行动很是重要，如下图所示，当图像传感器与机台移动速度不匹配时造成图像的拉伸，收缩等变形，所以，载物移动平台XY偏向移动与图像收罗光电传感器的同步移动影响到数据的准确，要在牢固光照，等间距下拍摄一幅清晰的图像，高精度的导轨，电机和运动控制程序是很是须要的。

（2）数据处理阶段（数据分类与转换）

数据处理阶段是图像的预处理阶段，是收罗图像的加工处理历程，为图像比对提供准确可靠的图片信息，主要包括了配景噪音减少，图像增强和锐化等历程。图像配景噪音减小一般为图像的低通滤波平滑法，图像增强和锐化则是提高被检测特征的比照度，突出图像中需要关注的特征，忽略不需要关注的部分，要领是图像二值化处理，经过二值化处理的图像数据量明显减少，能凸显出需要关注的轮廓。

首先滤波的界说是将信号中特定波段频率滤除的操作，是抑制和避免滋扰的一项重要步伐。在AOI检测中，噪声是造成图像退化的因素之一，起因是AOI图像获取，传输历程中，外界杂散光，光电二极管电子噪声及温度，光源的不稳定不均匀，机械系统的颤抖，传感器温度等原因导致，不可制止的使得图像因含有噪音而变得模糊。给图像识别，图像切割等后续处理事情带来了困难。因此，为了获得真实的图像信息，除去噪声的滤波处理必不可少。

滤波的历程简单说就是图像平滑技术，空域滤波与频域滤波是滤波经常接纳的要领。具体讲空域滤波是一种邻域处理要领，通过直接在图像空间中对邻域内像素进行处理，抵达平滑或锐化，图像空间中增强图像的某些特征或者减弱图像的某些特征。频域滤波指的是允许或者限制一定的频率身分通过。在数字图像处理中，线性滤波通常是利用滤波模板与图像的空域进行卷积来实现。滤波的要领许多，要抵达好的使用效果和目的，必须对图像中的噪音类型有所了解，才华做到有的放矢。

空域滤波中邻域处理平滑的具体要领有均值，中值和K领域均值三种，合理性各有利弊。 均值滤波是接纳邻域平均法，基本思想是对一个像素和他临近区域的全体像素取平均值，然后把这个盘算出来的均值付与给输出的图像的相应像素，实现图像的平滑处理。属于线性滤波。 中值滤波是把一个像素点邻域窗口内的所有像素点灰阶值的中间值作为该像素点的灰阶值，是基于排序统计理论的信号处理技术，关于随机噪声处理能力好，属于典范的非线性滤波技术。K邻域均值滤波技术是结合了中间值滤波和均值滤波的特点，主要思想是在待处理像素点邻域内，找到一像素灰阶值最接近的K个像素点，盘算这K个像素点灰阶均值来取代原像素点的灰阶值，关于伶仃不规则的像素点起到很好的滤波作用。

图像的平滑除了在空间域中进行外，也可以在频率域中进行。频域滤波简单说就是在频域里，接纳简单平均法求频谱的直流分量？梢越峁挂桓龅屯瞬ㄆ，使低频分量顺利通过而有效地阻于高频分量，再经过反变换来取得平滑的图像。频域滤波可以分为高斯滤波，巴特沃斯滤波，梯形滤波等。由于噪声主要集中在高频部分，阻挡高频率噪声处理后就可抵达平滑图像的目的。

除图像平滑处理外，图像增强处理也是图像预处理的常用要领，分为频域和空域两种。频域增强是在图像的变换域上对图像进行运算，然后再将盘算后的图像进行逆向变换转到空间域？沼蛟銮吭蚴侵苯釉诳沼蚨酝枷竦南袼亟性怂愦，常见的是直方图处理和灰阶变革？沼蛟銮康囊熘饕侵狈酵挤，另有差影法和灰度变革法。

图像直方图（HE， Histogram Equalization）指图像中任意一个像素漫衍在某灰阶品级上的概率密度，反应出各个灰阶的漫衍概率，是一种经典的统计性质的图像增强处理法，用于增强动态规模偏小的图像反差，图像整体比照度获得明显增强。中选取合适的阈值做削波处理后，将有图像传感器爆发的灰阶图像中低于该灰阶的部分与高于该灰阶的部分做绝对黑白灰阶处理，比照度获得大大增强，有利于缺陷的视察与判定。

合适阈值消波是凭据差别应用场合有差别的阈值取值要领。二值化是最简单的处理要领，就是包像素点的灰阶值界说为0和255两种极端值，这样就可以让整个图像有突出的黑白效果，给图像设定适当的阈值，经过二值化处理后的图像数据量明显变少。别的另有全局阈值法，最小偏态法和自适应阈值等，全局阈值法是凭据整个图像的灰阶值规模来决定，就是取灰阶平均值阈值作为唯一的阈值进行二值化处理，有时取整个图像的灰阶值的直方图，进而确定合适的阈值，一般情况下选择两个波峰之间的波谷最低位置作为图像二值化处理的阈值。

关于最小偏态法，是随机样本的数据平均值是样品的一阶统计距，权衡数据的平均值，样本的方差是样本的二阶统计中心距，用来权衡数据的离散水平，偏态是样本的三阶统计距，用来权衡数据的正太漫衍。当阈值取得合理时，被阈值划分后的配景与物体的灰阶值漫衍就会最接近正太漫衍。自适应阈值支解法，是加入了学习的要领，能够凭据图像的差别，选择最优化的阈值。

直方图细分为直方图拉伸法和直方图均衡法，直方图拉伸法是通过比照度拉伸来调解直方图，进而增强前后景物的灰阶差实现增强效果
；直方图均衡法是领用累积函数来修正灰阶值从而抵达比照度增强的目的。直方图某种意思上也是图像支解的手段。直方图增强属于间接比照度增强要领，

差影处理法是将图像的配景去除来强化图像中新增加元素的差影处理手段。将标准图像部分与检测图像部分做差影处理，通过设定临界阈值也可以将图像中的缺陷部分找寻出来，是直方图二值化的另外一种体现形式 属于直接比照增强要领。

灰度变换法，灰阶变革是解决太过曝光或曝光缺乏而导致图像的灰阶值漫衍不均匀的问题，通过灰度变换包图像的灰度再一次均匀化来抵达图像增强比照的效果，扩大了动态灰阶规模，突出图像的特征。

图像锐化处理是指赔偿不清楚图像的轮廓，增强灰阶跳变的部分和图像的边沿， 因为图像平滑处理的同时也会破坏图像的界限轮廓，使得界限变得模糊。图像平滑的历程是一个积分或平均值的盘算，因此，锐化就是其反偏向的微分运算，具体要领有拉普拉斯算子，微分算子和Sobel算子。 拉普拉斯算子是欧几里得空间的一个二阶微分算子，体现为梯度的散度，在图像处理中被用于线性锐化滤波器使用。微分算子的物理意义，微分标识一个物理量的变革快慢，图像处理中微分预算的值愈大说明区域灰阶值的变革与快，边沿就会越突出。Sobel算子会爆发一个相应的梯度矢量，包括了两组3X3的矩阵，横向与纵向。边沿模糊是图像中的高频分量被衰减，所以，接纳高通滤波要领就可以让图像边沿清楚化。

关于频域增强要领是通过改变图像中差别频率分量来实现的，差别的滤波器滤除的频率和保存的保存的频率差别，可获得差别的增强效果，其要领办法分为先将图像从图像空间转换到频域空间，如傅里叶变革，然后在频域空间对图像增强，如玉频率滤波器相乘， 最后增强后的图像再从频域空间转化到图像空间，做傅里叶的反变换。

（3）图像剖析段（特征提取与模板比对）

图像剖析阶段就是将图像中包括的边，角和区域等拥有独吞属性的特征，使用数学手段通过编程实现图像属性的量化表达。进而进行图像的支解后比对完身剖析处理。

边沿的体现形式是组成两个图像区域之间界限（或边沿）的像素。 体现为局部一维结构。实践中边沿一般被界说为图像中拥有大的梯度的点组成的子集，可以认为灰阶相同点的荟萃。角是图像中点的特征，在局部它有两维结构，现在的主流算法是直接在图像梯度中寻找高度曲率，可以在图像中原来没有角的地方发明具有同角一样的特征的区域。区域的体现形式是面形式的区域结构，区域的巨细可能仅由一个像素组成，也可能是一个比较多的像素组成的面，如果面积比较大，则体现的形式即是灰阶值相同的区域。

特征提取的要领主要是HOG，LBP和HAAR三种主要手段，HOG （Histogram of Oriented Gradient）偏向梯度直方漫衍图，它的大致做法是将归一化的图像支解为若干小块，再在每一小块内进行亮度梯度的直方统计，最后将所有区块的亮度梯度的直方统计串联起来，就组成图像的HOG特征
；LBP（Local Binary Patterns）即局部二值模式，它通过遍历图像，将每一个像素点周围的像素与其相比较，比较值大于即是为1，比较值小于为0，得出四周的二值将这些二值连起来获得一个二进制的数，转换为10进制之后变为该像素的LBP值，所以LBP特征维度巨细是和原图一样大的（边沿部分会做特殊处理）。Haar特征起初是用于人脸体现。它包括了三类特征边沿特征的线性，中心和对角线特征，组合成特征模板。特征模板内有白色和玄色两种矩形，该模板的特征值为白色矩形像素和减去玄色矩形像素和。Haar特征值反应了图像的灰度变革情况。

图像支解主要有两种要领：一是鉴于怀抱空间的灰度阈值支解法。它是凭据图像灰度直方图来决定图像空间域像素聚类，但它只利用了图像灰度特征，并没有利用图像中的其它有用信息，使得支解结果对噪声十分敏感。二是空间域区域增长支解要领。它是对在某种意义上如灰度级、组织、梯度等具有相似性质的像素连通集构身支解区域。该要领有很好的支解效果，但缺点是运算庞大，处理速度慢。其它的要领另有如边沿追踪法、锥体图像数据结构法、标记松弛迭代法、基于知识的支解要领等等。  

特征提取后进入图像剖析阶段的逻辑比较阶段，主要包括了模板匹配和模式剖析二个方面。模板匹配就是先设定已知模板，已知模板是AOI检测中没有缺陷的实物影像或最小重复单位影像，通常情况下PCBAOI检测中以实物影像为已知模板，FPD AOI检测中则是最小重复单位。将收罗到的图像与模板影像进行重合比对，然后平移到下一个单位进行同样比对，泛起灰阶有差别的部分就被怀疑为缺陷，这里我们给灰阶差别设定一个阈值，当灰阶差凌驾设定阈值后，就被判定为真正的缺陷。从细节上讲，阈值的设定过于严格泛起误判的概率就会增加，而阈值设定过于宽松漏检出的概率就会增加，因此，被检测物体的特征提取可以提高比对的对位精度，进而对检测结果起到了决定性的作用。 

别的，缺陷部分是否上报时，系统算法主要有增加比对次数和规模（Multi check）。增加比照次数，也就是比对的维度从一维扩展到二维，甚至三维。以下图为例，当要判定红色单位是否为缺陷时，通常的算法是纵向或横向的一维比较，随着算法的逻辑关系的不绝优化，先进行纵向重复模板比照，再增加横向，对角线，甚至更外围的模板比较，可以大大提高检测结果的准确度。

别的，模板比较时即便进行了多次数比较，仍有禁止易判定的情况，这时可以追加多重判定算法，以下图为例，例如一种光源检测时所获得的信息往往是有限的，将多种光源扫描的信息合并在一起综合判定，会进一步提高判定的准确性。其中，典范的多角度判定要领之一是多重阈值设定模式（MTS：multi Thresholds system），针对差别缺陷物质的特性对差别波长光的敏感度差别划分设定阈值，一般收罗差别光学波长下的灰阶值，并追加三者之间判定的逻辑关系抵达提高检出正确性。在实际应用中，将以上要领相结合，通过对收罗图像进行预处理去噪，对影响增强，进行多重逻辑关系判定可以抵达很好的效果。

随着现代电子产品的高精细化生长，微小缺陷的检出要求越来越高，提高图像传感器解析度是一种比较直接的选择，对细微缺陷点，线宽有更强识别能力，但检测能力提升的同时，也必须考虑到设备本钱问题，IP（image  processor）处理量大，数据处理能力要求高，甚至泛起影响产能等负面问题，因此，不会单独提高硬件本钱，搭配合适的光源，提高后台算法逻辑对同一缺陷进行复判是各AOI公司重点研发的偏向。