应用于物体定位与检测的视觉技术的新进展

来源：automation New Developments in Vision Technology for Object Location and Inspection Several new techniques for directly training alignment tools synthetically using geometric descriptions are described. These techniques offer an alternative to training using acquired images, thereby addressing difficulties with image-based training such as limited accuracy and robustness due to variations in lighting and object shape. They include the ability to import CAD data for alignment, to directly edit high- level geometric descriptions for the purpose of optimizing alignment, and to generate and refine geometric descriptions in a semi-automatic fashion using specialized machine vision tools. An illustrative example of these techniques is provided in the context of a geometric description prototyping environment. 本文介绍了若干种综合使用了几何描述法并应用于直接式训练对准工具的新型技术。这些技术为使用已有的图像进行训练提供了一种代替方案，并解决了类似于由于照明情况和物体外形的变化而引起的精确度和鲁棒性受限的基于图像的训练所存在的问题。这些技术包括将CAD数据导入并用于对准的功能、直接编辑高级几何描述并以此对对准效果进行优化和使用专业的机器视觉工具以半自动方式产生并更新几何描述。文章在介绍一种几何描述建模环境时，列举了一个范例。 简介 最近几年，对准技术在工业应用领域有了质的飞跃。直至若干年前，规范化的灰度关联法代表了当时的最高水准，并提供了继早期的二进制搜索方法之后的重大的进步。特别地，规范化关联法提供了更高的精确度，并可以处理一定范围内的照明变化，而不用将图像分离成前景和背景。最近，在Cognex 公司引入其PatMax®技术后，机器视觉产品市场已经出现了多种多样具有极高精度的“几何”对准工具，这些工具可以处理严重的照明变化、物体尺寸与方向的变化和主要的挡光。 对准工具典型的配置或者“训练”方式是，提供一张包含有即将要定位的物体的外貌的图像，并指定相当数量的运行参数（例如，位置的不确定范围）。基于此种训练方式的几何对准工具在需要对物体位置进行精确测量的定位导向应用场合（例如，汽车装配和半合导体制造）和需要进行姿态估计以形成检测和测量的预设值的质量控制应用场合（例如打印质量检测）已变得非常重要。 尽管这种功能强大的“显示即可行”的方法已经在众多应用领域取得了瞩目的成功，但是它依然受限于一系列条件。这些限制条件（马上会详细讲解）包括缺乏可供训练的高质量图像、物体外形的非线性变化、无法精确确定物体的坐标系与无法利用从CAD数据得到的几何信息。由于受制于这些因素，人们希望能有一种可综合使用由诸如圆弧、线段、圆、椭圆、样条曲线甚至是“线-框”等高级几何元素组成的几何描述对象对对准工具进行直接训练的代替方案。如此一个代替方案涉及多重级别的功能，包括能够导入CAD数据进行对准、能够直接编辑几何描述对象完成优化对准目标、能够通过使用专业的机器视觉工具以一种半自动的方式产生与精简几何描述对象。 基于图像的训练存在的不足之处 基于图像的训练的第一个问题是难以获得用于训练的对象的高质量图像。其次，一件物体的所有图像的几何特征是连续的，但是单张图像在与不稳定的人为照明因素（例如阴影）或者从训练场所中其它物体和物品所凸现的特征进行对比时就会模糊不清。由于对准工具只能达到其所受训练的模型的精度，带有噪声或者画面凌乱的训练图像将极大地降低对准结果的准确性和鲁棒性。 基于图像的训练的一个相关问题是其无法为由于照明效果或者生产容许范围内的实际物理变化所引起的物体外表的某些非线性变化提供补偿。打比方说，这通常是物体上的陡峭的拐角在成像时从不同的角度看都是圆的原因所在。理想的情况下，这些变化不应被具体的包含在模型中，否则对准的结果将变得不准确。 基于图像的训练的另一个主要的困难在于需要精确指定即将要对准的物体的初始点和方位，这样做是为了达到很高精度的对准位置结果（有时低至一个象素的1/40。对准的结果不会比模型的坐标系统的定位更精确，但是其坐标系统通常都需要手动放置至物体的图像内。 最后的问题是，对于使用图像进行训练的对准工具而言，充分利用来源于物体的并常从CAD数据库得到的诸如尺寸和容许公差等几何数据显得有困难。同样的，仅仅靠指定参数化的外形（例如圆、矩形和十字形等）对对准工具进行训练也有困难。自然属性的尺寸信息很自然的在空间效率上要比从真实的图像抽取的特征高。此外，高级别的几何元素不仅能提供一件物体该有的特征的具体相关信息，也能（内在的）提供该物体可能丢失的特征的相关信息。例如，一个特定的物体是矩形的这样的信息可能可以被用于排除具有超出该矩形的四个角的需对准的备选特征。最后，充分利用物体的尺寸信息可使可能需要后续对准操作的深入检测和测量操作更加容易进行。 利用几何描述进行综合训练 利用几何描述对对准工具进行综合训练有两种基本方法：非直接方法和直接方法。非直接方法需要通过使用计算机图像技术对物体的几何描述进行渲染得到一副图像，再对对准工具进行训练。尽管这类方法在不用改用下面将要阐述的对准工具技术的情况下就已经解决了上述提到的基于图像的训练遇到的许多问题，但是，这类方法依然深受在实际的渲染过程中丢失有价值的几何信息的问题的困扰。不仅仅物体的具体尺寸无法从渲染的图像恢复，最终得到的对准工具的模型的精度也不可避免的受渲染图像的量化结果所限。此外，对用于在CAD数据中常遇到的具有无法用封闭曲线描述的几何特征的物体进行对准操作的对准工具进行训练已变得异常困难。 另一方面，直接综合训练方法只需利用几何描述本身对对准工具进行设置即可，此处的几何描述要求对准技术可通过扩展从而可以理解高级别的几何体，此处的高级别几何体是相对于从训练图像中抽取出来的区域或者封闭曲线生成的低级别几何体而言的。这种理解的结果催生了一种与通过物体的渲染图像进行训练产生的对准模型完全两样的对准模型，因为它在一定的程度上保留并应用了高级别的几何约束条件。 生成几何描述的方法 如前文所提到的，生成一件物体的几何描述的其中一种方法是通过导入CAD数据库（例如一个后缀名为.DXF的文件）的数据，或者（类似的）通过解释由用户输入的形状和尺寸信息（例如，基准标志的尺寸）。但是，需牢记在心的是，用于描述物体的物理尺寸的高级几何元素并不总是适用于高精度对准。首先，有些建模的物体边界在物体的图像中可能由于照明效果而不可见。其次，某些尺寸由于生产的高度变化性而变得不可靠。 但幸亏几何描述本身十分容易进行编辑。具备将CAD描述导入其中并对这些描述进行编辑以期优化对准的性能的能力是一种功能非常强大的方法，该方法最近已应用于若干个实际例子（例如印制电路板中表面贴面器件的放置）。使用编译器，用户剋删除不可靠的几何元素，补画CAD描述中由于某种原因丢失的几何元素，或者移动或者修改几何元素以便更好的与物体的图像中实际存在的特征匹配。所有的这些编辑操作可能在几何描述本身的坐标系内就可完成，或者可以在物体的实际图像的上方完成操作。后面这种情况下，物体的图像为用户提供了物体外形的一个粗略导向，这样可以对几何描述进行优化，也可以对用于在每次编辑后对瞄准工具进行交互式测试的数据进行优化。在某种意义上，该编辑器是一个真正的交互式建模环境。 该编辑器另一个非常有用的特色是其具备可以通过使用专业的机器视觉工具以一种半自动的方式进行几何描述的创建与简化的功能。这类专业工具粗略可分为两类：自动从物体的图像抽取可靠的高级别元素的工具与可简化或者“快拍”高级别的几何元素以与物体的图像中明显具有的特征保持一致。 几何抽取工具对于CAD数据无法获得的情况或者当来自于CAD数据的重要的几何描述元素丢失的情况都有好处。这对于具有复杂几何形状的物体尤其有用，否则该物体需要由用户反复进行画图或者输入数据。理想状态下，用户只需选定他为了对准而所需要描述的图像中的特定图形区域即可，而这种做法使得该工具可以分析该区域，以达到产生能反映该区域的特征的高级别的几何元素。 类似的，可简化几何描述的工具在CAD数据并不能准确描述图像中的物体的典型外形的场合。这些工具在CAD数据无法获得而几何抽取工具由于某种原因失效了或者不合适的场合下也是有用的，而这需要在物体的图像的辅助下手动对几何元素进行描画。在这些情况下，简化工具极大的降低了数据需要准确地描画或者指定的要求。 应该注意的是，这些专业工具是专门作为建模任务的一部分而不是整个生产过程的一部分的“离线”使用设计的。出于此目的，只要这些专业工具的执行时间不会缓慢（典型值为几秒）到令人生厌，则执行时间不是很重要。出于同样的理由，只要有人工方式（例如，图像的）提供支持，则即使这些工具偶尔失效，那也是可以接收的。即使偶尔会失效，使用这类工具生成一个有效的几何描述所需的平均时间也得到大大的减少。很自然的，放宽了这些条件会降低所得到的对准工具的性能。生成对准工具是整个生产过程中必须执行的一部分，而典型的执行时间为几十毫秒，典型的成功率为99.99％。 使用几何描述法的新式对准工具 过去一年里，Cognex公司引入了可直接从几何描述对对准工具进行综合训练的技术，该技术是其PatMax对准技术的一个标准化部分。一种几何描述法目前被指定为“线-框”元素（如图1所示）的2维放置方法。每一个线-框都是由用于对物体的高对比度边缘进行建模的圆弧和线段前后连接的一部分。线-框可以是封闭的或者是开放<