机器视觉的设计技巧
机器视觉能够通过自动化解决方案解决多种应用，能够提高生产效率，降低成本，以几近零瑕疵和零召回率提升客户满意度。为了最大化机器视觉的效用，集成商必须聚焦于集成系统的设计。不管机器视觉被用于基本的自动化检测还是高精度视觉导向自动化，精心构思和开发的设计都是实现投资高回报率的关键。机器视觉系统的核心在于视觉子系统和运动子系统的整合。为了使这一设计的核心环节顺利进行，需要提早准备精确的物料清单，降低由于运动和视觉组件不协调所带来的风险，减少集成时间和成本，同时确保实现机器视觉的各种好处。
集成机器视觉设计
在一套集成机器视觉系统中，运动系统和视觉系统可以在不同层级进行交互作业，从基本的信息交换到高级的视觉反馈。交互的层级取决于设备的要求，也就是所谓的顺序、准确性和精度以及设备所需完成的任务的自然属性。根据运动系统和视觉系统之间的不同交互作业层级，可以依据如下四种不同的集成种类来完成系统设计：协同集成、同步集成、视觉引导运动和视觉伺服控制。为了达到高回报率，设备在投运时必须能够满足特定的要求，并且在应对新工艺和产品改进时能够实现良好的升级。因此，集成商必须首先定义当前和未来的需求，并根据这些需求决定最适合项目的集成种类。
视觉导引运动控制系统的设计依循如下控制循环：感知、决定、执行。NI LabVIEW 软件集成了机器视觉、运动和其他组件。图片来源：National Instruments 公司。
协同集成
协同集成是最基本的集成方式。采用这种方式进行集成，运动系统和视觉系统能够交换基本信息，例如速度和时间。在运动系统和视觉系统之间的通讯时间通常是几十秒。一个协同集成的例子就是纸病检测系统（Web Inspection System） 。在纸病检测系统中，运动系统移动纸张，通常移动速率恒定，视觉系统发出脉冲链以触发摄像头，使用摄像头扑捉到的图像来监视纸张。视觉系统需要明确纸张移动的快慢，以确定触发摄像头的速度。
同步集成
同步集成系统中，运动系统和视觉系统通过高速I/O触发实现同步。运动系统和视觉系统之间的高速信号用来触发这两种系统之间的事件和通讯命令。这种I/O同步能够有效地使不同系统中的软件程序达到同步。高速分拣作业就是一个同步集成的典型例子，通过图像属性，例如颜色、形状或者尺寸，将目标进行分拣。
高速分拣作业中，视觉系统触发摄像头，采集正在通过摄像头的零部件的图像。运动系统使用同样的触发信号来获取零部件的位置信息，然后，视觉系统分析采集到的图像，以确定被检测对象是否出现在合适的位置上，如果答案是肯定的，那么就将这个位置信息存储下来。由于传送带的移动速率是恒定的，运动系统就能够使用这个存储下来的位置信息来触发一个位于传送带下游的空气喷嘴。当零部件到达空气喷嘴的位置，空气喷嘴就会被触发，将此零部件移动到另一条流水线上，将具有不同颜色的零部件区分开来。高速分拣作业广泛应用于食品工业，以区分产品的种类或者筛选不合格品。它具有很高的吞吐量，能够减少劳动力成本，极大地降低了由于人为失误所带来的次品率。
视觉导引运动控制
视觉导引运动控制系统中，视觉系统为运动系统提供一些引导，例如零件的位置或者零件摆放朝向上的误差。由于这是一种更加先进的集成类型，所以在运动系统和视觉系统两者的交互作业中多出了一个层级。例如，你能够在视觉导引中加入高速I/O触发功能。
视觉导引运动控制系统的一个例子是柔性进给。在柔性进给作业中，零件的摆放位置和朝向是随机的。视觉系统采集到零件的图像，确定零件的坐标，然后将这个坐标数据发送给运动控制系统。运动控制系统使用这些坐标将执行器移动到零件所处的位置并抓取零件，还可以在放置零件之前校正零件的朝向。有了这种配置，就无需在抓取和放置作业之前使用固定装置来限制零件的朝向和位置。在放置作业的同时你还可以完成检查作业，例如，视觉系统可以检查零部件是否有瑕疵，并向运动控制系统发出剔除指令，执行器就能够将瑕疵品剔除，而不是将其放回传送带。
在视觉导引运动控制系统中，视觉系统只在运动的开始才向运动系统提供导向。在运动过程当中或者运动过程结束之后，并不使用反馈来验证运动是否正确。由于缺乏反馈，在像素-距离变换过程中容易产生运动误差，而且运动的精度完全依赖于运动控制系统。在毫米级运动和低于毫米级运动的高精度应用中这种缺点尤其明显。
视觉伺服控制
图中所示为高速分拣作业中的同步集成。
图片来源：National Instruments 公司。
如果视觉系统能够在运动过程中为运动系统提供连续不断的反馈，那么视觉导引运动控制的缺点就能够被克服。在视觉伺服控制系统中，视觉系统不仅仅能够为运动系统提供初始导向，还能够在运动的过程中提供连续不断的反馈。视觉系统采集、分析并处理图像，以位置设定点的形式提供反馈信息，实现定位循环（动态观察并移动）或者实际位置反馈（直接伺服）。视觉伺服控制系统降低了像素-距离变换过程中的误差，提升了现有自动化系统的精度和准确度。有了视觉伺服控制，那些一度被视为无法解决的问题就迎刃而解了，例如那些要求实现微米级或者低于微米级的应用。视觉伺服设备，特别是那些基于动态观察和移动的方法，得益于现场可编程门阵列（FPGA）技术的发展，变得越来越可行，FPGA技术能够为那些对于时间很敏感的处理作业提供硬件加速，其反馈速度也足以使运动作业中的快速控制循环形成闭环。
设计上的挑战
• 互操作性和技术支持
运动系统和视觉系统的组件选型、安装和配置是一项富有挑战的任务。集成商通常从多家供应商选择运动组件和视觉组件，这些组件并不一定能够实现互操作，且供应商能够提供的技术支持也并不完备。这些因素极大地延误了设备集成耗时，导致了更高的集成成本。
解决方案：在设计机器视觉系统时，首先考虑直接可用的集成机器视觉解决方案。这些集成解决方案并非所有供应商都能够提供，但是它们可以快速投入使用。这些解决方案具有更短的集成时间，可以更快速地启用。所以，如果一种标准集成解决方案能够满足需求，且价格合理，那么它就是首选。
第二个选项就是考查运动组件和视觉组件的供应商，或者至少是可编程运动组件和视觉组件的核心部件供应商。优秀的供应商能够保证部件之间的兼容性、统一的编程环境和技术支持。这些因素能够显著地降低集成耗时。第三个选项是合作供应商，如果供应商之间存在合作关系，那么他们通常都会对合作伙伴至少一部分产品提供接口解决方案，相关的兼容性问题也有据可循。
不管何种选择，都要评估能够从供应商处获得的技术支持。如果需要，可以对技术支持做预算并支付费用，例如有偿电话服务或者系统工程师的针对性服务。在高性能应用领域技术支持越来越重要，如果供应商能够提供良好的技术支持，那么就能够极大地缩短集成耗时，进而减少集成成本。
视觉导引运动控制框图包括控制循环、传感、判断和执行。
图片来源：National Instruments 公司。
• 软件编程
更高的软件性能是实现视觉导向运动解决方案不可或缺的一部分，但是软件集成上的挑战仍旧是集成商和生产厂商所面临的最主要的难题。通常，运动组件和视觉组件具有两种不同的编程环境。分别针对不同的编程环境进行研究需要花费大量的时间，即使已经熟悉了两种编程环境，在两者之间传送、翻译指令和信息也是十分繁琐的。集成HMI和I/O端口进一步增加了难度，也增加了集成耗时。在不同种类的通讯总线（例如GigE、Careralink和EtherCAT）之间完成硬件集成也使这个问题更加复杂。
实时和FPGA编程以及用户自定义功能通常都是高速视觉导引运动控制系统、视觉伺服系统和高自定义应用所要求的，例如生物医药和生命科学领域。通常，供应商提供的任何自定义功能都花费不菲。用户自定义如果可用的话，也通常都处于硬件层级编程，要求非常高的专业知识且需要对供应商的硬件非常熟悉。
单一环境更加简单
选择一种便于上手且便于跨硬件平台和总线与运动、视觉、HMI和I/O集成的编程环境。这种编程环境必须也支持自定义实时和FPGA编程，以同时应对当前应用和下一代机器视觉应用。这种环境必须配有相应工具，能够快速完成建模，并对设备的机械组件和视觉组件进行早期验证。
质量、控制、效率和更低的成本
一套设计精良的机器视觉系统能够辅助生产厂商提升产品质量、改进过程控制、提高生产效率，同时还能够降低总成本。一套优秀的机器视觉设计始于运动-视觉集成类型的选择，而这种选择又依赖于自动化作业的种类。为了能够成功完成这种设计的开发，集成商必须就互操作性和支持服务的质量等方面仔细考察运动器件和视觉器件供应商。集成商必须选择一种统一的编程环境，并藉此顺利实现硬件集成。在应对高度定制和十分先进的应用时，集成商应该选择那些容易实现自定义操作并支持实时FPGA编程的软件平台。
——Priya Ramachandran，National Instruments公司的高级工程师。
机器视觉缩短组装耗时
光伏模块的生产厂商正在使用更多的自动化设备来提升自身的竞争力。完美的焊点有助于提高光伏模块的效率。始终如一的高产品质量和更短的循环时间使长期成本得以降低。正如同其他领域一样，对于越来越多的公司来说，图像处理正在成为一种非常重要的功能。在Mondragon Assembly公司的全自动焊接系统中，智能视觉系统优化了光伏模块中交叉连接的焊接工艺。
做到完美焊点的重要因素就是最大的接触面积、高强度的焊料以及很小的接触电阻。这三个决定了导通性和电流，高导通性和电流能确保太阳能电池组件具有高等级的转化效率。
并行工作节省时间
在视觉系统对焊点进行精确定位之前，由镀锌铜线构成的交叉连接被插入系统，线头剥掉大约5毫米。拉伸站能够防止产生波形瑕疵和月形瑕疵。使用气动剪将其剪切成常用尺寸的产品，随后使用真空夹将交叉链接分别放置在面板上，直到这些交叉连接构成完整的电路。然后使用气动夹将这些交叉连接作为一个整体移动到光电模块上。这种方法具有先进的并行焊接和并行定位功能，能够节省更多时间。
Mondragon Assembly 公司使用Cognex 公司的In-Sight5100 型智能视觉系统来优化其光电模块中交叉连接的感应焊接工艺。图片来源：Cognex 公司。
焊点进行可靠检测
这个工艺在模块的正面和背面同时进行。在每一面，配有智能视觉系统的两个感应焊接头在工作区域移动。其支持顶部照明，便于系统识别预定义的焊接点，视觉系统同时检查每个目标位置，位置信息被存储于每种类型特定的描述中。对比实际位置和目标位置的偏差，并将此偏差发送给控制系统，如果偏差在容差范围内，那就可以喷洒焊剂，开始焊接，有瑕疵的焊点只能手动返工。焊点本身的质量检查由自动焊接设备完成。
视觉功能使生产加速
配备了机器视觉后，Mondragon Assembly公司使循环时间缩短至80秒，比手动生产要快得多。除此之外，快速的生产由独立的系统实现，压缩图像处理系统的操作也很便利，设备使用更加快速。
即使没有现场图像处理或者编程的详细知识，生产配置也可以简单快速地完成。使用电子表格接口，类似应用程序的配置尤其迅速。复杂的应用程序可以使用功能更强大的工具版本。机器视觉软件中的图像开发平台提供了多种开发、管理和监控工具，基于被大家熟知的微软Windows环境，视觉应用的开发周期更短，功能可靠性跟高，系统灵活性也更好。
全球通用的优势
Mondragon Assembly公司也有国际项目和售后服务，此系统便于使用，即使缺乏现场图像处理系统相关知识的未经严格培训的工程师也能操作这种设备。
系统颇具灵活性，可以作为独立的解决方案使用，无需中央控制系统。无需使用中央服务器，所以即使没有IT专家，一样可以进行维修和维护作业。基于这些原因，用于光伏模块交叉连接的视觉焊接系统实现了面向应用的作业方式，而且循环时间更快，焊点具有始终如一的高质量。
- John Lewis，Cognex公司市场开发部门经理。
视觉导引机器人提升生产力
自动化石油工具组装：机器视觉定位零件，并使用一台机器人夹取零件，检查管的直径和位置，然后使用另一台机器人完成螺纹安装，无需固定装置或者精确的定位。此应用可能会引出新一代视觉机器人，提升石油工具的生产力和质量。
两台机器人一起工作，螺纹旋紧机器人在左侧，零件夹持机器人在右侧。图片来源：Cognex 和JMP Engineering 公司。
在裸露的螺纹管道上安装螺纹保护装置是一项困难且耗时的工作。在此台设备之前，业界没有能够完成此作业的自动化技术，因为此项作业的复杂度较高，且螺纹保护器和管道的尺寸和类型太多。JMP Engineering公司与一家石油工业生产厂商合作，开发了一种灵活的自动化处理过程，使用机器视觉指引两台机器人，处理各种零部件，无需编程就可以轻松配置以适应未来的产品变化。
JMP Engineering公司能够将机器视觉功能和机器人集成在一起，应对那些零部件不能精确放置、不能固定放置以及不能明确分开放置的应用领域，其项目经理Scott Pytel说道：“应用成功的关键在于采用了机器视觉来定位零部件，第一台机器人夹取零件，检查管道的直径和位置，然后第二台机器人完成旋紧作业。”
螺纹保护器被安装在石油和天然气管道上，以防在运输过程中螺纹受到破坏。这一系列产品需要较高的容量装配，石油工具生产厂商希望能够以每分钟三个的速率装配螺纹保护器。高扭矩气动工具能够完成这个任务，但这需要大量的人力。
机器人从纸箱中夹取用纸板隔开的分层排列的螺纹保护器。图片来源：Cognex 和JMP Engineering 公司。
在箱体夹持作业中，螺纹保护器被放置于纸箱中，使用纸板隔开。机器视觉系统搭载于机器人手臂上，视觉系统包含工业机器视觉摄像头，标配高速机器视觉通讯接口，与工业计算机上安装的板卡连接。摄像头外壳上安装的发光二极管（LED）能够发出红光，帮助在图像采集过程中克服环境照明的影响。
JMP公司程序员使用Microsoft Visual Basic来编写图形用户界面，从机器视觉软件库中调用视觉工具来完成视觉作业，此软件库能够提供预先配置好的具有高集成度的采集功能，支持工业摄像头和视频格式。
一台具有55.2英寸横向宽度和80公斤有效负载能力的多功能机器人将摄像头移动到纸盒箱上方，然后发出信号说明摄像头已经到达位置，然后采集纸盒箱的照片。PLC向视觉系统发出采集照片的指令，摄像头采集照片，而视觉工具会识别纸盒箱中每一个螺纹保护器的位置，在图像中识别每一个螺纹保护器，然后计算方位。Visual Basic界面将图像中的像素数据转换成机器人控制系统能够使用的毫米数据。
PLC命令机器人从纸盒箱中夹取一个螺纹保护器，螺纹保护器具有11种尺寸，从4英寸到8英寸不等。视觉系统针对每一种零件编号进行了培训，能够识别正确零件的位置，还能检测目标尺寸零件中混杂的不同尺寸的零件。
Cognex VisionPro 采集到的螺纹保护器纸盒箱的照片。
从零件视角看到的纸盒箱夹持机器人，摄像头在右上方。
旋紧机器人在接近管道。
Cognex VisionPro 应用程序中显示的纸盒箱图像（左侧）和管道图像（右侧）。图片来源：Cognex 和 JMP Engineering 公司。
机器人将零件传送给另一个台机器人（同一型号），这台机器人负责将螺纹保护器安装到管道上。PLC能够存储纸盒箱中一层零件的位置，命令机器人将其一个一个地夹起。当纸盒箱的一层被取空时，机器人就会掀开纸板，然后摄像头会对下一层螺纹保护器再次采集图像。
第二台机器人将螺纹保护器搬运至用来固定石油管道的装置附近，管道需要旋紧保护的一端暴露在外。
安装在第二台机器人上的工业机器视觉摄像头定位管道，准备完成螺纹保护器的安装。红棕色灯光倾斜照射在管道上以产生阴影，便于实现精确的管道直径测量。机器视觉软件检查管道直径，确保其余螺纹保护器相互匹配，并且更加精确地完成管道定位。机器人手臂配有一个装置，在管道螺纹与机器人手臂和螺纹保护器相接触时，便于旋紧螺纹保护器，将其安装到管道上。
Pytel认为此项应用可能“引领下一代的视觉机器人，帮助提升石油工具领域的生产率和质量”。
——John Lewis，Cognex 公司的市场开发部经理。
使用机器视觉制造更高效的设备
具有成本效益的高性能机器视觉工具帮助设备制造商提升精度和产出率，这得益于一种使用4个摄像头、一个控制器和一个高速通讯的新型设备设计。
如果你最近没有在自动化流水线或者设备上集成机器视觉功能，你就会错过一些功能强大且具有成本效益的解决方案。Andy Wright是Istech公司的自动化工程部门经理，他为企业提供自定义自动化解决方案，这些自动化解决方案采用了先进的计算机和自动化技术，可以用于各种工业领域。
公司为企业提供自定义自动化解 决方案，这些自动化解决方案采用了先 进的计算机和自动化技术，可以用于各 种工业领域。GigE 摄像头识别并定位 取样片和盖子的特征。Teledyne Dalsa Sherlock 视觉软件执行计算，得到X、 Y 坐标和旋转校正值，Epson 机器人使 用这些数据数据进行定位，将盖子放 置在取样片上。图片来源：Teledyne Dalsa 公司。
Istech公司的第一个采用新型视觉平台的项目需要为一家医疗器械行业的公司Conductive Technologies设计并建造一套自定义装配设备。此设备需要将盖子——一卷可以像标签一样撕下来的透明塑料片——放置在多片塑料培养基上。每一片上具有6个丝印培养基或者取样片。为了能够将盖子可靠精确地放置在培养基上以达到生产目标，盖子的一系列属性需要与相应的培养基匹配。工厂车间的工作人员一度需要手动完成这项作业，然而，手动作业缺乏一致性，且十分耗时，还无法达到所需的产出率和精度。因此，Istech公司的工程师设计了一套机器视觉系统，并将其集成到设备上。4个高解析度GigE摄像头与工业控制器相连，后者提供可扩展的Gigabit以太网摄像头接口，以降低多摄像头应用的系统成本。两个摄像头分别置于培养基的两侧；另外两个摄像头置于盖子的两端。
培养基被置于移动的真空吸附平台上之后，培养基摄像头能识别出6个培养基的位置。盖子摄像头识别并定位每一个盖子的特征，视觉系统软件平台计算并提供X坐标、Y坐标和旋转校正值。这些数据发送给Epson机器人，后者将盖子放置在每一个培养基上，热封机随后接触每一个盖子，这样6个培养基就完成了，随后这一片培养就被放置于存放区等待后续作业。机器视觉系统同步处理信息的能力对于此应用成功与否是十分重要的。为了获得所需的循环速率，Istech公司为机器人编程，使其提前工作。当一片培养基被从真空吸附平台上取下后，新的盖子就已经就位，等待下一片培养基被放置在真空吸附平台上。通常，取样片的视觉数据最先完成；但是，在培养基更换步骤中，盖子数据最先计算。摄像头提供的信息必须同步传送。
“此应用中的算法简单明了，”数据操作正是使机器视觉系统成功的关键。Conductive Technologies公司之前的手动安装需要花费好几分钟才能将盖子放置到一片培养基上。“我们的目标是30秒完成一片培养基，现在我们能够超越这个目标。”Wright说道。安装好的设备所具有的盖子放置精度远远超过了初始项目目标。机器视觉软件提供一种“具有成本效益的产品，同时具有功能强大的编程工具集”。
—— Maureen Clancy，Teledyne Dalsa公司的市场项目经理。