直接使用 PLC 做图像处理 TwinCAT Vision — 机器视觉直接集成入 自动化系统

产品的自动检测、可追溯性和质量控制在各个生产阶段都变得越来越重要。这些趋势也受到价格经济的相机和高性能计算机的推动，使得图像处理技术的应用领域比以前广泛得多。图像处理在很多方面都比人眼视觉检测有优势，特别是对于质量控制来说。基于图像处理的光学检测具有高重复性和高确定性的特点，可以轻松地实现精确到微米级的测量，而人眼视觉几乎无法实现这一精度。

传统上，在自动化应用中，图像处理以前一直是分开进行的，通常会外包给系统集成商。同时，PLC程序员已经涉足运动控制、安全技术、测量技术和机器人等多个学科。现在可以将所有这些功能整合在同一台计算机上的同一个控制系统中。然而，图像处理通常保留在单独的高性能计算机的黑盒子中，具有特定的配置工具和编程语言，或者直接在特殊配置的智能相机中进行。使用一台单独的计算机的缺点是，即使是最小的变化，也需要由专家进行输入，而不是PLC程序员，从而产生不必要的花费。如果还有第三方系统集成商参与，则专业知识仍然来自外部。另外，图像处理和控制系统之间的通信也需要控制，而且这个过程很容易出错，因此无法保证图像处理中的精确时序。外部进程（如操作系统）会影响处理时间和传输时间，因此结果可能无法在所需的时间间隔内到达控制器。

全新的TwinCAT Vision软件将这两个世界融合到一个集成式系统中。配置，特别是相机配置，与现场总线和运动轴的配置都在同一个工具中进行。编程时，可以使用熟悉的 PLC 编程语言。这样可以节省大量开发成本，因为不需要学习特殊的编程语言，也不需要使用特殊的配置工具。图像处理和控制系统之间的通信变得简单，而且图像处理和控制组件相互之间可以直接通信，开辟了全新的应用可能性。所有一切都集成在同一个工具和运行时环境中 — 这是TwinCAT Vision的创新能力核心所在。

架构

基于PC的自动化系统将PC平台上的所有控制功能整合在一起，因此使用千兆以太网接口可以带来诸多好处。GigE Vision是一种基于千兆以太网通信协议开发的相机接口标准，能够可靠快速地传输相机图像数据。TwinCAT Vision可以提供一个实时的以太网接口驱动程序，能够将图像数据直接保存在控制器内存中。TwinCAT Vision同时也是个开发的系统，支持GigE Vision协议，可以使用不同制造商生产的相机。

建立连接后的第一步通常是对相机进行配置。生产带GigE Vision接口相机的制造商会提供 GenApi 格式的配置说明。TwinCAT Vision配置工具读取参数并将这些参数排列清晰地提供给用户。可以快速方便的进行一些配置修改，如调节曝光时间和设置感兴趣区域，并能够在相机的实时图像中查看结果。

除了相机配置工具之外，TwinCAT Vision还提供另一种几何相机校准工具。这决定了用于描述从图像坐标系向真实世界坐标系映射的参数，反之亦然。它也能够将图像中的位置与真实世界坐标系关联起来，并将测量结果从像素转换为公制单位。除了透视失真之外，它还考虑了透镜的非线性失真，这些失真可以在图像中以可见变形的方式查看。

在校准相机时，首先需要一个或多个合适的校准图案的图像。这些图像可以在开发工具中直接获取，或者可以导入现有的图像。在指定好校准图案后，开始自动计算参数。除了标准的2D图（如棋盘图案或者对称或不对称的圆形图案）之外，用户也可以读入他们自己的图案，它们有可能也是3D图案。相机校准工作也可以在PLC中进行。

使用 PLC 做图像处理

原始图像通过GigE Vision直接从相机传输到PLC的路由器内存中。为此，必须将相机设置成图像采集状态，并必须根据相机配置触发单张图像。软件功能块FB_VN_GevCameraControl 可用于实现此过程。对于非常精确的触发时序，可以使用倍福I/O系统中基于时间戳的EL2262输出端子模块，它可以用于以微秒精度向相机发送硬件触发信号。由于所有一切都是在高时间精度下实时进行的，因此图像采集和轴位置可以高精度同步 — 而这对PLC程序员来说早已司空见惯。

很多相机也可以在事先定义的事件发生时（例如开始捕捉图像时）发送输出信号。这些信号可以使用倍福的数字量输入端子模块采集，然后在PLC中用于精确同步，等待进一步处理。

TwinCAT Vision在PLC中提供了一个包含众多图像处理算法的新图像处理库。例如，图像可以在预处理过程中缩放或转换为所需的色域，某些特征可以通过滤镜功能进行强调或弱化处理。

然后可以通过阈值对图像进行二值化，再对所生成的图像进行轮廓跟踪。以这种方式找到的轮廓可以根据它们的特征进行过滤，从而产生各种有趣的图像轮廓或图像区域，反之又适合将它们用来识别和测量物体。使用事先校准好的相机，特征点也可以转换回到世界坐标系，从而可以在真实世界坐标系中精确指定位置和测量数据。

将TwinCAT Vision集成到TwinCAT实时环境中后就可以通过看门狗来监测图像处理功能的时序，看门狗会在规定的时间后或从处理周期开始的某个时间点中断功能。同时，可以将在当时可能可用的部分结果提供给用户。此外，可以通过作业任务将合适的图像处理功能自动分配给多个CPU核进行并行处理，从而使得TwinCAT Vision能够充分利用TwinCAT 3中的多核能力。

在分析和显示结果的过程中，所有图像都可以以图片的形式表示，而不仅仅是二进制数据的形式表示。在此之前，可以将结果（如位置信息）写入并绘制到图像中。比如过滤后的图像轮廓的颜色代码标记或工件的好/坏标记。用户仅受图像边界的限制。图像可以直接在TwinCAT开发环境中的ADS Image Watch中显示，也可以在TwinCAT HMI中显示给最终用户。

结合PLC和图像处理于一体的通用工具

TwinCAT Vision将传统的自动化技术与图像处理完美结合于一体，使用起来特别方便。在开发环境方面，相机配置和几何相机校准直接在TwinCAT开发环境中进行，无需使用其它工具。图像处理编程使用的是PLC程序员常用的语言，即IEC 61131-3编程语言，这也表示无需学习特殊的编程语言。另外，可以直接在下一行代码中直接对PLC中的图像处理结果进行响应。实时触发相机后，图像捕捉和PLC或运动控制可以完全同步。图像处理算法在TwinCAT中实时计算，确保通过看门狗实时同步地执行和监测任务。TwinCAT Vision利用TwinCAT3的多核能力在多个可用的核上自动执行算法。这种并行处理能力使得用户无需进行特殊编程。

TwinCAT Vision的目标用户是那些面对必须在控制系统内处理视觉任务的挑战和机遇的用户，或者想要这样做的用户。TwinCAT Vision可以无缝集成到控制系统中，易于操作和编程。当然，它也适合那些需要图像处理、PLC和运动控制之间高度同步的用户。由于不再有延迟处理，并且算法处理时间可以监测，因此系统能够直接且高确定性地进行响应。

使用 TwinCAT Vision可以轻松执行典型的图像处理任务，例如查找和识别或测量工件。除了PLC、运动控制、机器人技术和测量技术之外，TwinCAT用户现在还可以将图像处理添加到 TwinCAT 系统中的集成式功能列表中。