机器视觉中的相机基础知识
2012/10/23 11:52:51
相机的目的是将通过镜头投影到传感器的图像传送到能够储存、分析和（或者）显示的机器设备上。可以用一个简单的终端显示图像，存储系统例如可以用磁带存储图像，或者利用计算机系统显示、存储以及分析图像。
近几年里相机技术有了长足的发展，而电荷耦合器件（CCD）的发明更是给相机带来革命性的发展。大约二十年前，摄像管作为相机的传感器件，这意味着相机的尺寸很大并且严格受限于电视设计者制定的标准视频时序。
这样的技术不适合于工业应用或科学应用的原因有很多（如尺寸大小以及鲁棒性），但主要原因还是为了与通过视场的产品同步，需要经常控制/重设相机的时序。
当今机器视觉相机设计精密，提供完整时序控制，高速快门，灵敏度以及其他重要性能。
相机结构紧凑，机器视觉开始被越来越多地应用于工业和科学部门，代替接触式测量系统，并且提供完全的QA检测（quality assurance checking）和自动控制。
两种主流的机器视觉相机是：面阵相机和线阵相机。
分开讨论两种类型的相机，它们通常被认为是两种完全不同的技术，尽管它们有许多相同的地方。
面阵相机
术语面阵（area－scan）表示相机传感器以一个面阵而不是以线列成像物体。面阵像机得到一个面的图像，通常的比例大约是4：3，源自于摄像管和广播规格，尽管如今的一些面阵相机传感器是正方形的，并不遵守“标准视频”格式。
如今，相机传感器由电荷耦合器件（简称“CCD”）制造，使用光敏材料将光子转换为电荷。数以千计的光敏二极管以矩阵的形式精确的安放一起，移位寄存器将每个像元内的电荷转化形成视频信号。
CCD和传感器技术
CCD的尺寸通常都是英制，但这并不能直接表示传感器的物理尺寸，这也是从摄像管时代遗留下来的惯例。普遍的“尺寸格式”为1/3、1/2或2/3英寸。
结合传感器特点，像素定位通常由CCD的类型决定。CCD的关键参数是填充因数（fill factor）、阱容量、快门速度和像素尺寸。
填充因数是实际感光像面所占的百分数，理想情况是100％，也就是有效像素占传感器面积的100％。然而，读出寄存器（readout registers）电路与抗光晕（anti-blooming circuits）电路降低了填充因数，有时能降低30％。这将导致灵敏度的降低以及产生走样影响（aliasing effects）。为克服这一现象，很多低填充因数传感器（通常是Inter-Line Transfer CCDs）采用微型镜头覆盖像元以增加有效填充因数。
CCD像素的另一个重要参数是“阱容量”（well capacity），能够测量像素容纳的电荷数量，提供传感器的动态范围。通常像素和填充因数越大，传感器的灵敏度越高，阱容量越大。通常CCD相机动态范围的限制因数是阱容量，而不是很多相机指定的读出电路和数字电路。
CCD芯片存在不同的类型，主要区别在于其CCD像素电荷转移的方式有所不同。Inter-Line Transfer（ILT）类型的CCDs是最普遍的一种，在感光像元之间插入不透明的像元作为存储和转移图像数据的移位寄存器。相对其它类型而言，其主要优势在于快门速度。然而较低的真实像素填充因数和更少的阱容量（动态范围）降低了图像质量。
视频标准和隔行扫描
在相机和其它设备例如TV监控器、视频帧接收器及VCRs之间传送视频信号的标准有好几种。这些标准提供了相互通信的一般方法。
每种标准定义了视频信号的时序，方向或图像中的元素（像元）数量。这种标准已经被设立了很多年，大部分内容都延续了摄像管和广播规格。任何遵守此协议的视频信号被称为标准视频。
欧洲最普遍的标准是CCIR（国际无线电咨询委员会Consultative Committee for International Radio）和PAL（逐行倒相彩色电视制式 Phase Alternation by Line）标准。在北美使用RS－170（EIA）和NTSC（美国国家电视标准委员会 National Television System Committee）标准。
CCIR和RS－170（EIA）是单色视频标准，PAL和NTSC是彩色视频标准。
Frame Transfer CCD
Frame－transfer
类型的CCD注重于将光存储区和有效成像区分开，因此有更高的真实填充因数（线阵中没有移位存储器）和更多的阱容量（给定的传感器尺寸的像元更大）。当制造的芯片尺寸（die size）必须更大时，这样一来会增加成本，均衡的办法是frame－transfer类型的CCDs的快门速度不需要设置太快。
很多年前，隔行扫描作为电视广播标准的一部分。主要是为改善有限带宽信号的运动错觉而开发。
对于CCIR和PAL制式，图像以每秒25帧的速度采集。隔行扫描视频由两个水平扫描场组成，奇数场（奇数水平视频线）和偶数场（偶数水平视频线）。术语隔行扫描表示了连续的水平场扫描方式，首先奇数场然后偶数场。扫描场需要50场每秒的速率扫描与25完全帧每秒相对应。
大部分监视器工作在这种方式下，实际上对人眼而言这种方式比非隔行扫描视频更加平滑，实际上是每秒50场的局部更新。
在机器视觉应用中，目标通常移动的很快。当采用隔行扫描相机时，在两个场之间移动的图像被捕获，结果得到的是模糊图像，看上去像被两次曝光要不就是垂直边有梳子状效果。在实际应用当中快速移动的物体需要全部的垂直分辨率，就是说使用逐行扫描相机。
为了解决模糊效应，将隔行扫描相机设置成单个场的读出方式，垂直分辨率减半但帧捕获速率提高到两倍（CCIR或PAL为速率50）。这种方式被认为是场模式或非逐行扫描输出，在机器视觉应用中非常有效。场模式能带来两倍灵敏度的优势，由vertical binning方式完成。
术语binning表示CCD传感器指定的读出模式，2个或更多像素被装在一起（‘binned’together）。像素上的电荷堆积累加降低了分辨率，但增加了帧速率，灵敏度和性噪比。
实际应用当中，如果快速移动的物体需要全部的垂直分辨率时，应该使用逐行扫描相机。
不支持非标准时序视频或对隔行扫描模式视频作任何改变。得到的将是非标准视频，会带来更加复杂的操作。
非标准视频
非标准视频具有下列属性：
一、非标准时序
视频信号和标准视频时序（如上节所定义的）不一致，不能被普通帧抓取器以及编解码电路处理。主要在于每秒的输出或多于或少于标准帧数（如两倍帧速相机和兆像素相机），或者在处理triggering/variable扫描设置时，这将在后面讨论。
二、非标准或兆像素分辨率
如今的相机开始朝着越来越高的传感器像素发展，图像分辨率得以提高。CCIR标准的传感器分辨率大约是768*576，目前已经被1024*768、1300*1030或更高分辨率的兆像素级相机超越，能够提供更大空间分辨率的视场。
逐行扫描输出
术语逐行扫描意味着整幅图像扫描而不是一次只累加一半的分辨率场。得到整个垂直分辨率的非隔行扫描视频，逐行扫描视频完全能够以最大分辨率捕获快速移动的物体。 部分的CCD传感器被制造成隔行扫描类型（比如应用于监视和电视类型）。因此逐行扫描相机比隔行扫描相机昂贵，但更适合于机器视觉领域。
有时尽管使用了逐行扫描相机，高速运动物体的成像也容易模糊。这是因为每次累加一段时间的视频图像（所谓的曝光时间）而这段时间内物体可能移动了一段距离。为了减少图像模糊，使用快门减少曝光时间。35mm相机使用机械快门而CCD相机使用电子快门。
提高快门速度缩短曝光时间，物体瞬间“冻结”消除模糊。大部分机器视觉都使用这类技术，尽管更短的曝光时间意味着相机灵敏度下降，这是由于传感器接收的光子减少。在高速快门下，需要更高的光强度（可以使用low F数值镜头）。
积分（Integration）
当结合相机谈Integration时，表示累积光子的时间元数量。这跟快门是相对的，用在黑暗环境下以增加相机的灵敏度。显然物体在积分时间内必须静止。
为了尽可能积累更多的光子，像元曝光时间多于一个视场的时间称为Long Term Integration（LTI）。最大时间受传感器热量噪声限制，尽管国外有些相机能通过制冷技术延长最大时间。很多机器视觉相机都有对LTI支持的标准特性。
异步采集
这一类的图像采集对机器视觉应用非常重要，物体在相机视场（FOV）内移动时，在适当的时间内采集图像至关重要。异步视频允许图像在一个精确的瞬间被采集。这种理念允许物体移动到FOV中心时相机时序重置到正确的时刻。
这种图像采集模式相对复杂，有大量的术语需要解释。
帧捕获器触发
标准CCIR时序视频是一个每秒采集25帧每帧之间固定40ms延时的连续图像流。如果帧捕获器接收到触发，开始储存或采集下一帧视频――这将会有最高为40ms的随机延时，并且不能与在相机的FOV中高速移动的物体异步。
高速移动的物体在40ms内移动相当的距离，因此不能从图像中估计物体的实际位置。机器视觉相机能通过触发信号（此信号可以来自于光学的或磁性对物体位置的捕获）异步重置。通常有两种类型的相机重置，线同步和像素同步。在线同步重置中，相机重置到下一个HD脉冲（Horizontal Drive pulse）。然而这并不是瞬间完成的，但对于大多应用场合而言延迟是微乎其微的。像素同步重置是瞬时的（相对于下一个像素时钟脉冲）因而也最为精确。
同步
当帧捕获器中断标准视频输入时，通常将很少的帧同步到视频时序脉冲上。当连接到重置过的相机上时，帧捕获器无法被原来的时序脉冲同步化而需要单独的时序信号驱动，这样帧捕获器才能解释输入的视频。标准的价格便宜的帧捕获器无法接收此类信号，需要使用可变扫描帧捕获器。所需的可变扫描时序信号为：
HD – 水平驱动时序
VD －垂直驱动时序(或WEN—允许写入脉冲时序)
像素时钟(可选择的)—高速时钟驱动CCD位移寄存器
当相机设为异步重置,所有同步信号HD和VD(或WEN)全部重置(伴随外部像素时钟)。理想的可变扫描帧捕获器被动地等待被相机时序信号驱动。以HD和VD（或WEN）控制帧的起始和水平时序的像素时钟被用来驱动帧捕获器的ADC（模数转换器）。另外还有其他的一些异步重置操作，但这些才是最简单适用的方法。
模拟或数字输出
从历史上来看，视频相机技术从摄像管输入到输出严格地为模拟信号。模拟视频信号适合直接连接监视器，视频记录器或者模拟帧捕获器。
CCD传感器也是模拟设备，第一代CCD相机注重和以往设备的兼容性，被设计成模拟输出。
如今的相机输出可能是模拟信号或数字信号，取决于相机是否包含ADC（模数转换器）和相关电路。
以模拟相机为例，复合模拟视频的输出信号伴有其它时序/同步信号。视频信号受带宽限制，电缆的模拟噪音约束。同样的，相机和帧捕获器的ADC之间的任何微小时序误差都将导致图像失真。
VDS RS－422
数字相机使用相同的CCD技术作为模拟模式但将ADC嵌入了相机内，ADC直接将视频数字化并输出不同形式的数字信号。数字化技术立即克服了许多模拟相机的缺点，提供了高保真度图像，尽管它的线缆变的更加复杂昂贵。
模拟视频输出
复合模拟视频信号将像素信息以及全部时序信号集中于一条电缆上，这使线缆更加简洁便宜。如果视频是可变扫描，则线缆附加一条额外缆芯，将变得略微复杂些但仍然相对简单。一些模拟相机是非标准慢速兆像素级输出或标准分辨率高速输出，但仍受带宽限制。同样的，模拟视频有限的动态范围通常让我们以8位（8bits）连接到帧捕获器上。
东莞奥普特自动化科技有限公司
http://www.optmv.com
联系电话：0769-82716188
近几年里相机技术有了长足的发展，而电荷耦合器件（CCD）的发明更是给相机带来革命性的发展。大约二十年前，摄像管作为相机的传感器件，这意味着相机的尺寸很大并且严格受限于电视设计者制定的标准视频时序。
这样的技术不适合于工业应用或科学应用的原因有很多（如尺寸大小以及鲁棒性），但主要原因还是为了与通过视场的产品同步，需要经常控制/重设相机的时序。
当今机器视觉相机设计精密，提供完整时序控制，高速快门，灵敏度以及其他重要性能。
相机结构紧凑，机器视觉开始被越来越多地应用于工业和科学部门，代替接触式测量系统，并且提供完全的QA检测（quality assurance checking）和自动控制。
两种主流的机器视觉相机是：面阵相机和线阵相机。
分开讨论两种类型的相机，它们通常被认为是两种完全不同的技术，尽管它们有许多相同的地方。
面阵相机
术语面阵（area－scan）表示相机传感器以一个面阵而不是以线列成像物体。面阵像机得到一个面的图像，通常的比例大约是4：3，源自于摄像管和广播规格，尽管如今的一些面阵相机传感器是正方形的，并不遵守“标准视频”格式。
如今，相机传感器由电荷耦合器件（简称“CCD”）制造，使用光敏材料将光子转换为电荷。数以千计的光敏二极管以矩阵的形式精确的安放一起，移位寄存器将每个像元内的电荷转化形成视频信号。
CCD和传感器技术
CCD的尺寸通常都是英制，但这并不能直接表示传感器的物理尺寸，这也是从摄像管时代遗留下来的惯例。普遍的“尺寸格式”为1/3、1/2或2/3英寸。
结合传感器特点，像素定位通常由CCD的类型决定。CCD的关键参数是填充因数（fill factor）、阱容量、快门速度和像素尺寸。
填充因数是实际感光像面所占的百分数，理想情况是100％，也就是有效像素占传感器面积的100％。然而，读出寄存器（readout registers）电路与抗光晕（anti-blooming circuits）电路降低了填充因数，有时能降低30％。这将导致灵敏度的降低以及产生走样影响（aliasing effects）。为克服这一现象，很多低填充因数传感器（通常是Inter-Line Transfer CCDs）采用微型镜头覆盖像元以增加有效填充因数。
CCD像素的另一个重要参数是“阱容量”（well capacity），能够测量像素容纳的电荷数量，提供传感器的动态范围。通常像素和填充因数越大，传感器的灵敏度越高，阱容量越大。通常CCD相机动态范围的限制因数是阱容量，而不是很多相机指定的读出电路和数字电路。
CCD芯片存在不同的类型，主要区别在于其CCD像素电荷转移的方式有所不同。Inter-Line Transfer（ILT）类型的CCDs是最普遍的一种，在感光像元之间插入不透明的像元作为存储和转移图像数据的移位寄存器。相对其它类型而言，其主要优势在于快门速度。然而较低的真实像素填充因数和更少的阱容量（动态范围）降低了图像质量。
视频标准和隔行扫描
在相机和其它设备例如TV监控器、视频帧接收器及VCRs之间传送视频信号的标准有好几种。这些标准提供了相互通信的一般方法。
每种标准定义了视频信号的时序，方向或图像中的元素（像元）数量。这种标准已经被设立了很多年，大部分内容都延续了摄像管和广播规格。任何遵守此协议的视频信号被称为标准视频。
欧洲最普遍的标准是CCIR（国际无线电咨询委员会Consultative Committee for International Radio）和PAL（逐行倒相彩色电视制式 Phase Alternation by Line）标准。在北美使用RS－170（EIA）和NTSC（美国国家电视标准委员会 National Television System Committee）标准。
CCIR和RS－170（EIA）是单色视频标准，PAL和NTSC是彩色视频标准。
Frame Transfer CCD
Frame－transfer
类型的CCD注重于将光存储区和有效成像区分开，因此有更高的真实填充因数（线阵中没有移位存储器）和更多的阱容量（给定的传感器尺寸的像元更大）。当制造的芯片尺寸（die size）必须更大时，这样一来会增加成本，均衡的办法是frame－transfer类型的CCDs的快门速度不需要设置太快。
很多年前，隔行扫描作为电视广播标准的一部分。主要是为改善有限带宽信号的运动错觉而开发。
对于CCIR和PAL制式，图像以每秒25帧的速度采集。隔行扫描视频由两个水平扫描场组成，奇数场（奇数水平视频线）和偶数场（偶数水平视频线）。术语隔行扫描表示了连续的水平场扫描方式，首先奇数场然后偶数场。扫描场需要50场每秒的速率扫描与25完全帧每秒相对应。
大部分监视器工作在这种方式下，实际上对人眼而言这种方式比非隔行扫描视频更加平滑，实际上是每秒50场的局部更新。
在机器视觉应用中，目标通常移动的很快。当采用隔行扫描相机时，在两个场之间移动的图像被捕获，结果得到的是模糊图像，看上去像被两次曝光要不就是垂直边有梳子状效果。在实际应用当中快速移动的物体需要全部的垂直分辨率，就是说使用逐行扫描相机。
为了解决模糊效应，将隔行扫描相机设置成单个场的读出方式，垂直分辨率减半但帧捕获速率提高到两倍（CCIR或PAL为速率50）。这种方式被认为是场模式或非逐行扫描输出，在机器视觉应用中非常有效。场模式能带来两倍灵敏度的优势，由vertical binning方式完成。
术语binning表示CCD传感器指定的读出模式，2个或更多像素被装在一起（‘binned’together）。像素上的电荷堆积累加降低了分辨率，但增加了帧速率，灵敏度和性噪比。
实际应用当中，如果快速移动的物体需要全部的垂直分辨率时，应该使用逐行扫描相机。
不支持非标准时序视频或对隔行扫描模式视频作任何改变。得到的将是非标准视频，会带来更加复杂的操作。
非标准视频
非标准视频具有下列属性：
一、非标准时序
视频信号和标准视频时序（如上节所定义的）不一致，不能被普通帧抓取器以及编解码电路处理。主要在于每秒的输出或多于或少于标准帧数（如两倍帧速相机和兆像素相机），或者在处理triggering/variable扫描设置时，这将在后面讨论。
二、非标准或兆像素分辨率
如今的相机开始朝着越来越高的传感器像素发展，图像分辨率得以提高。CCIR标准的传感器分辨率大约是768*576，目前已经被1024*768、1300*1030或更高分辨率的兆像素级相机超越，能够提供更大空间分辨率的视场。
逐行扫描输出
术语逐行扫描意味着整幅图像扫描而不是一次只累加一半的分辨率场。得到整个垂直分辨率的非隔行扫描视频，逐行扫描视频完全能够以最大分辨率捕获快速移动的物体。 部分的CCD传感器被制造成隔行扫描类型（比如应用于监视和电视类型）。因此逐行扫描相机比隔行扫描相机昂贵，但更适合于机器视觉领域。
有时尽管使用了逐行扫描相机，高速运动物体的成像也容易模糊。这是因为每次累加一段时间的视频图像（所谓的曝光时间）而这段时间内物体可能移动了一段距离。为了减少图像模糊，使用快门减少曝光时间。35mm相机使用机械快门而CCD相机使用电子快门。
提高快门速度缩短曝光时间，物体瞬间“冻结”消除模糊。大部分机器视觉都使用这类技术，尽管更短的曝光时间意味着相机灵敏度下降，这是由于传感器接收的光子减少。在高速快门下，需要更高的光强度（可以使用low F数值镜头）。
积分（Integration）
当结合相机谈Integration时，表示累积光子的时间元数量。这跟快门是相对的，用在黑暗环境下以增加相机的灵敏度。显然物体在积分时间内必须静止。
为了尽可能积累更多的光子，像元曝光时间多于一个视场的时间称为Long Term Integration（LTI）。最大时间受传感器热量噪声限制，尽管国外有些相机能通过制冷技术延长最大时间。很多机器视觉相机都有对LTI支持的标准特性。
异步采集
这一类的图像采集对机器视觉应用非常重要，物体在相机视场（FOV）内移动时，在适当的时间内采集图像至关重要。异步视频允许图像在一个精确的瞬间被采集。这种理念允许物体移动到FOV中心时相机时序重置到正确的时刻。
这种图像采集模式相对复杂，有大量的术语需要解释。
帧捕获器触发
标准CCIR时序视频是一个每秒采集25帧每帧之间固定40ms延时的连续图像流。如果帧捕获器接收到触发，开始储存或采集下一帧视频――这将会有最高为40ms的随机延时，并且不能与在相机的FOV中高速移动的物体异步。
高速移动的物体在40ms内移动相当的距离，因此不能从图像中估计物体的实际位置。机器视觉相机能通过触发信号（此信号可以来自于光学的或磁性对物体位置的捕获）异步重置。通常有两种类型的相机重置，线同步和像素同步。在线同步重置中，相机重置到下一个HD脉冲（Horizontal Drive pulse）。然而这并不是瞬间完成的，但对于大多应用场合而言延迟是微乎其微的。像素同步重置是瞬时的（相对于下一个像素时钟脉冲）因而也最为精确。
同步
当帧捕获器中断标准视频输入时，通常将很少的帧同步到视频时序脉冲上。当连接到重置过的相机上时，帧捕获器无法被原来的时序脉冲同步化而需要单独的时序信号驱动，这样帧捕获器才能解释输入的视频。标准的价格便宜的帧捕获器无法接收此类信号，需要使用可变扫描帧捕获器。所需的可变扫描时序信号为：
HD – 水平驱动时序
VD －垂直驱动时序(或WEN—允许写入脉冲时序)
像素时钟(可选择的)—高速时钟驱动CCD位移寄存器
当相机设为异步重置,所有同步信号HD和VD(或WEN)全部重置(伴随外部像素时钟)。理想的可变扫描帧捕获器被动地等待被相机时序信号驱动。以HD和VD（或WEN）控制帧的起始和水平时序的像素时钟被用来驱动帧捕获器的ADC（模数转换器）。另外还有其他的一些异步重置操作，但这些才是最简单适用的方法。
模拟或数字输出
从历史上来看，视频相机技术从摄像管输入到输出严格地为模拟信号。模拟视频信号适合直接连接监视器，视频记录器或者模拟帧捕获器。
CCD传感器也是模拟设备，第一代CCD相机注重和以往设备的兼容性，被设计成模拟输出。
如今的相机输出可能是模拟信号或数字信号，取决于相机是否包含ADC（模数转换器）和相关电路。
以模拟相机为例，复合模拟视频的输出信号伴有其它时序/同步信号。视频信号受带宽限制，电缆的模拟噪音约束。同样的，相机和帧捕获器的ADC之间的任何微小时序误差都将导致图像失真。
VDS RS－422
数字相机使用相同的CCD技术作为模拟模式但将ADC嵌入了相机内，ADC直接将视频数字化并输出不同形式的数字信号。数字化技术立即克服了许多模拟相机的缺点，提供了高保真度图像，尽管它的线缆变的更加复杂昂贵。
模拟视频输出
复合模拟视频信号将像素信息以及全部时序信号集中于一条电缆上，这使线缆更加简洁便宜。如果视频是可变扫描，则线缆附加一条额外缆芯，将变得略微复杂些但仍然相对简单。一些模拟相机是非标准慢速兆像素级输出或标准分辨率高速输出，但仍受带宽限制。同样的，模拟视频有限的动态范围通常让我们以8位（8bits）连接到帧捕获器上。
东莞奥普特自动化科技有限公司
http://www.optmv.com
联系电话：0769-82716188
投诉建议
提交
查看更多评论
其他资讯
OPT(奥普特)亮相VisionChina，创新产品再获殊荣！
火爆来袭！奥普特销售专场招聘会苏州站重磅开启！
OPT全面推动产品化战略升级，以生态合作构筑长期利益共同体
倒计时3天！| 2025年首场销售专场即将开启，OPT与您相约东莞，一站式面试，即享入职快车道！
招聘 | 2025奥普特首场-销售专场招聘会预告