CMOS(Complementary Metal-Oxide-Semiconductor),中文学名为互补金属氧化物半导体,它本是计算机系统内一种重要的芯片,保存了系统引导最基本的资料。CMOS的制造技术和一般计算机芯片没什么差别,主要是利用硅和锗这两种元素所做成的半导体,使其在CMOS上共存着带N(带-电) 和 P(带+电)级的半导体,这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。后来发现CMOS经过加工也可以作为数码摄影中的图像传感器,CMOS传感器也可细分为被动式像素传感器(Passive Pixel Sensor CMOS)与主动式像素传感器(Active Pixel Sensor CMOS)。本文章主要解释用于CMOS工业相机的CMOS图像传感器。
CMOS图像传感器
当今的CMOS图像转换技术不仅服务于“传统的”工业图像处理,而且还凭借其卓越的性能和灵活性而被日益广泛的新颖消费应用所接纳。此外,它还能确保汽车驾驶时的高安全性和舒适性。最初,CMOS图像传感器被应用于工业图像处理;在那些旨在提高生产率、质量和生产工艺经济性的全新自动化解决方案中,它至今仍然是至关重要的一环。
据市场研究公司IMS Research的预测,在未来的几年中,欧洲工业图像处理市场的年成长率将达到6%,其中,在相机中集成了软件功能的智能型解决方案的市场份额将不断扩大。在德国,据其全国工具机供应商协会VDMA提供的数据,2004年的图像处理市场增长率达到了14%。市场调研公司In-Stat/MDR亦指出,单就图像传感器的次级市场而言,其年成长率将高达30%以上,而且这种情况将持续到2008年。最为重要的是:CMOS传感器的成长速度将达到CCD传感器的七倍,照相手机和数码相机的迅速普及是这种需求的主要推动因素。
显然,人们如此看好CMOS图像转换器的成长前景是基于这样一个事实,即:与垄断该领域长达30多年的CCD技术相比,它能够更好地满足用户对各种应用中新型图像传感器不断提升的品质要求,如更加灵活的图像捕获、更高的灵敏度、更宽的动态范围、更高的分辨率、更低的功耗以及更加优良的系统集成等。此外,CMOS图像转换器还造就了一些迄今为止尚不能以经济的方式来实现的新颖应用。另外,还有一些有利于CMOS传感器的“软”标准在起作用,包括:应用支持、抗辐射性、快门类型、开窗口和光谱覆盖率等。不过,这种区别稍带几分任意性,因为这些标准的重要程度将由于应用的不同(消费、工业或汽车)而发生变化。
就像我们从模拟摄影所获知的那样,拍摄一幅完整场景的照片是一件相当普通的事情,照相手机同样如此。但是,对于工业或汽车应用来说,情况就大不一样了:有些场合并不需要很高的全帧数据速率。比如,在监控摄像机中,只要能够发现一幅场景中出现的变化(因为这种变化可能预示着某种可疑情况),那么分辨率低一点也是完全可以接受的。在此基础之上才需要借助全分辨率来采集更多的细节信息。跟着发生的动作将只在摄像机视场的某一部分当中进行播放,而且,在所捕获的场景中,只有这一部分才是监控人员所关注的。
对于只提供全帧图像的CCD图像传感器而言,只有采用一个分离的评估电路才能够提供两个观测角度,这意味着处理时间和成本的增加。然而,CMOS图像传感器的工作原理则与RAM相似,所有的存储位均可单独读出。CMOS传感器的二次采样虽然提供了较低的分辨率,但是帧速率较高;而开窗口则允许随机选择一块感兴趣的区域。
最新CMOS传感器获得广泛应用的一个前提是其所拥有的较高灵敏度、较短曝光时间和日渐缩小的像素尺寸。像素灵敏度的一个衡量尺度是填充因子(感光面积与整个像素面积之比)与量子效率(由轰击屏幕的光子所生成的电子的数量)的乘积。CCD传感器因其技术的固有特性而拥有一个很大的填充因子。而在CMOS图像传感器中,为了实现堪与CCD转换器相媲美的噪声指标和灵敏度水平,人们给CMOS图像传感器装配上了有源像素传感器(APS),并且导致填充因子降低,原因是像素表面相当大的一部分面积被放大器晶体管所占用,留给光电二极管的可用空间较小。所以,当今CMOS传感器的一个重要的开发目标就是扩大填充因子。赛普拉斯(FillFactory)通过其获得专利授权的一项技术,可以大幅度地提高填充因子,这种技术可以把一颗标准CMOS硅芯片最大的一部分面积变为一块感光区域。随着像素尺寸的变小,提高填充因子所来越困难,目前最流行的技术是从传统的前感光式(FSI,Front Side Illumination)变为背部感光式(BSI,Back Side Illumination),放大器等晶体管以及互联电路置于背部,前部全部留给光电二极管,这样就实现了100%的填充因子(如下图示意图所示)。
前照式与背照式CMOS
另外,对于一个典型的工业用图像传感器而言,由于许多场景的拍摄都是在照明条件很差的情况下进行的,因此拥有较大的动态范围将是十分有益的。CMOS图像传感器通过多斜率操作实现了这一目标:转换曲线由倾度不同的直线部分所组成,它们共同形成了一个非线性特征曲线。因此,一幅场景的黑暗部分有可能占据集成模拟-数字转换器转换范围的很大一部分:转换特征曲线在这里最为陡峭,以实现高灵敏度和对比度。特征曲线上半部分的平整化将在图像的明亮部分捕获几个数量级的过度曝光,并以一个更加细致的标度来表现它们。采用多斜率的方式来运作LUPA-4000将使高达90dB的光动态范围与一个10位A/D转换范围相匹配。
具有VGA分辨率的IM-001系列CMOS图像传感器在此基础上更进一步;它们是专为汽车应用而设计的。其像素由光电二极管组成,可提供高达120dB的自适应动态范围。面向汽车应用的ACM 100相机模块就采用了这些传感器,这种相机模块据称是同类产品中率先面市的全集成化相机解决方案:该视觉解决方案被看作是面向驾驶者保护、防撞、夜视支持和轮胎跟踪导向的未来汽车安全系统的关键元件。
此外,对于独立于电网的便携式应用而言,以低功耗特性而著称的CMOS技术还具有一个明显的优势:CMOS图像传感器是针对5V和3.3V电源电压而设计的。而CCD芯片则需要大约12V的电源电压,因此不得不采用一个电压转换器,从而导致功耗增加。在总功耗方面,把控制和系统功能集成到CMOS传感器中将带来另一个好处:它去除了与其他半导体元件的所有外部连接线。其高功耗的驱动器如今已遭弃用,这是因为在芯片内部进行通信所消耗的能量要比通过PCB或衬底的外部实现方式低得多。
在现代CMOS图像传感器中,一个重要的发展趋势是其光谱灵敏度扩展到了近红外区NIR(至约1,100nm的波长)。配备了IM-001 CMOS图像传感器的汽车应用将改善雾穿透力和夜视能力。由于工业图像捕获技术开始运用更多波长位于NIR之中的光源,而且生物技术也在利用该光谱区域中的有趣现象,因此,新开发的IBIS 5-AE-1300传感器具有700~900nm的NIR灵敏度。
在面向消费应用的图像捕获技术中,另一个发展趋势是继续提高分辨率。到2005年年中,70%左右的手机相机已具有VGA格式分辨率(640×480像素);但随后的2006年,几百万像素的传感器就将占领50%的市场份额,而到2008年,其市场占有率预计将进一步攀升至90%以上。到目前为止,普通手机上的摄像头基本上500万像素以上,800万1200万属于主流,NOKIA更推出了4300万像素的猛机。而数码相机上,则主推1600万像素的CMOS、CCD相机。单反、微单领域也更新到2400万像素级别的水平或更高。
在工业和商业领域中,这种发展趋势也很明显:赛普拉斯已推出一款用于Kodak数码相机的1,300万像素/35mm图像传感器,另外,660万像素的IBIS 4-6600传感器正在一种面向弱视人群的自动阅读辅助装置中证明自己的卓越品质--它可在一幅完整的标准A4页面上提供出色的分辨率。而目前来看,500万像素的CMOS价格已经很亲民了,相信不久的将来,千万像素级别的工业相机,也会逐渐进入到我们的实际项目中。
凭借技术实现系统集成
由于蜂窝电话、数码相机、MP3播放机和PDA等传统分离型功能设备的加速数字融合(即成为一部紧凑的消费型电子产品),导致人们越来越希望至少具有部分自主性的子系统能够在一部设备中提供极为宽泛的功能。这种趋势还将对专业测量技术产生影响:利用包含一个数码相机、PDA用户接口和WLAN联网能力的便携式检验工具,光测试和监视的应用范围将得到有效的拓展。作为一种平台技术,CMOS符合这一发展潮流:CCD图像转换器仍然需要采用外部逻辑电路来实现控制和模拟/数字转换功能,而CMOS标准逻辑器件则能够把传感器、控制器、转换器和评估逻辑电路等全部集成到一块芯片之中。
一个典型的例子如专门针对要求苛刻的消费应用而制作的CYIWCSC1300AA芯片的图像捕获电路。它基于130万像素图像传感器CYIWOSC1300AA 和一个用于提供误差插补、黑电平调整、透镜校正、信号互串校正、彩色马赛克修补、彩色校正、自动曝光、噪声抑制、特效和γ校正等等诸多功能的附加信号处理器。集成更多的系统功能(一直到自主型光电传感器系统)是可行的,这主要取决于诸如市场容量和开发成本等经济目标和限制因素。
IMS Research公司的资深市场分析家John Morse指出:“工业图像处理市场的变化非常快,不光是在技术层面上,而且还涉及近期发生的制造商合并事件。我们认为这种趋势还将继续下去。”果真如此,那么这同样适用于赛普拉斯公司:通过收购MIT(美国麻省理工学院)于1999年成立的SMal Camera Technologies公司,赛普拉斯已将其业务触角延伸到了消费和汽车领域;而兼并FillFactory(这是一家于1999年从总部位于比利时Leuven的著名欧洲微电子和纳米技术研究中心IMEC抽资脱离而成的公司)则使赛普拉斯进一步跻身工业领域。
CMOS图像传感器市场正在蓬勃发展之中,即将成为一个大规模市场。它在很大程度上仍然依赖于客户专用设计来满足规格和系统集成方面的一组定制要求。不过,它将越来越多地提供通用的标准解决方案。分辨率、帧速率和灵敏度的提高以及成本的下降正使其应用领域不断地扩大。
CMOS传感器按为像素结构分被动式与主动式两种。
被动式像素结构(Passive Pixel Sensor.简称PPS),又叫无源式。它由一个反向偏置的光敏二极管和一个开关管构成。光敏二极管本质上是一个由P型半导体和N型半导体组成的PN结,它可等效为一个反向偏置的二极管和一个MOS电容并联。当开关管开启时,光敏二极管与垂直的列线(Column bus)连通。位于列线末端的电荷积分放大器读出电路(Charge integrating amplifier)保持列线电压为一常数,当光敏二极管存贮的信号电荷被读出时,其电压被复位到列线电压水平,与此同时,与光信号成正比的电荷由电荷积分放大器转换为电荷输出。
主动式像素结构(Active Pixel Sensor.简称APS),又叫有源式,如图2所示. 几乎在CMOS PPS像素结构发明的同时,人们很快认识到在像素内引入缓冲器或放大器可以改善像素的性能,在CMOS APS中每一像素内都有自己的放大器。集成在表面的放大晶体管减少了像素元件的有效表面积,降低了“封装密度”,使40%~50%的入射光被反射。这种传感器的另一个问题是,如何使传感器的多通道放大器之间有较好的匹配,这可以通过降低残余水平的固定图形噪声较好地实现。由于CMOS APS像素内的每个放大器仅在此读出期间被激发,所以CMOS APS的功耗比CCD图像传感器的还小。
这填充因数(Fill Factor),又叫充满因数,它指像素上的光电二极管相对于像素表面的大小。量子效率(Quantun efficiency)是指一个像素被光子撞击后实际和理论最大值电子数的归一化值.被动式像素结构的电荷填充因数通常可达到70%,因此量子效率高。但光电二极管积累的电荷通常很小,很易受到杂波干扰。再说像素内部又没有信号放大器,只依赖垂直总线终端放大器,因而读出的信号杂波很大,其S/N比低,更因不同位置的像素杂波大小不一样(固定图形噪波FPN)而影响整个图像的质量。而主动性像素结构与被动式相比,它在每个像素处增加了一个放大器,可以将光电二极管积累的电荷转换成电压进行放大,大大提高了S/N比,从而提高了传输过程中抗干扰的能力。但由于放大器占据了过多的像素面积,因而它的填充因数相对较低,一般在25%-35%之间。
这是影响CMOS传感器性能的首要问题。这种噪声包括固定图形噪声FPN(Fixed pattern noise)、暗电流噪声、热噪声等。固定图形噪声产生的原因是一束同样的光照射到两个不同的象素上产生的输出信号不完全相同。噪声正是这样被引入的。对付固定图形噪声可以应用双采样或相关双采样技术。具体地说来有点像在设计模拟放大器时引入差分对来抑制共模噪声。双采样是先读出光照产生的电荷积分信号,暂存然后对象素单元进行复位,再读取此象素单元地输出信号。两者相减得出图像信号。两种采样均能有效抑制固定图形噪声。另外,相关双采样需要临时存储单元,随着象素地增加,存储单元也要增加。
物理器件不可能是理想的,如同亚阈值效应一样,由于杂质、受热等其他原因的影响,即使没有光照射到象素,象素单元也会产生电荷,这些电荷产生了暗电流。暗电流与光照产生的电荷很难进行区分。暗电流在像素阵列各处也不完全相同,它会导致固定图形噪声。对于含有积分功能的像素单元来说,暗电流所造成的固定图形噪声与积分时间成正比。暗电流的产生也是一个随机过程,它是散弹噪声的一个来源。因此,热噪声元件所产生的暗电流大小等于像素单元中的暗电流电子数的平方根。当长时间的积分单元被采用时,这种类型的噪声就变成了影响图像信号质量的主要因素,对于昏暗物体,长时间的积分是必要的,并且像素单元电容容量是有限的,于是暗电流电子的积累限制了积分的最长时间。
为减少暗电流对图像信号的影响,首先可以采取降温手段。但是,仅对芯片降温是远远不够的,由暗电流产生的固定图形噪声不能完全通过双采样克服。现在采用的有效的方法是从已获得的图像信号中减去参考暗电流信号。
类似于放大器由于线性区的范围有限而存在一个输入上限,对于CMOS图像传感芯片来说,它也有一个输入的上限。输入光信号若超过此上限,像素单元将饱和而不能进行光电转换。对于含有积分功能的像素单元来说,此上限由光电子积分单元的容量大小决定:对于不含积分功能的像素单元,该上限由流过光电二极管或三极管的最大电流决定。在输入光信号饱和时,溢出模糊就发生了。溢出模糊是由于像素单元的光电子饱和进而流出到邻近的像素单元上。溢出模糊反映到图像上就是一片特别亮的区域。这有些类似于照片上的曝光过度。溢出模糊可通过在像素单元内加入自动泄放管来克服,泄放管可以有效地将过剩电荷排出。但是,这只是限制了溢出,却不能使象素能真实还原出图像了。
CCD与CMOS传感器是被普遍采用的两种图像传感器,两者都是利用感光二极管(photodiode)进行光电转换,将图像转换为数字数据,而其主要差异是数字数据传送的方式不同。
CCD传感器中每一行中每一个象素的电荷数据都会依次传送到下一个象素中,由最底端部分输出,再经由传感器边缘的放大器进行放大输出;而在CMOS传感器中,每个象素都会邻接一个放大器及A/D转换电路,用类似内存电路的方式将数据输出。
造成这种差异的原因在于:CCD的特殊工艺可保证数据在传送时不会失真,因此各个象素的数据可汇聚至边缘再进行放大处理;而CMOS工艺的数据在传送距离较长时会产生噪声,因此,必须先放大,再整合各个象素的数据。
由于数据传送方式不同,因此CCD与CMOS传感器在效能与应用上也有诸多差异,这些差异包括:
由于CMOS传感器的每个象素由四个晶体管与一个感光二极管构成(含放大器与A/D转换电路),使得每个象素的感光区域远小于象素本身的表面积,因此在象素尺寸相同的情况下,CMOS传感器的灵敏度要低于CCD传感器。
由于CMOS传感器采用一般半导体电路最常用的CMOS工艺,可以轻易地将周边电路(如AGC、CDS、Timing generator、或DSP等)集成到传感器芯片中,因此可以节省外围芯片的成本;除此之外,由于CCD采用电荷传递的方式传送数据,只要其中有一个象素不能运行,就会导致一整排的数据不能传送,因此控制CCD传感器的成品率比CMOS传感器困难许多,即使有经验的厂商也很难在产品问世的半年内突破50%的水平,因此,CCD传感器的成本会高于CMOS传感器。
CMOS传感器的每个象素都比CCD传感器复杂,其象素尺寸很难达到CCD传感器的水平,因此,当比较相同尺寸的CCD与CMOS传感器时,CCD传感器的分辨率通常会优于CMOS传感器的水平。例如,市面上CMOS传感器最高可达到210万象素的水平(OmniVision的 OV2610,2002年6月推出),其尺寸为1/2英寸,象素尺寸为4.25μm,但Sony在2002年12月推出了ICX452,其尺寸与 OV2610相差不多(1/1.8英寸),但分辨率却能高达513万象素,象素尺寸也只有2.78mm的水平。
由于CMOS传感器的每个感光二极管都需搭配一个放大器,而放大器属于模拟电路,很难让每个放大器所得到的结果保持一致,因此与只有一个放大器放在芯片边缘的CCD传感器相比,CMOS传感器的噪声就会增加很多,影响图像品质。
CMOS传感器的图像采集方式为主动式,感光二极管所产生的电荷会直接由晶体管放大输出,但CCD传感器为被动式采集,需外加电压让每个象素中的电荷移动,而此外加电压通常需要达到12~18V;因此,CCD传感器除了在电源管理电路设计上的难度更高之外(需外加 power IC),高驱动电压更使其功耗远高于CMOS传感器的水平。举例来说,OmniVision推出的OV7640(1/4英寸、VGA),在 30 fps的速度下运行,功耗仅为40mW;而致力于低功耗CCD传感器的Sanyo公司推出的1/7英寸、CIF等级的产品,其功耗却仍保持在90mW 以上。因此CCD发热量比CMOS大,不能长时间在阳光下工作。
综上所述,CCD传感器在灵敏度、分辨率、噪声控制等方面都优于CMOS传感器,而CMOS传感器则具有低成本、低功耗、以及高整合度的特点。不过,随着CCD与CMOS传感器技术的进步,两者的差异有逐渐缩小的态势,例如,CCD传感器一直在功耗上作改进,以应用于移动通信市场(这方面的代表业者为Sanyo);CMOS传感器则在改善分辨率与灵敏度方面的不足,以应用于更高端的图像产品。
传感器架构可由两分式、四分式或一个像素阵列组成。输出可为并行模拟输出,或一个10位数字输出或数字串行LVDS输出。每个输出可高达每秒5,000万次的采样速度,这样就能实现每秒55亿像素的吞吐量。迄今为止,该图像传感器是具有最高连续像素吞吐量的一款。图像质量至少达到10位精度,因此摄像头数字化之后,数据吞吐量可为每秒55Gbit。这样高速的应用通常需要6个电晶体快照像素,且需要较高的灵敏度和动态范围。图像传感器的灵敏度很大程度上取决于像素尺寸,而大的像素尺寸就需要大面积特定应用的定制图像传感器。内部多路复用技术可支持更高帧速率的随机窗口。如果将窗口大小缩至较小的ROI(圈选目标区域),那么最快速度器件的帧速率可达每秒170,000帧。大多数传感器都采用0.25工艺。
目前,CMOS是高速成像所青睐的技术。在当前市场中,我们可以发现高速图像传感器有三大发展趋势,一是向极高速方向发展,二是向片上特性集成方向发展,三是向通用高速图像传感器方向发展。
分辨率和帧速率相结合,发挥着重要的作用。目前,我们可以推出1024×1024像素的图像传感器,工作速度达到每秒5,000个全帧。如果模数转换为10位的话,那么这就是说摄像头上的总数据速率可达每秒55Gbit。为了实现传感器上极高的数据速率和高图像质量,尤其是对这种高敏感度的应用而言,我们不仅要设计出正确的电子线路,还要确保整个线路布局实现良好的平衡性。这就是说,电源线路应实现极佳的分布,而且布局中每个线路节点的所有光学和杂散光灵敏反应都应得到很好的控制。并需要采用低功耗模块设计,以确保满足整体功耗要求。
高速成像领域还有另一种趋势,就是把高速ADC、时序发生器、LVDS发射器和校正算法的片上集成趋势。这种图像传感器通常在速度和灵敏度方面不如上述图像传感器,但在易用性和系统集成功能方面颇有长处。目前市场上新兴的第三种图像传感器就是通用高速图像传感器。具有模拟输出或不具有时序发生器功能的老式(简单式)通用图像传感器正在被速度更快、更复杂的图像传感器所取代。这种新型图像传感器使我们能在较短时间内就设计出通用高速摄像头。