快捷搜索:  as

嵌入式视觉现在处于发展的哪个阶段

众所周知,嵌入式视觉不是一个新观点;它只是定义了一个系统,此中包括一个视觉设置,在没有外部谋略机的环境下节制和处置惩罚数据。它已广泛利用于工业质量节制,最为人认识的例子比如“智能相机”。近年源于破费类市场经济适用硬件器件的开拓,相较于以往应用电脑的规划,这些器件大年夜幅度减小了材料清单(BOM)资源和产品体积。举个例子,小型系统集成商或OEM现在能够小批量采购诸如NVIDIA Jetson的单板机或模块系统;而较大年夜型的OEM则可以直接得到如高通骁龙(Qualcomm Snapdragon)或英特尔Intel)Movidius Myriad 2 等图像旌旗灯号处置惩罚器。在软件级方面, 市道市面软件库能够加快专用视觉系统的开拓速率,减小设置设置设备摆设摆设难度, 即就是针对小批量临盆。

第二个推动嵌入式视觉系统成长的变更是机械进修的呈现,它使实验室中的神经收集能够吸收培训,然后直接上传到处置惩罚器中,以便它能够自动识别特性,并实时做出抉择。

能够供给适用于嵌入式视觉系统的办理规划,对付面向这些高增长利用的成像企业来说至关紧张。图像传感器因为能够直接影响嵌入式视觉系统的效能和设计,因而在大年夜规模引进中有紧张角色,而它的主要推动身分可概括为:更小尺寸、重量、功耗和资源,英语简称为“SWaP-C”(decreasing Size, Weight, Power and Cost)。

1. 低落资源至关紧张

嵌入式视觉新利用的加速推动器是满意市场需求的价格,而视觉系统资源恰是实现这要求的一个主要制肘。

1.1 节省光学资源

减小视觉模块资源的第一个道路是缩小产品尺寸,缘故原由有两个:首先是图像传感器的像素尺寸愈小,晶圆便可以制造更多的芯片;另一方面传感器可以应用更小更低资源的光学组件,二者都能够低落固有资源。例如Teledyne e2v的Emerald 5M传感器把像素尺寸减小至2.8µm,让S口(M12)镜头能够用于五百万像素全局快门传感器上,带来直接的资源节省──入门级的M12镜头的价格约为10美元, 而较大年夜尺寸的C口或F口镜头资源是其10到20倍。以是减小尺寸是低落嵌入式视觉系统资源的有效措施。

对付图像传感器制造商来说,这种低落的光学资源对设计有另一个影响,由于一样平常来说,光学资源越低,传感器的入射角越不抱负。是以,低资源光学必要在像素上方设计特定的位移微透镜,以补偿来自广角的畸变和聚焦光。

1.2 传感器低资源接口

除了光学优化,传感器接口的选择也间接影响视觉系统的资源。MIPI CSI-2接口是实现节约资源的最相宜选择(它最初是由MIPI同盟为移动行业开拓的)。它已被大年夜多半ISP广泛采纳,并已开始在工业市场采纳,由于它供给了一个从NXP、Nvidia、高通公司或Intel等公司的低资源的片上系统(SOC)或模块上系统(SOM)的集成。设计一种具有MIPI CSI-2传感器接口的CMOS图像传感器,无需任何中心转换器桥,直接将图像传感器的数据传输到嵌入式系统的主机SOC或SOM,从而节省了资源和PCB空间,当然,在基于多传感器的嵌入式系统(如360度全景系统)中,这一上风更为凸起。

不过这些好处受到一些限定,由于MIPI接口的连接间隔限定为20cm,这在传感器间隔主机处置惩罚器较远的远程设置中可能不是最佳的。在这些设置设置设备摆设摆设中,以就义小型化为价值,应用集成更长接口的相机板办理规划是对照好的选择。一些现成的办理规划可以集成,例如工业相机制造商(如Flir、AVT、Basler等)的相机板平日可在MIPI或USB3接口中应用,后者能够达到的范围可以跨越3米至5米。

1.3 减小开拓资源

在投资新产品时,赓续上升的开拓资源每每是一个寻衅;它可能会在一次性开拓费上花费数百万美元,并给上市光阴带来压力。对付嵌入式视觉,这种压力变得更大年夜,由于模块化(即产品能否切换应用多种图像传感器)是集成商的紧张斟酌。幸运的是,经由过程在传感器之间供给必然程度的交叉兼容性,例如,经由过程定义共享相同像素体系布局的组件系列以具有稳定的光电机能,经由过程具有共用光学中间来共享单个前端机制,以及经由过程兼容的PCB组件来简化评估,集成和供应链,从而减小开拓用度。

为简化相机板设计(即应用于多款传感器),有两种措施设计传感器封装。针脚对针脚兼容是相机板设计职员的首选设计,由于它能使多种传感器共享同一电路和节制,使得组装完全不受PCB设计影响。另一个选择是采纳尺寸兼容的传感器,这样同一PCB可以应用多款传感器,然则这也意味着他们可能要敷衍每一款传感器的接口和布线的差异状况。

图1 图像传感器可经设计供给针脚兼容(图左)或尺寸兼容(图右)以实现专有PCB结构设计

2. 能效供给更佳零丁事情能力

微型电池驱动的设备是最显着的受益于嵌入式视觉的利用法度榜样,由于外部谋略机阻拦任何便携式利用法度榜样的发生。为了低落系统的能耗,图像传感器现在包孕了多种功能,使系统设计者能够节省电力。

从传感器角度启程,有多种措施减小嵌入式视觉系统功耗而不损采集帧率。最简单的措施是经由过程尽可能长光阴应用待机或闲置模式,在系统级最小化传感器本身的动态操作。待机模式经由过程关闭仿真电路,把传感器的功耗低落到事情模式的10%以下。而闲置模式则可把功耗减半,并让传感器在数微秒内从新启动获取图像。

而在传感器设计集成节能的另一个措施是采纳先辈光刻节点技巧。技巧节点越小,转换晶体管所需的电压便越小,因为功耗与电压成正比,这样就能低落功耗。以是10年前应用180nm技巧临盆的像素不单把晶体管缩小到110nm,同时也把数字电路的电压从1.9伏降到1.2伏。下一世代的传感器将应用65nm技巧节点,使得嵌入式视觉利用更省能。

着末一点是,经由过程选择相宜的图像传感器,可以在某些前提下低落LED灯的能耗。有一些系统必须应用主动照明,例如三维舆图天生、动作逗留、或是纯挚应用顺序脉冲指定波长来前进反差。在这些情形下,减低图像传感器在低亮度情况下的噪声便能实现更低的功耗。减小了传感器噪声,工程职员便可抉择减小电流密度强度,或是减小集成进嵌入式视觉系统的LED灯数目。 在其他环境下,当图像捕获和LED闪烁由外部事故触发时,选择适当的传感器读出布局可以显明节省电能。 应用传统卷帘快门传感器,帧全曝光时LED灯必需全开,而全局快门传感器则容许只在帧的某部份开动LED灯。以是如应用像素内相关双采样(CDS)利用下,以全局快门传感器替代卷帘快门传感器就可以节省照明资源,同时仍维持与显微镜中应用的CCD传感器一样低的噪声。

3. 片上功能为利用法度榜样设计的视觉系统铺平了蹊径

嵌入式视觉的一些偏锋延展观点,向导我们对图像传感器进行周全定制,以3D堆叠要领集成所有处置惩罚功能(芯片上的系统) 以实现优化机能和功耗。不过,开拓这一类产品的资源十分高昂,能够达到这一集成水平的全定制传感器长远来说并非完全弗成能,而现在我们正处于一个过渡阶段,包孕将某些功能直接嵌入到传感器,以减省谋略负载和加快处置惩罚光阴。

例如在条形码涉猎利用,Teledyne e2v公司已拥有专利技巧,将包孕一个专有条形码识别算法的嵌入式功能加进传感器芯片,这算法可以找出每一帧幅内的条形码位置,让图像旌旗灯号处置惩罚器只需聚焦于这些范围,前进数据处置惩罚效率。

图2 Teledyne e2v Snappy五百万像素芯片,自动识别条形码位置

另一个削减处置惩罚负载和优化“优越”数据的功能是Teledyne e2v的专利快速曝光模式,该模式使传感器能够自动校对曝光光阴,以避免照明前提变更时呈现饱和。 这项功能优化了处置惩罚光阴,由于它适应了单帧中光照的颠簸,而且这种快速反映最大年夜限度地削减了处置惩罚器必要处置惩罚的“坏”图像的数量。

这些功能平日是特定的,必要很好地舆解客户的利用法度榜样。只要对利用法度榜样有足够的懂得,就可以设计多种其他片上功能来优化嵌入式视觉系统。

4. 减小重量尺寸以共同最小利用空间

嵌入式视觉系统的另一主要要求是能够共同狭小空间,或是重量要小,以便用于手持式设备/或延长电池推动产品的事情光阴。这便是现在大年夜部份嵌入式视觉系统应用只有1MP到5MP的低分辨率小型光学款式传感器的缘故原由。

减小像素芯片的尺寸只是减小图像传感器占位面积和重量的第一步。现在的65nm工艺让我们能够把全局快门像素尺寸减小至2.5µm而不损光电机能。这种临盆工艺使得诸如全高清全局快门CMOS图像传感器能够共同手机市场要求小于1/3英寸的规格。

减小传感看重量和占位面积的另一主要技巧是缩小封装尺寸。芯片级封装在以前数年在市场迅速生长,在移动、车载电子和医疗利用平分外显着。相较用工业市场常用的传统陶瓷(Ceramic Land Grid Array,简称CLGA)封装,芯片级扇出封装能够实现更高密度连接,因而是嵌入式系统图像传感器轻量化小型化寻衅的出色办理规划。例如Teledyne e2v的Emerald 2M图像传感器芯片级封装,侧高只是陶瓷封装的一半,而尺寸则减小30%。

图3 同一芯片采纳CLGA封装(图左)和晶圆级扇出有机封装(图右)的对照,后者能够削减占位、厚度和资源

瞻望未来,我们预期新的技巧能进一步实现嵌入式视觉系统所需的更小传感器尺寸。

三维客栈是让半导体器件临盆的立异技巧,它的道理是在不合晶圆上制造各类电路芯片,然后使用铜对铜连接和过硅通孔(Through Silicon Vias,简称TSV)技巧进行客栈和互联。三维客栈由于是多层重迭芯片,容许器件实现比传统传感器更小的占位尺寸。而在三维客栈传感器中, 读出和处置惩罚芯片可以置于像素芯片和行译码器的下方。这样,传感器的占位尺寸因缩小的读出和处置惩罚芯片而减小,并且可以在传感器中加入更多处置惩罚资本以减小图像旌旗灯号处置惩罚器的载荷。

图4 三维芯片客栈技巧有助于实现像素芯片、仿真和数字电路,以致是用于专门利用的附加处置惩罚芯片组合重迭,减小传感器面积

不过,要让三维客栈技巧在图像传感器市场得到广泛利用,现在还面对着一些寻衅。首先这是一个新兴的技巧,其次是它的资源较高,由于必要附加的工艺步骤,使得芯片资源比应用传统技巧的芯片高三倍以上。由于三维埋迭将主如果高机能或异常小占位尺寸的嵌入式视觉系统的选择。

总结而言,嵌入式视觉系统可以归纳为一种「轻量」视觉技巧,可以用于包括OEM、系统集成商和标准相机厂商等不合类型企业。“嵌入式 “是一个可用于不合利用的概括性描述,因而不能开出列表阐明它的特性。不过优化嵌入式视觉系统有几个适用轨则,便是一样平常而言,市场推动力并非来自超级快的速率或超高的灵敏度,而是尺寸、重量、功耗和资源。图像传感器是这些前提的主要推手,以是必要小心选择相宜的图像传感器,以便于优化嵌入式视觉系统的总体机能。相宜的图像传感器能为嵌入式设计职员带来更多机动性,节省材料清单资源,减小照明和光学组件的占位面积。它也让设计职员在无需面对更多繁杂性的环境下,选择来自破费市场的大年夜量经济适用并具有优化深度进修功能的图像旌旗灯号处置惩罚器。

滥觞:中国电子网

您可能还会对下面的文章感兴趣: