工业机器视觉、机器人、人工智能技术的发展正配合着政府的智能制造计划向前推进，图像传感器是其中的关键技术，其在工业中的应用很广，包括智能交通、高端安防监控、电影拍摄、医疗影像、生物识别、天文相机，以及常见的机器视觉在工业自动化生产的应用，不同的应用对图像的分辨率、清晰度、噪声、以及相机的帧率、系统成本等都有不同的要求，同时工业中人工智能应用的发展给图像传感器带来了更高的挑战，包括推动了全局快门性能、高速拍摄、大分辨率、使用不可见光谱区域和三维体积深度提供的信息进行关键推断，以及神经网络处理的发展。安森美半导体是工业机器视觉的领袖之一，具备全方位的产品阵容并不断开发出领先的技术，解决上述挑战并推动创新。
高效的工业生产需要机器视觉给出快速又精准的决策
在生产线上用于测量的相机要能快速判断液位、尺寸，用来定位的相机系统要能快速准确的给出正确的物品位置，及时通知机械手臂在哪里寻找抓取物品，用作计件检验的相机系统要能够快速计算出数量，是否溢出，用作解码识别的相机系统要能够快速准确识别二维码，字符信息等。相机系统做出快速精准决策的关键就是图像能够清晰准确的提供这些信息，不同的检测应用对图像的分辨率、清晰度、噪声、以及相机的帧率、系统成本等都有不同的要求。
随着工业自动化的发展，检测种类的多样性，驱使图像传感器不断的更新换代，工艺一直在突破提升。这个发展从安森美半导体的几代CMOS产品系列中可见一斑：在2005年推出的LUPA系列开始有了高速输出接口，接下来2010年推出的VITA系列在全局快门性能上有了很大了提升，支持卷帘快门和全局快门两种模式，在2014年推出的PYTHON系列增加了像素内图像矫正，有效的优化了全局快门传感器的噪声性能，2019年刚推出的XGS系列使用了减少节点的像素工艺对噪声和图像一致性更是有了飞跃般的提升，今后安森美半导体将会在工业级图像传感器使用背照式和堆栈式工艺来推动图像传感器的进一步发展。
随着工艺的提升，图像传感器的像元越来越小，但它却可以达到大尺寸像元的图像效果，这就使传感器的分辨率可以越做越大，带宽也越来越高，也推动了整体相机系统的提升和发展，来满足工业生产快速精确的推断和决策。
人工智能是新工具
快速精确的决策需求推动整个生态系统来实现高级数据收集和推断，提供了真正进入工业4.0的机会，人工智能(AI)正是需要的新工具，用来管理工业系统成像不断增长的数据集。AI可以通过自适应制造、自动质量控制、预测性维护等方案有效地应对当今制造业面临的挑战，如工厂中的PCB板检测、钣金缺陷检测、食品卫生检测、零部件均匀度检测、平板检测的应用中，工厂操作员的疲劳会影响对产品质量的一致性评估，但是机器视觉相机和深度学习解决了这个问题。如今，AI已用于60％以上的计算机视觉应用中，而AI在制造应用中的增长已超过50％年复合增长率。
工业中AI应用的发展给图像传感器带来了更高的挑战，包括推动了全局快门性能、高速拍摄、高分辨率、使用不可见光谱区域和三维体积深度提供的信息进行关键推断，以及神经网络处理的发展。
全局快门：实现高速视觉成像的关键
传统的卷帘快门图像传感器可为静态或慢速移动的物体成像提供出色的灵敏度。但全局快门在检测快速移动物体的工业应用中至关重要。如高速装配线的机器视觉检测之类的任务需要准确的判断，全局快门图像传感器通过完全同时同步曝光捕获所有像素，来消除使用卷帘快门传感器逐行曝光带来的空间失真变形的效果，正确还原了运动物体的真实样子，接下来才能进行强大的AI分类计算。如安森美半导体的全局快门图像传感器XGS 2000，以220 fps的速度捕获高质量、精确和快速移动的200万像素全局快门图像场景，可以为物流和工业扫描仪等不同场景下应用提供清晰、低噪声的图像。
图1：卷帘快门vs. 全局快门
高速也是快速移动物体检测的工业应用另一个至关重要点。高速装配线的机器视觉检查需要快速的帧率和较短的积分时间，可以使用短曝光和快速读出消除图像模糊的效果。工厂的视觉检测基本都是对应高速移动的物体，特别是工厂高速运转的生产线上，传送带的速度特别快，那么在最短的时间内成像读出数据，减少或消除拍摄图像中的运动模糊，才能利用AI算法实现正确的智能判断和快速决策。
市场对高分辨率的需求不断增长
越来越多的应用对分辨率有了很高的需求，例如手机/电视/电脑显示器的LCD、OLED屏幕检测。在这检测应用中，使用相机检测显示器的输出，以查找显示亮度的均匀性、颜色准确性、线条缺陷、颗粒缺陷等。这就要求检测相机提供非常高的图像质量和高度均匀性，以确保相机中的质量问题不会被误解为显示器中的产品缺陷。显示屏实际上都由红绿蓝等多个LED子像素组成，检测系统需要能够解析所有这些子像素，以便正确成像和显示并确认设备的质量，为提高检测的精度和可靠性，行业中通常会使用图像传感器靶面的3x3，或者4x4, 甚至5x5个像元来识别显示屏设备的一个LED子像素，这就需要用到更多的传感器像元个数，并且随着显示器分辨率的不断提高-从传统高清到4k到8k甚至更高，检测相机所需的分辨率也在不断提高，才不会牺牲应用所需的高图像质量和均匀性，为AI算法的精度提供更可靠的数据支持。
又如另一个常见的工业成像应用是印刷电路板检测，以确认电路板组件上的集成元器件、电容器、电阻器等已正确安装并焊接到位。电路板的检测速度是受图像分辨率和帧率的组合影响，图像中能够捕获的电路板尺寸面积越大，一次可以检测的电路板就越多，图像能捕获的越快，检测的效率就越高。虽然当前市场上提供的图像传感器可以每秒输出约500或1400个像素的数据，但是安森美半导体的XGS 45000可以以接近1900个像素/秒的速度捕获更多的图像数据用于算法判断，比竞争对手快3倍以上，图像数据宽度可以达8000个像素。高分辨率和高带宽的结合使这种检测应用的AI算法可以更快，更有效地执行，从而提高了制造过程的生产率。
图2：XGS 45000的演示效果
再如用于监控或广播的影像应用，图像需求结合了上述性能，该应用对图像质量的要求非常高，市场对分辨率的需求也不断增长，从高清到4K到现在的8k，高分辨率提供了更强大的图像结构和细节可以看到宽视野的能力，还提供了用于AI分类的裁剪开窗的选项，来放大感兴趣的内容。安森美半导体的XGS 45000图像传感器实际上具有比8k视频所需的分辨率更高，不仅可以使用少量裁切来提供8k视频，还由于XGS 45000具有很高的带宽，它可以60帧每秒的速度提供8k视频以及完整的12位输出，满足了该应用所需的高分辨率、高带宽和高图像质量。
值得一提的是，安森美半导体也提供完整的参考设计X-Cube，基于X-class图像传感器系列， 在1.1英寸光学格式提供1600万像素分辨率，提供用于机器视觉和ITS的 29 mm x 29 mm工业相机占位所需的成像细节和性能，且一个摄像机可支持多种分辨率，帮助设计人员加快开发。
图3：高分辨率X-Cube 系统用于29 mm x 29 mm 相机设计
从仅捕获RGB信息和X,Y二维信息到添加深度信息或多光谱区域信息
除了图像传感器的性能提升，另外更为丰富的成像信息的集成也可以增强人工智能的性能，逐渐成为工业客户做出明智决策的关键。
通过对多种模式和AI处理的投资，也使得安森美半导体具备独特的优势，从仅提供三种红绿蓝(RGB)组成的成像系统发展到添加详细的光谱特征，这样可以在检测中看到RGB无法识别的地方。使用12比特位的图像数据，可以提高识别图像的精度，从仅提供x、y二维定位信息到使用结合了深度像元技术或毫米波雷达、激光雷达技术和图像融合后带来深度信息，可更深入地了解检测对象的全部体积大小高度等的信息，也就是深度学习。
所以现在图像传感器的开发正在从仅捕获RGB信息转移到新的形式，增强的数据集提供的信息将不仅仅是颜色和二维位置。图像传感器的厂家都在开发新技术以获取更可靠的深度信息或者多光谱区域信息。比如开发通过融合内部不同数据流的Super Depth像元技术，开发通过有规律的结构，调制入射光振幅或相位的衍射光栅技术，开发基于单光子雪崩二极管(SPAD)和硅光电倍增管(SiPM)的传感器等方式来实现为图像提供更多的深度信息。
或者开发基于等离子体波导滤波片，或以法布里-珀罗（F-P)结构原理为基础的多通道分光滤光片制造技术实现在更多的光谱区域成像的超多光谱技术。
神经网络处理
随着人工智能的发展，分类系统设计需要功能强大的图像处理单元(GPU)或张量处理单元(TPU)神经网络处理器，因为训练和推理都需要大量计算，人工智能界正在面临前所未有的算力挑战，网络拓扑需要数亿个乘法和加法逻辑计算（MAC），需要数百万个卷积神经网络参数，就比如能实现分类/目标检测/语义分割等多目标任务的MobileNetV2结构就具有3亿个MAC计算和420万个参数，但这相对于ResNet微结构，已经是减少了9倍的计算量。
训练过程由于涉及海量的大数据和复杂的深度神经网络结构，需要的计算规模非常庞大，通常需要GPU或云去完成，推断部署环节的计算量相比训练环节会少一些，但仍然涉及大量的矩阵运算，通常在边缘的高功率GPU / TPU上执行以实现低延迟。面对深度学习的训练和推断的算力需求，市场上大部分使用的是NVIDIA的GPU或google的TPU来实现。
AI的发展
要真正实现快速决策，AI也需要发展。 如今，用于成像的AI决策已从云过渡到边缘再迁移到与成像系统本身。 比如把AI的训练环节保留在GPU或云端，利用堆栈工艺可以将决策或甚至与之相关的一些预处理集成到图像传感器上，比如在传感器上集成用于图像识别的底层或者轻算力的卷积神经网络层，集成具有内存的数字矩阵乘法计算单元体系结构。这些AI功能集成在图像传感器中都将会实现，也已经有公司发布了内置人工智能引擎的图像传感器芯片。
如安森美半导体的融合了AI的水果新鲜度分类系统的演示，整个ECOsystem是基于安森美半导体的AR1335的相机和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2结构来处理分类新鲜和腐烂的苹果、橘子、香蕉等6类多达上万个CNN训练参数，可以识别三种水果及其新鲜度，这个系统的准确率达到97%以上。
图4：AI用于机器视觉，识别水果新鲜度
总结
图像传感器的开发正在从仅提供RGB和二维坐标信息转移到新的更丰富的形式。 图像传感器可提供更多类型的数据，无论是深度数据还是增加的光谱信息，以及AI合并这些数据集并实现高级决策，从而使系统能够通过新的测量和决策机会提供更快、更准确的结果。安森美半导体是工业机器视觉的领袖之一，以全方位的智能感知产品阵容和领先的技术，应对工业AI应用挑战并推进智能制造的创新。
