人工智能视觉芯片是一种能够一起获取图画、处理图画的半导体芯片，这种芯片能够将获取的图画数据进行并行处理，终究输出处理结果。人工智能视觉芯片的方针是在传感器内部完结杂乱图画处理，包含图画辨认和分类。
中国工程院罗毅院士研讨团队在中国工程院院刊《Engineering》2022年第7期宣布《感存算一体化智能视觉芯片的展望》一文。文章总结了感存算一体化智能成像体系中运用的两种不同类型的架构（即在传感单元内或邻近进行核算），然后评论了未来的开展方向（包含与算法匹配的架构、3D集成技能、新式资料和先进器材）。文章指出，感存算一体化智能成像体系的终究方针是完结更高效的AI硬件，该硬件体系具有低功耗、高速、高分辨率、高辨认准确率和大规划集成的特色，一起具有可编程性。别的，为了将感存算一体化智能成像体系商业化，需求在物理学、资料学、核算机科学、电子学和生物学等范畴进行更深化的研讨。
近年来，人工智能（AI）的运用变得越来越广泛，其开展也跟着生物学、数学的前进而日渐老练。但是，AI的开展也对体系的核算才能和能量功率提出了更高的要求，因而迫切需求新的硬件架构来满意AI的需求。AI的方针是使机器取得相似人的智能，当时的硬件体系在履行核算时依然依据传统的冯·诺依曼架构。首要经过传感器得到物理信号，然后将信号传输至核算中心结合算法进行感知，这种信息处理的方式与人脑彻底不同。以视觉为例，人类的视觉体系（包含视觉皮层）是高度紧凑和高效的，其间，视网膜上的数亿光敏神经元与预处理、操控神经元相衔接，能够完结感光和信号预处理（增强图画、提取特征等）。一旦光敏神经元检测到冗余信号，视觉体系会将其弱化，仅将要害信息传输至大脑皮层进行深度处理。
现在常用的人工成像硬件体系的功用并不像人类视觉体系那样，如电荷耦合器材（CCD）阵列和互补金属氧化物半导体（CMOS）阵列，这类传感器经过总线将图画数据串行传输至存储器和处理单元进行交互运算（即冯·诺依曼架构）。尽管当时的成像硬件体系在传感单元密度、呼应时刻和波长规划方面优于人类视觉体系，但在履行杂乱AI使命时，它们的功耗和延时变成了不行疏忽的问题。在大多数图画处理使命中，超越90%的图画数据是冗余且无用的，跟着像素数量的快速增长，数据冗余量明显添加，给模数转化（ADC）和数据传输带来了严峻担负，并约束了实时图画处理技能的开展。因而，AI的开展会敏捷耗费硬件资源，并发生对新式硬件体系的激烈需求。
受人类视觉体系的启示，部分研讨测验将一些处理使命转移至图画传感器内，然后完结原位核算，而且削减数据传输。在20世纪90年代，加州理工学院的Mead和Mahowald提出了人工智能视觉芯片，他们构想了一种能够一起获取图画、处理图画的半导体芯片，这种芯片能够将获取的图画数据进行并行处理，终究输出处理结果。前期的视觉芯片旨在仿照视网膜的预处理功用，但只能完结简略图画处理，如图画滤波和边际检测，然后逐步提出在传感器内部完结杂乱图画处理，包含图画辨认和分类，这也成为了人工智能视觉芯片的方针。此外，在2006年提出视觉芯片需求具有可编程功用，然后经过软件操控灵敏地处理各种运用场景。在2021年，Liao等总结了生物视网膜的原理，并评论了依据新式器材的智能视觉传感器开展。Wan等概述了用于神经拟态传感核算的电子、光学以及混合光电核算技能。
（1）架构一：传感单元内部核算。这种架构的光电勘探器被置于仿照存储器和核算单元中，以组成处理元件（PE），然后运用PE电路来完结原位传感功用，并处理传感器取得的仿照信号。这种架构如图1（a）所示，其优势在于具有高度并行处理速度。但是，仿照存储器和核算单元占用了较大的面积，使得PE电路比传统传感单元大得多，这导致像素填充因子较低，并约束了成像分辨率。
（2）架构二：传感单元邻近核算。由于较低的填充因子，视觉芯片难以选用原位传感和核算相结合的架构。相反，将像素阵列和处理电路物理别离，但依然坚持片上并行衔接，这使得二者能够依据体系要求进行独立规划和优化。这种架构如图1（b）所示，首要经过总线从像素阵列中获取传感数据（仿照），并转化成数字信号，然后在邻近的处理单元内进行核算。这种架构具有广域图画处理、高分辨率和大规划并行处理的优势，而且能够在数字处理电路中结合现有的AI算法（包含人工神经网络等）。
现在，视觉芯片的神经元规划只要102~103个，远少于视网膜和皮层（1010个），因而，感存算一体化智能视觉芯片需求更大规划的集成。其间一种办法是经过片上光学卷积神经网络（CNN）和光学脉冲神经网络（SNN）完结大规划高并行运算，以明显进步核算功率。另一种办法是选用三维（3D）集成技能，运用硅通孔（TSV）笔直集成空间中的功用层（传感器、存储器、核算、通讯等）。在2017年，索尼提出了一种3D集成视觉芯片，像素分辨率为1296×976，处理速度到达1000 fps。部分研讨人员以为，3D集成芯片已经成为一种必然趋势，但在架构规划和引线互连等方面依然需求更深化的研讨。研讨证明，尽管短互连能够下降功耗和推迟，但由于层间间隔较短可能会导致散热难题。因而，处理3D集成的牢靠性问题和进步功用至关重要。
图1 视觉芯片架构。（a）传感单元内部核算；（b）传感单元邻近核算。CDS：双精度采样
近些年来，在AI开展需求的驱动下，触及新式资料和先进器材的技能不断涌现，也为感存算一体化智能成像体系供给了新方案。
（1）具有勘探和回忆功用的资料（DAM）。光电突触器材被视为构建感存算一体化智能成像体系的一种办法，并有望促进视网膜仿生技能的开展。研讨发现，一些金属氧化物（氧化物半导体、二元氧化物等）、氧化物异质结和二维（2D）资料在完结光电突触器材方面有巨大的潜力。光电突触具有暂时回忆才能和突触可塑性，如短时程可塑性（STP）和长时程可塑性（LTP），能够经过光信号进行调制以完结实时图画处理。这类器材有许多长处，它供给了一种非触摸式的写入办法（光写入），权重写入进程具有高速并行的特色。但是，这类器材依然面对一些应战，包含脉冲写入下电导非线性改变和由于较大的照明强度而导致的高能耗。在写入进程中，光影响用于完结增强突触活性，而电影响用于按捺突触活性。具体来说，器材的电导在光脉冲效果下逐步添加，而在负电脉冲效果下则逐步减小，这相似于生物突触中的增强和按捺，器材的电导改变对应突触的活性改变。此外，研讨指出负光呼应或许光影响用于按捺突触活功用够完结全光调制的杂乱神经功用。现在大多数研讨侧重于在器材中仿照突触行为[如兴奋性突触后电流（EPSC）、成对脉冲易化（PPF）、STP、LTP等]，由于仿照人眼视网膜神经元依然是一大应战。为了仿照视网膜，光电突触器材的大规划集成有待进一步研讨。在DAM资猜中，依据二元氧化物（如ZnO、HfO2、AlOx等）的器材具有结构简略和CMOS兼容性的长处，这是大规划集成的要害因素。相反，与集成电路（IC）根底结构不兼容的资料能够经过选用异质集成、异质外延、键合和三维异质集成等技能来完结。
（2）结合传感器与存储器的器材结构。近些年来，跟着半导体器材的开展，部分研讨提出选用先进器材替代PE电路，如新式存储器材[如阻变存储器（RRAM）和其他忆阻器等。例如，两类器材经过串联的办法来完结固有特性的结合，使传感器阵列具有可编程性，而且将光学图画转变为易于辨认的信息。这种结构将单个像素的占地面积明显下降到4F2的理论极限（F是工艺的特征尺度），能够完结高填充因子的集成办法。但是，与CCD不同的是，该阵列不显现破坏性读出，也不显现任何积分行为。在该阵列中，乘加运算（MAC）能够经过仿照域中的基尔霍夫定律直接完结。但是，大规划集成引起的串扰是一个亟待处理的问题。有研讨报导了一种由单光子雪崩二极管（SPAD）和忆阻器组成的体系，用于处理脉冲事情方式的信息，然后完结实时成像辨认。
跟着新式资料与器材的开展，感存算一体化智能成像体系也相同需求新的架构和算法来适配其运用。例如，深度学习算法（如DNN、CNN、SNN等）是现在较为老练的图画处理技能，而怎样将其运用于感存算一体化智能成像体系是一个亟待处理的难题。SNN经过对时刻并行编码的神经信号进行编码和处理，为进步核算功率供给了一种很有远景的处理方案。
本文总结了感存算一体化智能成像体系中运用的两种不同类型的架构（即在传感单元内或邻近进行核算），然后评论了未来的开展方向（包含与算法匹配的架构、3D集成技能、新式资料和先进器材）。总归，感存算一体化智能成像体系的终究方针是完结更高效的AI硬件，该硬件体系具有低功耗、高速、高分辨率、高辨认准确率和大规划集成的特色，一起具有可编程性。为了将感存算一体化智能成像体系商业化，需求在物理学、资料学、核算机科学、电子学和生物学等范畴进行更深化的研讨。
特别声明：以上内容(如有图片或视频亦包含在内)为自媒体渠道“网易号”用户上传并发布，本渠道仅供给信息存储服务。
首播6集收视破亿，评分直指8.3，又一部古装好剧上线万俄军团体屈服，到每天阵亡数百人，乌克兰还值得信赖吗？
关于新冠病毒，世卫安排最新数据显现：XBB1.5亚变体是迄今为止传染性最强的新冠变异株
发烧、带娃、学习、应对家庭纷争——2022年的最终一个月，我是怎样活出来的…..