技术实例 | 从计算光学成像角度的一些思索

摘要：传统光学成像实质上是场景强度信号在空间维度上的直接平均采样记载与再现的过程。在此过程中，成像的分辨率与信息量不可避免地遭到光学衍射极限、探测离散器采样、成像系统空间带宽积等若干物理条件限制。如何突破这些物理限制，取得分辨率更高，视场更宽广的图像信息，是该范畴的永世课题。本文概括性地引见了分辨率、超分辨率与空间带宽积拓展的相关基础理论，中心机理及其在计算光学成像中的若干实例。经过将这些细致个案置入“计算光学成像”这个更高维度的体系框架去剖析与讨论，提示了它们大多数都能够被了解为一种可称作“空间带宽积调控”战略，即应用成像系统的可用自由度，在成像系统有限空间带宽积的限制下，以最佳方式中止编解码和传送信息的过程，或者形象地说——“戴着脚镣跳舞”。这实质上是一种在物理限制下，在“得”与“失”之间所作出的契合规律的权衡与选择。本文的结论有望为设计和探求面向各类复杂理想成像应用的新型成像机理与措施提供有益启示。

关键词：分辨率；超分辨率；衍射极限；亚像素；空间带宽积；计算光学；计算成像；计算摄像

人类对外界信息的感知80%以上来自视觉。而人眼的信息获取才干受生理结构的限制，在时间、空间、灵活度、分辨力等方面均存在局限，无法获取悠远距离的信息或者难以看清十分细小的物体。光学成像技术的呈现，将客观景物转变为图像，扩展了人眼的视觉特性。例如：望远镜的发明，完成了对宇宙、星空等悠远空间的探求与观测；显微镜的发明，完成了对微观世界如细胞等的察看与剖析。由此可见，光学成像系统的发明与研讨是为了获取客观世界的图像信息，获取更多的信息量不时是人类追求的永世目的。

传统光学成像系统的成像过程是一个简单直接的串行过程：场景经过光学透镜系统折射后聚焦投影到传感器，传感器像素和目的场景之间经过树立“点对点”的逐一对应关系来获取图像，传感器得到的数据经过数字化处置后构成计算机可显现的图像。这种“所见即所得”的成像方式实质上能够了解为场景强度信号在空间维度上的直接平均采样记载与再现。在此过程中，成像的分辨率与信息量不可避免地遭到光学衍射极限、探测器离散采样、成像系统空间带宽积（Spatial Bandwidth Product，SBP）等若干物理限制：首先，光学系统所能分辨的最小物体特征受限于光的衍射特性，存在瑞利－阿贝物理衍射极限。其与探测光波的波长与成像系统的孔径密切相关，无论运用何种光学仪器，都很难对尺寸小于半个波长（约为200 nm）的微小特征明晰成像。其次，像素是组成数字图像的最小单元，像素数量越多且越细腻，图像承载的信息量就越大，因而像素数量是影响图像质量的重要要素。但遭到探测能效、制造工艺、工作条件、光电串扰、功耗成本等要素的限制，光电探测器的像元尺寸无法无限制减少，范围也无法无限制扩展。最后，关于一个成像系统而言，成像视场越大、分辨率越高，有效像素数量就越多，图像中包含的信息量也就越大。但现有光学成像系统受拉格朗日不变量等要素的限制，空间带宽积大多仅在百万至千万像素量级[2,5-6]。而天文观测、航空航天、生命科学、军事国防等范畴迫切需求成像系统满足宽画幅、跨尺度成像，其所需的成像信息量常常要抵达亿像素以至十亿像素级，这是传统成像系统的数十到数百倍。综上所述，基于“所见即所得”的传统成像技术因受光学衍射极限、探测器离散采样、成像系统空间带宽积等若干物理条件的限制，无法满足当今军事和民用范畴对高分辨率、宽视场成像应用日益增长的需求。

计算光学成像技术将前端物理域的光学调控与后端数字域的信息处置中止有机分离，为突破传统成像技术的诸多限制性要素提供了新伎俩与新思绪[7-8]。近年来，计算光学成像已展开为一门集信息光学、现代信号处置、计算光学、几何光学等理论于一体的新兴交叉技术研讨范畴，成为国际上光学成像范畴的研讨重点和热点，代表了先进光学成像技术的未来展开方向。固然计算成像的概念构成于20世纪90年代中期，但从实质上而言它并不能算是什么“新事物”。作为20 世纪最巨大的工作之一，信息论应用概率论、随机过程、傅立叶剖析等数学伎俩定量剖析信号的采集、处置及传输的普通规律。正如其奠基者C. E. Shannon的著名论文A Mathematical Theory of Communication中所说[9]：“通讯的基本问题就是在一点重新精确地或近似地再现另一点所选择的信息”。从信息论的观念看来，声学、电学和光学系统都是用来传送信息的，电学系统传送随时间变更的电讯号，而光学系统传送随空间变更的图像[10]。在一个典型的通讯系统中，信源音讯经过信源编码，信道编码，然后由调制器加载到载波调制信号上经过信道中止传输。在信道的另一端，信号将先经过解调，然后在经过信道解码、信源解码后送到信宿处。经过比较能够直观地看出，近年来快速展开的计算光学成像技术正是信息论在光学成像范畴的应用和拓展——场景或物体相当于通讯系统中的信源，成像系统相当于信道，最后重建得到的图像相当于信宿。而光信息学，即信息光学就是通讯理论中傅立叶剖析等一系列数学思想以及系统理论与光学（主要是动摇光学）相分离的产物，其研讨的是光信号表征、采集、剖析、处置以及在自由空间与光学系统中传输的普通规律。

信息光学来源能够追溯到原始光学初期，但取得疾速展开还是最近半个多世纪的事，这得益于20世纪几项重要的发明：信号传输与通讯、激光与光全息、光电信号数字化以及数字信号处置技术。而20世纪末计算成像概念的兴起与快速展开又得益于“可调控”光学器件——包含光源（波长调谐激光器、可编程LED阵列、可编程LCD面板）、光学元件（扫描振镜、变焦透镜）、空间光调制器（SLM，DMD，LCOS）等的呈现、先进高分辨高灵活度光电传感器（sCMOS、EMCCD、SPAD、TOF、偏振相机）、数据处置才干日益提升，存储空间日益递增的计算机/并行处置计算单元、以及最优化理论、紧缩感知、深度学习等新型数学与算法工具三方面的并行展开与无缝分离。光电器件、计算机与微处置器的计算性能依旧会在接下来的若干年内借助于“摩尔定律”的惯性（固然并非严厉恪守）持续增长。而正在孕育中的新型光学器件、光场调控机制、高性能图像传感器、数学算法与工具、并行/云/光/量子计算、人工智能技术必将为计算成像技术的未来展开注入新的生机。往常，计算光学成像已展开为一门集信息光学、计算机视觉、计算光学、现代信号处置、几何光学等理论于一体的新兴交叉技术研讨范畴。

这里值得提及的是，“成像中的计算”与“计算成像”有着实质的不同。计算成像固然被称为“计算”成像，但其中心仍在于前端（物理域）的光学调控机制与成像系统表征，其从基本上决议了后端（数字域）信息处置技术所能解译与反演的信息量。简言之，假如成像系统前端所获取的原始信号（大部分状况是强度信息）的正向模型不明白或者数据不理想，仅依托后端图像处置技术很难加以弥补。由于信息并不会凭空产生（这对当下十分盛行的深度学习技术也适用），正所谓“巧妇难为无米之炊”[8]。因而，经过将前端（物理域）的光学调控与后端（数字域）信息处置的有机分离，计算光学成像对照明、成像系统中止光学编码与数学建模，以计算重构的方式获取图像与信息。这种新型的成像方式将有望突破传统光学成像技术对光学系统以及探测器制造工艺、工作条件、功耗成本等要素的限制，使其在功用（相位、光谱、偏振、光场、相干度、折射率、三维形貌、景深延拓，含糊恢复，数字重聚焦，改动观测视角）、性能（空间分辨、时间分辨、光谱分辨、信息维度与探测灵活度）、牢靠性、可维护性等方面取得显著进步。正如本文的题目所示，这里所着重讨论的主题是光学成像系统的分辨率、超分辨率与空间带宽积拓展，这显然是计算光学成像技术所重点触及的范畴。

另一方面我们不得不招认，由于缺乏系统性的理论体系与框架支撑，现阶段的计算光学成像并不能被称为一门系统性的光学分支学科。更精确地说，它能够被以为是一种对各类新兴光学成像机理“后知后觉”地总结归结与笼统概括，并为人们提供了一个“应有尽有”的通用框架。例如，分辨率提升、超分辨率与空间带宽积拓展技术相关的研讨能够追溯到20世纪中叶（例如合成孔径雷达，CT等技术），其历史以至早于人类第一个数字-光学成像系统——电荷耦合器件（CCD）相机的发明（20世纪70年代中叶）。而超分辨成像技术，特别是荧光超分辨显微成像技术基于结构光照明、受激起射损耗[11]与荧光分子的光开关效应[12-14]等新颖光学调控机制，光学显微镜的衍射极限已被大幅突破，使光学显微镜的分辨率抵达了纳米尺度。2014年，诺贝尔化学奖分别授予Eric Betzig, Stefan W. Hell 以及William E. Moerner三位科学家，以惩处他们在超分辨荧光显微成像技术方面的严重贡献。显然上述光学成像技术所取得的庞大成就是独立于 “计算成像” 范畴所取得的。它们都源于自身所处于的学科方向，在理论中逐步展开且逐步构成了独具特征的系统理论与技术体系。但不可承认的是，这种基于个案（case-by-case）的研讨方式难以提示那些看似独立的成像措施之间的实质物理机理和内在关联。

本文题目的后半部分“从计算光学成像角度的一些思索”恰恰阐明了本文的中心立场——经过将这些新型光学成像的细致个案置入“计算光学成像”这个更高维度的体系框架去剖析与讨论，有望更深化系统地解释这些成像技术背地的物理学与光信息学实质，这将有望为设计和探求面向各类复杂理想成像应用的新型成像机理与措施提供有益的启示。值得阐明的是，本文与我们不久前在《红外与激光工程》中所发表的综述“计算光学成像：何来，何处，何去，何从？”[8]偏重点有所区别。它并不力图面面俱到，而旨在反映一个中心机想——大多数提升分辨率，或者说“超分辨”及拓展空间带宽积的计算光学成像措施，它们实质上只是在若干物理机制的限制下，在“得”与“失”之间做出契合规律的权衡与选择，或者形象地说——"戴着脚镣跳舞"。这也从侧面印证了，在没有足够恰当的动机和缘由的状况下，滥用“超分辨”一词是存在一定隐患的。由于其疏忽了在进步成像分辨率过程不可避免的基本“权衡”以及所需求付出的“代价”。

基于上述认识，本文“分辨率、超分辨率与空间带宽积拓展——从计算光学成像角度的一些思索”，概括性地引见了分辨率、超分辨率与空间带宽积的相关基础理论，中心机理及其在计算光学成像中的若干实例。在第一章到第三章中，首先扼要引见分辨率与空间带宽积的基本概念与背景学问。关于一个成像系统而言，分辨率主要受限于光学系统衍射与探测器离散采样两方面。前者称为光学分辨率，受衍射极限影响；后者称为图像分辨率，受采样极限影响；二者共同决议了成像系统的解析力。而空间带宽积主要取决于成像系统的自由度，其可在相空间中简约明了地可视化。第四章至第七章中，以Lukosz的超分辨准绳[15-16]与Papoulis广义抽样[17-18]理论为动身点，论述大部分进步成像分辨率的计算成像措施从实质上都能够被了解为一种 “空间带宽积调控”战略，即应用成像系统的可用自由度，在成像系统有限空间带宽积的限制下，以最佳方式中止编解码和传送信息的过程，并基于此分类对典型的超分辨率与空间带宽积扩展的计算成像措施中止了概述。最后，在第八章中针对若干未来重要的展开方向中止瞻望，并给出了本文的总结性评论。

本文 长达64页，推送部分仅为节选（中国光学 第15卷 第6期），全文内容可 阅读原文下载PDF文档。

了解光电技术,关注光行天下公众号

2023年广告预定开端,欢送联络 微信号: cyqdesign

科研稿件|技术文章投递: service@opticsky.cn