【導(dǎo)讀】近日，普林斯頓的研究人員提出了世界上第一個(gè)高質(zhì)量的微米級(jí)光學(xué)成像裝置「Neural Nano-Optics」，并登上Nature Communications。成像效果和體積大50萬(wàn)倍的相機(jī)鏡頭相比，在不少場(chǎng)景下可以做到旗鼓相當(dāng)！

快看，一朵湛藍(lán)色的花朵正在緩緩綻放，層層花瓣像是海洋的波浪。

另一朵紫色的花綻放的瞬間，也美不勝收。

但是，這些畫面真正的驚艷之處卻并不在于花朵，而在于拍攝它們的相機(jī)鏡頭。

那鏡頭放在手上，是這樣的。

一個(gè)極小極小的正方形小薄片，邊長(zhǎng)大概也就是幾條指紋的寬度！

還有更夸張的。

傳統(tǒng)的光學(xué)鏡頭，比如蘋果的iPhone X，后置鏡頭是長(zhǎng)這樣的。

拉近點(diǎn)看，一個(gè)后置鏡頭之中，其實(shí)疊放了好幾層透鏡。

所以這種大尺寸的光學(xué)元件必然會(huì)很重，而且還會(huì)擠占不少面積。

要不，用這個(gè)正方形小薄片和搭載大體積復(fù)合折射透鏡的傳統(tǒng)相機(jī)比上一比？

結(jié)果非常amazing??！

在微觀拍攝上，這個(gè)小小的薄片對(duì)物體的還原度居然不遜于一堆透鏡疊在一起，甚至畫面還要更明亮一些。

在廣角的拍攝上，這個(gè)小薄片最終還是沒(méi)能敵過(guò)大尺寸的傳統(tǒng)相機(jī)，不過(guò)建筑的輪廓倒也還原得七七八八。

這個(gè)小薄片名叫「Neural Nano-Optics」，學(xué)名「metasurface optics」，意為超構(gòu)表面光學(xué)器件。

有沒(méi)有看到中間拿一圈白色的部分，沒(méi)錯(cuò)，這個(gè)就是成像裝置。

只有一粒粗鹽的大小哦！

成像效果的話，研究人員表示，「Neural Nano-Optics」和體積大50萬(wàn)倍的Edmund Optics 50mm F2.0鏡頭在不少場(chǎng)景下可以做到旗鼓相當(dāng)（不是我說(shuō)的，是原文說(shuō)的on pair with）。

小小相機(jī)有多神？

近幾十年來(lái)，感光元件的小型化使得相機(jī)得以被應(yīng)用于非常多的領(lǐng)域，包括醫(yī)療成像、智能手機(jī)、機(jī)器人和自動(dòng)駕駛。

然而，如果光學(xué)成像器可以比現(xiàn)在再小一個(gè)數(shù)量級(jí)的話，那么它就可以在納米機(jī)器人、體內(nèi)成像、增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)和健康監(jiān)測(cè)方面開(kāi)辟許多新的應(yīng)用。

近日，普林斯頓的研究人員提出了世界第一個(gè)高質(zhì)量的超小型光學(xué)成像裝置「Neural Nano-Optics」，并發(fā)表在了Nature Communications上。

這個(gè)相機(jī)擁有全色（400至700納米）覆蓋、40度的寬視野成像，以及F2.0的光圈。

論文地址：https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf

項(xiàng)目地址：https://github.com/princeton-computational-imaging/Neural_Nano-Optics

「Neural Nano-Optics」優(yōu)于現(xiàn)有的所有最先進(jìn)的超構(gòu)表面透鏡設(shè)計(jì)，并且是世界第一個(gè)實(shí)現(xiàn)高質(zhì)量、寬視野彩色成像的超構(gòu)表面光學(xué)成像器。

超構(gòu)表面（metasurface）是一種厚度小于波長(zhǎng)的超薄人工結(jié)構(gòu)，它可實(shí)現(xiàn)對(duì)電磁波偏振、振幅、相位、極化方式、傳播模式等特性的靈活有效調(diào)控。

通常，傳統(tǒng)光學(xué)元件的物理尺寸很大。

這是因?yàn)閭鹘y(tǒng)鏡頭是通過(guò)使光波發(fā)生彎曲來(lái)工作的。當(dāng)光波穿過(guò)鏡頭時(shí)，它在鏡頭的不同部分會(huì)以不同的角度發(fā)生折射。

一般來(lái)講，工程師會(huì)將多個(gè)單獨(dú)的鏡頭堆疊在一起（稱為復(fù)合鏡頭），以特定的方式引導(dǎo)和控制光線。

典型的凸（會(huì)聚）鏡頭使光波彎曲以在焦點(diǎn)處匯合（來(lái)源：Mini Physics）

由于傳統(tǒng)的成像系統(tǒng)必須由一系列矯正像差的折射元件組成，這些笨重的鏡頭必然使得相機(jī)的限制較大。

傳統(tǒng)成像另一個(gè)大的障礙是難以減小焦距，因?yàn)檫@會(huì)導(dǎo)致更大的色差。

而超構(gòu)表面光學(xué)器件通過(guò)其不同的自身結(jié)構(gòu)與光相互作用，用一層極薄的平面結(jié)構(gòu)就可以達(dá)到同等的效果。

鏡頭縮小的問(wèn)題是解決了，那傳感器呢？

其實(shí)，亞微米像素的光學(xué)傳感器早已存在，但是其成像效果卻被傳統(tǒng)光學(xué)的理論所限制。

所以，單單把傳感器做小并不能完全解決問(wèn)題。由于受到孔徑和光圈的限制，現(xiàn)有的亞微米像素的傳感器取得的圖像質(zhì)量遠(yuǎn)不如大型的光學(xué)相機(jī)。

那普林斯頓的研究人員是怎么攻破這一難點(diǎn)的呢？

答案還得是AI！

在這項(xiàng)工作中，作者提出的Neural Nano-Optics，表面只是一個(gè)小成像裝置，但其背后卻有一個(gè)完全可微的深度學(xué)習(xí)框架，結(jié)合基于神經(jīng)特征的圖像重建算法，進(jìn)而學(xué)習(xí)超構(gòu)表面的物理結(jié)構(gòu)，實(shí)現(xiàn)了比SOTA低一個(gè)數(shù)量級(jí)的重建誤差。

超構(gòu)表面代理模型

作者通過(guò)使用一個(gè)高效的可微分代理函數(shù)進(jìn)行學(xué)習(xí)，該函數(shù)將相位值映射到空間變化的PSF（PSF是point spread function的簡(jiǎn)稱，即點(diǎn)擴(kuò)散函數(shù)）。

文章所提出的可微分超構(gòu)表面圖像形成模型（圖e）是由可微分張量運(yùn)算的三個(gè)連續(xù)階段組成：超表面相位確定、PSF模擬并進(jìn)行卷積以及傳感器噪聲。

在他們的模型中，決定超表面相位的多項(xiàng)式系數(shù)是可優(yōu)化的變量。

可優(yōu)化的超表面相位函數(shù)?，以距光軸的距離r作為自變量，寫成函數(shù)如下：

其中{a0，…an}為可優(yōu)化系數(shù)，R為相位掩膜半徑，n為多項(xiàng)式項(xiàng)數(shù)。

在這個(gè)相位函數(shù)的基礎(chǔ)上優(yōu)化超表面，而不是以逐像素的方式來(lái)優(yōu)化，其目的是避免局部極小值出現(xiàn)。

這種可微分方法Neural Nano-Optics與可選的前向模擬方法（如時(shí)域有限差分模擬）進(jìn)行比較時(shí)，兩者精度是近似的，但可微分方法Neural Nano-Optics比FTDT等全波模擬方法的效率高3000倍，并且更節(jié)省內(nèi)存。

除這些之外，可微分框架Neural Nano-Optics還有幾個(gè)技術(shù)亮點(diǎn)。

基于特征的反卷積

為了從測(cè)量數(shù)據(jù)中恢復(fù)圖像，作者提出了一種基于特征的神經(jīng)反卷積方法，它結(jié)合了已學(xué)習(xí)的先驗(yàn)知識(shí)，可以推廣到?jīng)]見(jiàn)過(guò)的測(cè)試數(shù)據(jù)。

具體來(lái)說(shuō)，該方法采用了一個(gè)可微分逆濾波器和神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和細(xì)化。這種方法能夠?qū)W習(xí)有效的特征，從而利用功率譜的知識(shí)來(lái)提升基于物理的反卷積能力，從而提高泛化能力。

在形式上，特征傳播反卷積網(wǎng)絡(luò)執(zhí)行以下操作:

從結(jié)果看，特征傳播反卷積網(wǎng)絡(luò)的重建能力相對(duì)之前的方法有了質(zhì)的飛躍。

端到端學(xué)習(xí)

有了超表面代理和神經(jīng)反卷積模型，以及一個(gè)完全可微的成像管道，就可以用端到端的方式設(shè)計(jì)納米相機(jī)了。

可微分框架Neural Nano-Optics的學(xué)習(xí)方法和相應(yīng)的優(yōu)化流程

Neural Nano-Optics的端到端訓(xùn)練優(yōu)化過(guò)程是這樣的。

訓(xùn)練優(yōu)化示意圖

訓(xùn)練好之后，使用Neural Nano-Optics系統(tǒng)，可以得到高質(zhì)量的全色圖像。

與現(xiàn)有的最先進(jìn)的設(shè)計(jì)相比，Neural Nano-Optics可以生成高質(zhì)量的寬FOV重建圖像

色差消除(DLAC)

以前的超構(gòu)光學(xué)透鏡沒(méi)有一個(gè)能同時(shí)集齊大孔徑、寬視場(chǎng)、小f-number和大帶寬四個(gè)特性。

經(jīng)過(guò)優(yōu)化的超光學(xué)設(shè)計(jì)，讓這個(gè)超小型相機(jī)達(dá)到了前所未有的水平，能夠在寬闊的視野上捕捉全色圖像，并且實(shí)現(xiàn)了最大500微米的孔徑，也是目前最大的超構(gòu)光學(xué)透鏡，可以增加光收集量。

為了正式量化設(shè)計(jì)規(guī)格，研究人員提出了一種新的度量標(biāo)準(zhǔn)，稱為衍射透鏡色差消除能力（DLAC）。

Neural Nano-Optics再次取得了一騎絕塵的好成績(jī)，以250 DLAC的成績(jī)排名第一。

Neural Nano-Optics應(yīng)用

Neural Nano-Optics的出現(xiàn)有可能會(huì)使相機(jī)、顯示器以及其他光學(xué)設(shè)備發(fā)生革命性改變。

一些令人興奮的潛在應(yīng)用包括：

AR/VR/MR—XR系統(tǒng)開(kāi)發(fā)人員目前仍在努力解決將大型硬件系統(tǒng)集成到頭戴式設(shè)備中的挑戰(zhàn)。Neural Nano-Optics讓我們看到了將微型光學(xué)元件集成到小型高性能輕質(zhì)頭戴式設(shè)備和智能眼鏡中的希望。

醫(yī)學(xué)—Neural Nano-Optics的增強(qiáng)光學(xué)功能可以實(shí)現(xiàn)比以往更精確的診斷成像、也可以搭載在更高分辨率的成像工具（比如內(nèi)窺鏡）和新的顯微鏡上，從而使放射科醫(yī)生、內(nèi)科醫(yī)生和實(shí)驗(yàn)室技術(shù)人員能夠看到以前不可見(jiàn)的細(xì)節(jié)。

參考資料：

https://light.princeton.edu/publication/neural-nano-optics/

http://www.sim.cas.cn/xwzx2016/kjqy2016/202109/t20210901_6179216.html

https://www.nature.com/articles/s41467-021-26443-0

https://www.radiantvisionsystems.com/zh-hans/blog/going-meta-how-metalenses-are-reshaping-future-optics

本文來(lái)自微信公眾號(hào)“新智元”（ID:AI_era），編輯：小咸魚 好困36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 普林斯頓 這只 個(gè)頭