編者按:本文來(lái)自微信公眾號“量子位”(ID:QbitAI),作者 邊策 安妮。36氪經(jīng)授權轉載。通過(guò)墻壁漫反射的光影,能重建原始畫(huà)面么?現在可以了。這不是科幻。一篇新論文登上了Nature,論文中顯示,僅僅用一臺普通的數碼相機,僅僅憑借墻上模糊不清的光影,就能還原最初的畫(huà)面。先來(lái)考考大家。下面這個(gè)漫反射光影,你能看出什么來(lái)?其實(shí)這是一個(gè)蘑菇。那下面這個(gè)是什么?很相似是不是?但這是一張人臉……你看不出來(lái),但是厲害的算法,真的能憑借這種漫反射,還原逼真的原始畫(huà)面。無(wú)圖無(wú)真相。下面就是三個(gè)重建的實(shí)例。首先放墻上的漫反射光影。然后是算法重建的圖像。震不震驚!這個(gè)效果,簡(jiǎn)直就是把一面墻,變成了一面鏡子!不信?再來(lái)對比一下原圖。無(wú)論是紅黑兩色組成的英文字母傳遞的暗號:還是超級馬里奧里熟悉的蘑菇:甚至神似辛普森一家中角色的戴紅色棒球帽的復雜頭像,這個(gè)算法都能夠通過(guò)一面墻一五一十還原出來(lái):這個(gè)AI算法無(wú)需借助昂貴的拍攝器材就能還原屏幕,甚至你在自己家都可以把實(shí)驗模擬操作模擬出來(lái)。研究人員在一間普通的房間的一端放置了一塊屏幕,屏幕上顯示圖案,面向對面的墻壁。這塊屏幕旁邊有一套普通的數碼攝像機,同樣面向對面的墻壁,不過(guò)攝像機與屏幕間隔了一塊擋板,攝像機根本沒(méi)有機會(huì )直接拍攝到屏幕上的畫(huà)面。研究人員采用了一臺400萬(wàn)像素的數碼相機完成這個(gè)實(shí)驗,售價(jià)約為1400美元(約人民幣9500元),研究人員預計比此前用脈沖激光相機探物便宜了至少30倍。而這臺數碼攝像機要做的,就是通過(guò)拍攝屏幕發(fā)射到對面墻壁的光,還原屏幕上的圖像。實(shí)驗難度還在加大:研究人員還在房間中間隨手放置了一個(gè)不明位置的遮擋物體,可以是一塊不發(fā)光的板子,也可以是隨手拽過(guò)來(lái)的一把椅子,阻擋一部分光線(xiàn)到達墻壁。在整個(gè)拍攝過(guò)程中,數碼相機能捕捉到的只有墻上斑駁的光影。在這項研究公布之前,這種想法被視為不可能的存在:普通攝像機、一塊普通屏幕,一把隨意搬過(guò)來(lái)的椅子加一面墻,如何還原屏幕上五彩斑斕的未知圖案,甚至是動(dòng)圖?甚至連專(zhuān)業(yè)物理學(xué)家都不看好。荷蘭烏得勒支大學(xué)的光學(xué)物理學(xué)家Allard Mosk曾表示:“人們認為,在沒(méi)有任何先進(jìn)儀器的情況下,只利用墻面上漫反射的光重建圖像幾乎是不可能的?!睕](méi)想到,這群波士頓大學(xué)的研究人員做到了。讓墻變成鏡子先讓我們來(lái)復習一下初中物理知識:物體對光線(xiàn)的反射分為鏡面反射和漫反射兩種。鏡子能讓我們看清物體,是因為鏡子表面光滑,能把光線(xiàn)按照某個(gè)固定方向反射回去。但墻面是粗糙的,當屏幕上的光投射到上面時(shí),光線(xiàn)會(huì )往各個(gè)方向反射,我們稱(chēng)之為“漫反射”。在常識中,我們是無(wú)法通過(guò)漫反射的混亂光線(xiàn)恢復物體原貌的。之前也有些技術(shù)能恢復圖像,但對光線(xiàn)的要求極高,比如激光,成本也高得多。而波士頓大學(xué)的Vivek K Goyal小組這項只需要研究普通照相機。Mirror mirror on the wall!只要算法夠強,墻面也能變成鏡子!與鏡面成像不同的是,在鏡子前個(gè)東西加與阻擋視線(xiàn),而在屏幕和墻面之間插入障礙物,反而會(huì )降低我們還原圖像的難度。這看似違反常識,其實(shí)是有道理的。想象一下小時(shí)候做過(guò)的“小孔成像”實(shí)驗,當光線(xiàn)只能通過(guò)一個(gè)小孔時(shí),屏幕的光就會(huì )在墻面上形成清晰圖像。顯示器和墻面之間的障礙物減少了雜散光線(xiàn),讓入射光線(xiàn)更少,就能讓成像稍微清晰一點(diǎn)。當然,Goyal的研究沒(méi)有把入射光線(xiàn)限制在太小的范圍里,而是用算法從墻上的陰影中恢復屏幕原來(lái)的樣子。雖然現在只能恢復任天堂8位機那種簡(jiǎn)單的圖像。以上只是定性的描述,若要精確恢復屏幕上的圖像,我們需要建立墻面上各點(diǎn)亮度與屏幕亮度的函數關(guān)系:在上面方程中,Pw是墻上的點(diǎn),x是屏幕上的點(diǎn),P0是障礙物上的點(diǎn),nx和nw分別是顯示器與墻面的法向量,Pw-x表示的是從點(diǎn)x指向Pw的向量。I(Pw)墻上點(diǎn)表示Pw的亮度,可以由相機拍攝的圖像獲得;f(x)表示屏幕上點(diǎn)x的亮度,實(shí)際代表著(zhù)顯示器上的圖像;當P0在Pw和x之間時(shí),V等于0,否則等于1;μ表示顯示器指向不同角度光照差異;b表示背景光對墻面亮度的貢獻。以上方程中,I(Pw)我們可以用相機照片獲得,通過(guò)以上方程反向推算出f(x)。如果沒(méi)有障礙物,V處處等于1,I(Pw)與f(x)的依賴(lài)關(guān)系太弱,反而不利于恢復圖像,這也是在屏幕和墻面之間加入障礙物的原因。以上方程太復雜,也不利于計算。既然屏幕的光照越強,墻上的點(diǎn)也就越亮,我們可以把上面的積分方程轉化為一個(gè)線(xiàn)性方程。y=A(po)f+by是墻上各點(diǎn)的亮度,我們選取126×126個(gè)點(diǎn),也就總共15,876個(gè)變量的方程組,其中A(P0)代表一個(gè)變換矩陣。其實(shí)Goyal小組去年已經(jīng)做出了相關(guān)成果,但當時(shí)必須要知道障礙物的形狀以及位置,才能恢復圖像。但這次他們把難度又提高了一個(gè)檔次,僅僅知道障礙物的形狀,卻不知道位置。Goyal的方法是,先估計出障礙物的位置,再通過(guò)平均位置附近的49組數據反向恢復圖像。再發(fā)展下去,他們的算法連障礙物是什么形狀都不需要知道,只通過(guò)墻上模糊的影子,就能它的樣子。相關(guān)研究通過(guò)AI算法分析光影預測直接看不到的物體不僅有這一種方法,早在2010年,MIT Media Lab的研究人員已經(jīng)有了成果。和波士頓大學(xué)不同,這種方法需要單獨購置特殊設備,即一臺能夠發(fā)射出激光的相機。與耳朵接收回音類(lèi)似,這種方法通過(guò)手機激光照在物體表面的反射路徑,算法預測角落中直接看不到的物體。2017年,MIT計算機科學(xué)和人工智能實(shí)驗室(CSAIL)又開(kāi)發(fā)了一種新算法,這個(gè)AI系統可以借助智能手機的攝像頭,收集光反射的相關(guān)信息,檢測隱藏在障礙物后的任何物體,還能實(shí)時(shí)測量它們的移動(dòng)速度和行進(jìn)軌跡。想象一下,你走在一條“L”形的走廊上,拐角的另一邊放置了一堆雜物。這些雜物投射在你視線(xiàn)內地面上的少量光線(xiàn),形成一個(gè)模糊的陰影,我們稱(chēng)之為“半影”。AI系統就利用了智能手機攝像頭中半影的視頻,將一系列一維圖像組合在一起,揭示周?chē)矬w的信息。研究人員將這個(gè)“透視眼”系統稱(chēng)為“角落相機”(ConerCameras),研究人員表示,這種方法在室內和室外的效果都還不錯。這種方法也有弊端,如果如果隱藏的場(chǎng)景本身光線(xiàn)暗,系統的識別也會(huì )有問(wèn)題,此外,智能手機的相機像素也影響收集的圖像質(zhì)量,相機里障礙物越遠,系統收集的圖像質(zhì)量也越差。但在Nature最新研究中,這種弊端不會(huì )顯現,波士頓大學(xué)的研究人員表示,從理論上講,你不僅可以拍攝屏幕,還可以拍攝同一房間內任何燈光昏暗的物體。傳送門(mén)可移步Nature原文繼續了解,論文Computational periscopy with an ordinary digital camera:網(wǎng)頁(yè)鏈接作者:Charles Saunders, John Murray-Bruce & Vivek K Goyal作者系網(wǎng)易新聞·網(wǎng)易號“各有態(tài)度”簽約作者