研究人員開發(fā)可以重新創(chuàng)建真實世界照明和反射的人工智能

曾經(jīng)在網(wǎng)上購買地毯或布料，希望你能說出它在現(xiàn)實生活中的樣子嗎?感謝麻省理工學院計算機科學與人工智能實驗室(csail)和法國inria sophia antipolis的研究人員，您距離能夠體驗到這一點還有一步之遙。

今天在溫哥華舉行的2018年siggraph會議期間，該團隊聯(lián)合推出了“單圖像svbrdf捕獲與渲染感知深度網(wǎng)絡(luò)”，這是一種提取照片中材料的紋理，高光和陰影并以數(shù)字方式重建環(huán)境照明的方法。反射。

研究人員寫道：“[v]正在暗示......允許人類在單張圖片中感知物質(zhì)外觀。” “然而，恢復(fù)空間變化的雙向反射分布函數(shù) - 定義光在不透明表面上如何反射的四個變量的功能 - 來自基于此類線索的單個圖像已經(jīng)對計算機圖形學的研究人員提出了數(shù)十年的挑戰(zhàn)。我們通過訓練深度神經(jīng)網(wǎng)絡(luò)來自動提取和理解這些視覺線索來解決[問題]。“

研究人員從樣本開始 - 很多樣本。他們采購了800多種“藝術(shù)家創(chuàng)作”材料的數(shù)據(jù)集，最終從九個不同的類別(油漆，塑料，皮革，金屬，木材，織物，石頭，瓷磚，地面)中選擇了155個“高品質(zhì)”套裝，在預(yù)留了大約十幾個用作測試裝置之后，將它們渲染在虛擬場景中，以模仿手機攝像頭的視野(50度)和閃光燈。

然而，僅僅訓練機器學習模型是不夠的，因此為了放大材料數(shù)據(jù)集，研究人員使用了40個cpu的集群來混合和隨機化他們的參數(shù)。最終，他們產(chǎn)生了20萬個逼真陰影，“廣泛多樣化”的材料。

下一步是模型培訓。該團隊設(shè)計了一種卷積神經(jīng)網(wǎng)絡(luò) - 一種機器學習算法，大致模擬視覺皮層中神經(jīng)元的排列 - 預(yù)測對應(yīng)于每像素法線的四個光照圖(渲染圖像上每個像素的照度值)，漫反射反照率(由表面反射的漫射光)，鏡面反照率(光波的鏡像反射)和鏡面粗糙度(反射的“光澤度”)。

為了最小化地圖值之間的可變性，他們制定了一個“相似性度量”，將預(yù)測地圖的渲染與地面實況測量的渲染進行比較。為了確保輸出圖像的一致性，他們引入了第二種機器學習模型，它將從每個像素提取的全局照明(即從表面反射的光)與本地信息相結(jié)合 - 促進研究人員寫道，“來回反復(fù)在遙遠的圖像區(qū)域之間交換信息。“

他們對網(wǎng)絡(luò)進行了400,000次迭代訓練，并為其拍攝了350張用iphone se和nexus 5x拍攝的照片，這些照片被裁剪為接近訓練數(shù)據(jù)的視野。結(jié)果?該模型表現(xiàn)相當不錯，成功地再現(xiàn)了金屬，塑料，木材，油漆和其他材料上的光的真實反射。

不幸的是，它并非沒有它的局限性。硬件限制將其限制為256 x 256像素的圖像，并且它難以再現(xiàn)低動態(tài)范圍的照片的光照和反射。盡管如此，該團隊仍然注意到它很好地概括為真實的照片，并且如果不出意外的話，就表明“可以訓練單個網(wǎng)絡(luò)來處理各種各樣的材料”。