五花八門的 APP 讓人像修圖越來越簡單，磨皮、美白、亮膚都可以一鍵處理。
　　不過，如果把原片拍成這樣，各類 APP 可能就無能無力了。

　　圖片中人臉被大面積的陰影覆蓋，如果不想放棄原圖，只能用 Photoshop 等專業的修圖軟件處理。
　　不過，對于小白來說，Ps 等軟件有一定技術難度，而且操作步驟復雜，那么有沒有一種簡單，對小白友好的處理方法呢？
　　近日，來自伯克利，麻省理工學院和 Google Research 的研究人員聲稱，他們研發出一款最新 AI 算法，無需 Ps，在幾秒內中就可以精準去除圖像中的“不需要”的陰影部分，而且對于面部圖像的處理尤為適用。
　　 AI 修圖神器
　　如果打開手機相冊，你會發現戶外自拍照或多或少都會存在陰影問題，這是光線位置、自拍角度和周圍環境等因素造成的，比如在強光照下，周圍樹木、建筑，或者頭戴的帽子都可能在面部形成陰影。
　　不過，并不是所陰影都需要全部去除，比如頭發、五官的陰影會讓照片看起來更加自然美觀。

　　由伯克利，麻省理工學院和 Google Research 組成的研究團隊稱，他們開發的基于神經網絡的 AI 模型不僅可以去除面部陰影，還可以準確識別哪些是需要處理的陰影，并自動完成補光。
　　我們先來看一組實驗對比圖。

　　可以看到，該 AI 算法的修復效果還是非常顯著的。原圖中，人臉的三分之二全部被陰影覆蓋，修復后，陰影被大面積去除，而且基本保持了人像的原貌，看不出任何圖片修復過的痕跡。
　　另外，我們看到臉頰側面，眉骨下面的陰影被適度保留了。下面這幅實驗效果圖更為顯著，陰影被適度去除，并且增加了一定的光感。

　　研究人員稱，他們實驗發現，這項識別并去除陰影的 AI 算法在人像處理方面表現最佳，未來幾年，這項技術可能會被廣泛應用到智能手機中，幫助用戶輕松處理復雜的修圖問題。
　　那么這項技術是如何做到呢？
　　研究人員稱，其方法主要依賴于一對神經網絡，一個是去除外部物體投射的外界陰影（Foreign Shadows），另一個是柔化由對象特征投射的面部陰影（Facial Shadows），并添加合成補光來提高照明率。在此框架的基礎上，通過以下具體技術實現達成了圖像修復效果：
　　大規模訓練數據集：用于訓練和評估針對異物陰影，面部陰影和虛擬補光的機器學習模型。
　　對稱面部圖像生成：用于顯式編碼對稱提示，以訓練面部陰影模型。
　　研究人員強調，他們的數據和模型獲得的肖像增強效果，在數字指標和感知質量方面均優于所有基線方法。
　　接下來，我們來詳細介紹具體的技術原理和實驗結果。
　　 外界陰影&面部陰影
　　需要說明的是，圖像中陰影的檢測和去除一直是計算機視覺研究的中心問題，傳統的解決方案需要手動標記圖像中的“陰影”或“亮”的區域，然后通過全局優化技術（例如圖形切割）來解決陰影問題。顯然這種手動方式在很大程度上限制了技術的適用性。
　　而本次研究的 AI 算法利用機器學習模型，實現了全自動化的陰影檢測和處理。如上文所說，這套算法解決方案分為兩個部分：一是外界陰影處理，而是面部陰影處理。
　　外界陰影。研究人員介紹，為了訓練外界陰影的機器學習模型，他們構建了一個真實人像的數據集，該數據集大約有 5000 張圖像，用于合成外界陰影的圖像。具體的運行過程如下圖：

　　圖中的輸入蒙版 Min 是從目標輪廓生成的， Min 經過人皮膚的次表面散射（SS）近似生成 Mss，然后根據空間變化和像素強度的變化生成M，最后由陰影蒙版M，結合原始圖形 It 和陰影圖像 Is 混合生成外界陰影圖像。
　　 面部陰影： 在這里，研究人員使用 Light Stage 掃描的數據集來構建由小光源照明的輸入/輸出對，以及每張臉部可變和可補光的輸出圖像。

　　如圖，每個 OLAT 渲染的圖像與下方的光源構成圖相對應，隨著 Key Light 轉件分配給可變數量的鄰居，渲染的圖像的光照強度逐漸減弱。
　　另外，在這里研究人員提出一種顯式編碼面部對稱性的方法。研究人員稱，人臉的對稱性是推理光照的有用線索：人臉的反射率和幾何形狀很可能是對稱的，但是投射在人臉上的陰影很可能是不對稱的，利用這一點，將地標（Landmarks）檢測系統應用于輸入圖像，并使用恢復的地標圖像生成輸入圖像的的鏡像版本。該鏡像圖像會附加到網絡中的輸入圖像中，從而允許網絡直接推斷出可能由于面部和外部陰影而引起的不對稱圖像內容，進而提高性能。
　　 對比實驗： 論文中，研究人員將以上兩種方法與當前通用的修復模型進行了比較。從比較中可以看到該模型的優勢顯著。
　　在外界陰影處理方面，現有研究有圖像分割技術（Guo）、基于自注意機制的神經網絡模型（Cun），以及基于學習的最新方法（Hu）。
　　研究人員選用 SRD 基準數據集進行評估，并計算了 PSNR，SSIM，以及基本事實與輸出之間的學習感知度量 LPIPS。結果該模型大大優于這些基準。如下圖：

　　另外，從測試的圖像上來看。 Guo 等方法錯誤地將深色圖像區域識別為陰影并將其刪除，同時也未能識別出真實陰影部分。Cun 和 Hu 的深度學習方法，在正確識別陰影區域方面做得很好，但可能無法完全去除陰影，而且更改了圖像原來的整體亮度和色調。

　　對比之下，本次研究的模型能夠完全去除外來陰影，同時仍保留被攝體的整體外觀。
　　在面部陰影處理方面，研究人員與 Sun 等人的 PR 網絡進行比較。結果如下圖，PR-net 在包含粗糙臉部陰影的圖像上表現不佳，并且在訓練過程中刪除串聯的“鏡像”輸入會降低所有這三個指標的準確性。

　　最后要說明的是面部陰影的柔和和補光效果。輸入的圖像很可能包含粗糙的面部陰影，例如臉頰、眼睛周圍（如下圖）。從下圖可以看出，將面部陰影柔化模型與可變的“光度” M 結合應用會產生更柔和的圖像陰影，如 bc 列。

　　研究人員介紹稱，鏡面反射也被抑制是一種理想的攝影實踐，因為鏡面高光通常會分散和遮蓋對象的表面。此外，該模型的亮度比分量通過在此處與檢測到的琴鍵相反的方向形成的強度為訓練中使用的最大值的合成補光度，從而降低了由面部陰影（d）引起的對比度。
　　不過，目前算法還是存在一定的局限性，比如模型有時無法去除雙邊對稱的陰影。因為陰影增強模型的訓練數據是通過增加光的大小來渲染的，所以簡單的亮度設置會偏向于生成看起來模糊的圖像。
　　更多論文詳細內容請參考： https://arxiv.org/pdf/2005.08925.pdf
　　引用鏈接：
　　 https://fstoppers.com/post-production/artificial-intelligence-getting-insanely-good-removing-shadows-photographs-faces-509108
　　 https://www.diyphotography.net/harsh-sunlight-no-problem-this-ai-removes-all-those-unwanted-shadows/