看美國人工智能專家將動漫繪畫變成真人照片-攝影札記 Photoblog

利用人工智能製造影像的技術已發展了一段時間，已廣泛到連手機應用程式都可以做到，例如將你的臉轉化成小童又或者變老。這些看以已經唾手可得的功能，其實是經年累月使用機器學習(machine learning) 不斷改進才能達致。所以對研究員來說，每一個結果都是一個新發現和驚喜。

來自美國三藩市的 Nathan Shipley 目前正是從人工智能與藝術交叉運用的研究。他身兼數職，包括技術總監、創作技術專員、視覺效果管理員，以及動態影像藝術創作者，擁有超過十年經驗。他研究的項目，主要開發技術將繪畫人物轉化成擬似真人相片，或倒過來將真人轉化成動漫人物的方法。

**Lil Miquela** 是誕生於 2016 年的虛擬偶像，其 Instagram 目前擁有多達 290 萬追縱者，Nathan 指利用 A.I. 創造的過程中的一缺撼，就是無法保留臉上的雀斑。

擁有視覺特效及電腦影像技術背景的 Nathan 最喜歡就創造一些不可能的影像以及發掘新技術，他發現傳統手法如視覺特效技術可達到相同效果，但較貴又較花時間，如利用 A.I. 輔助的話可以啟動許多可能性，時間則節省不少。

另一方面，利用 A.I. 可以專門建立一套特定數據庫以及特定框架，就能看見一套世界觀並且轉化成影像。原理是 A.I. 只會利用它的鏡頭去認識曾經看見或過濾過的事物，通過微調數據、訓練參數、參考模型及輸入影像等，都有機會令結果改變。這就是探索神經網絡如何去理解這個世界的空間，有點像我們的思考方式，也是這門學問最迷人之處。

尤利西斯·辛普森·格蘭特的真人肖像，可以比較現實與 A.I. 從畫像創作人臉時的現實結果差距
(圖片來：美國白宮官網)

Nathan 自幼已接觸電腦，加上受過傳統藝術的薰陶，自然地讓他踏上了視覺特效和動畫的職生涯。他鑽研藝術結合 A.I. 緣於 2018 年他參與了西班牙達利博物館 (Salvador Dali Museum) 的一個項目，名為「達利在世 (Dali Lives)」。當時他運用早期開發的 deepfake 程式碼，將已過身的達利帶回博物館，在參觀者面前介紹自己的作品。自此之後，他繼續參與 GANs 計劃 (由 Nvidia 主導) 從而得知神經網絡用於影像處理及創造的強大能力。對他而言，藝術創作是一種表達好奇心的手法，也是一種透過過程作為探索新事物的活動。

「看到完成的影像是件很棒的事，但更令人興奮的，是將新的代碼與一些原本沒關係的代碼結合，配合其他工具一起運用，就能創造出一套全新的藝術創作流程。」Nathan 形容。

荷蘭畫家林布蘭 (Rembrandt) 作品中的人物與 A.I. 創作對比 (1)

荷蘭畫家林布蘭 (Rembrandt) 作品中的人物與 A.I. 創作對比 (2)

荷蘭畫家林布蘭 (Rembrandt) 作品中的人物與 A.I. 創作對比 (3)

荷蘭畫家林布蘭 (Rembrandt) 作品中的人物與 A.I. 創作對比 (4)

Nathan 原本出身至美國中西部的印弟安納州，後定居加州三藩市。在搬去三藩市之前，他在沒有任何計劃的情況下，花了一年時間四處遊歷，先是秘魯，然後就繼續在南美洲、東歐、土耳其、印度及泰國等地闖蕩。如果他喜歡一個地方的話，就會在那裏找住處居住一個月。那段期間，滿足他的好奇心之餘，還有結識很多以藝術創作維生而又過得不錯的朋友。過去十年，他曾為 Google及 Intel 等公司從事動畫、視覺特效及創意技術策劃等工作，現為廣告公司 Goodby, Silverstein & Partners 服務。

Nathan 解釋創造這批人工臉孔的方法，是一個需要反覆試驗及探索的過程。簡單而言，一張臉孔會被輸入至軟件內，再經軟件依據該臉孔產生新的臉孔，而 Nathan 可以做到將真人轉做卡通模樣，或倒轉由卡通轉化成真人也可。

要說得更加具體，想做到一張真人臉，就需要從 Nvidia A.I. 系統內創造出的人臉中選一片相近的臉形，這就是機器學習過程的核心部份。該網絡基於 GAN (generative adversarial network，中釋生成對抗網絡) 編製，亦被稱為 StyleGAN，並由學習過七萬張人臉的數據庫 (名為 FFHQ) 訓練。之後 A.I. 就能創造看起來真實但現實世界中並不存在的人臉。(編者按：於 2019 年，一名 Uber 工程司 Philip Wang 就以此技術就設立了一個名為 www.thispersondoesnotexist.com 網站，每重新載入一次就會有一張全新的臉孔產生，而這張臉全由 A.I. 產生，並無真人存在。)

因為 Nathan 的動畫及特效職業背景，他手上會有一組常用工具如 Photoshop, After Effects、Cinema4D、Maya 及 Nuke 等軟件，但他認為最有趣的，仍然是來自 Github 內由一班擁有學術背景及機器學習研究員所發佈的工具。這些工具以 Python code 編寫，由 Linux 系統執行，用以控制機器學習的圖書庫好像 Tensorflow 或 PyTorch 等。他指出幾乎所有臉孔都是執行 Python code 產生的結果，而他特別對名為 pixel2style2pixel 的 StyleGAN 編碼器感興趣。但他強調，教導機器學習的過程，遠比產生一張臉孔的時間來得更漫長。