經(jīng)在看美國(guó)大片《生化危機(jī)》時(shí)，總是好奇電影里面的生化人到底是以什么為參照構(gòu)思出來(lái)的。那種看上去讓人心里別扭，惡心，渾身起雞皮疙瘩的角色，我為此感到非常不可思議。說(shuō)真的，對(duì)這類電影題材，我毫無(wú)興趣去追劇。
這兩年，我突然發(fā)現(xiàn)周邊出現(xiàn)了一些恐怖的現(xiàn)象。一些扭曲著身體與手腳，以一種形容不出來(lái)的怪模樣在來(lái)回走動(dòng)。這些現(xiàn)象在公園，廣場(chǎng)，社區(qū)周邊尤為顯著，偶爾在街道或人行道道上也能見到。這些人里面有白發(fā)的老人，有正當(dāng)壯年的漢子，還有一些婦女，他們七扭八歪，形態(tài)怪異的行動(dòng)在生活區(qū)的周邊，遠(yuǎn)看像極了美國(guó)大片里面的生化人。
早些年總沒看到這種現(xiàn)象發(fā)生，這些現(xiàn)象就像是一夜之間后發(fā)生了。難道生化戰(zhàn)已經(jīng)開始了嗎？中美已經(jīng)到了攤牌的序曲了嗎？不敢想象，變成電影里面的生化人那樣該是多么痛苦啊！想一下都讓人毛骨悚然。
為了知道真相，讓自己不處在焦慮恐懼中。我有心的接觸了經(jīng)常看到的幾個(gè)可憐人，他們給我一致的信息是心腦血管病變引發(fā)各種腦部病癥的后遺癥。這病這么可怕嗎？后遺癥是變成“生化人”——僵尸？不可思議！從他們說(shuō)出這一病癥后，看他們面部的表情是憤怒，悲戚，后悔，充滿絕望后的無(wú)奈。同時(shí)，從這些人嘴里聽到了兩個(gè)從地獄放出來(lái)的魔鬼——腦梗與腦溢血。
交流中，得知他們中絕大多數(shù)發(fā)生這種病癥的原因是，長(zhǎng)期不良生活習(xí)慣與不良飲食帶來(lái)的后果，只有極少部分是因?yàn)樯顗毫λ隆Ｋ麄冮L(zhǎng)期熬夜，晚上睡不著白天睡不醒。喜好重口味，高油脂，重鹽重甜，重香辣。不是電腦前坐著，就是躺沙發(fā)上玩手機(jī)，幾乎沒有運(yùn)動(dòng)。他們?cè)S多有過(guò)體檢行為，都是從發(fā)現(xiàn)三高后沒有重視的結(jié)果。
真的是這樣嗎？
為此，我查閱了部分相關(guān)資料，也到各平臺(tái)了解了一下。這些資料上都提到了一個(gè)問(wèn)題，就是我國(guó)的食品健康問(wèn)題。之前平臺(tái)上轟轟烈烈的辛吉飛打假食品調(diào)味料事件，到今天全民激烈爭(zhēng)吵的轉(zhuǎn)基因與非轉(zhuǎn)基因事件。
對(duì)比我們物資充裕但還算單調(diào)的那段時(shí)間，商店的貨架上只有現(xiàn)裝醬油與蓮花味精包的時(shí)代，廚房只有熬制的乳白色豬油時(shí)代 ，回到家里只有黑白與彩色電視的時(shí)代。大街小巷，公園廣場(chǎng)，從沒有看到有這樣的病人存在。
現(xiàn)在，我們生活上的花樣是層出不窮，吃喝選擇也是五花八門。手機(jī)，電腦，電玩。植物油，動(dòng)物油脂，各種光怪陸離的調(diào)味品，各種添加劑的米面制品與奶制品飲料等等。安全嗎？健康嗎？眾說(shuō)紛紜，沒有統(tǒng)一的共識(shí)。
在某刊上看到，全世界人健康指數(shù)環(huán)地中海一帶是最高的，有調(diào)查研究結(jié)果是該區(qū)域生活環(huán)境好，工作機(jī)制合理，尤其在飲食上非常科學(xué)。低鹽低糖幾乎沒有油脂，食物大部分是天然性質(zhì)，沒添加劑與化合物合成食品。亞洲香港第一，日本其次。日本社會(huì)工作機(jī)制壓力大，但生活習(xí)慣好，飲食與西歐類似，患心腦血管疾病比例遠(yuǎn)少于其他亞洲國(guó)家。
中國(guó)患心老血管病癥在全世界排第一，數(shù)據(jù)一直在遞增。恐怖的是，“生化人”有年輕化趨勢(shì)。
百年前，我們因?yàn)轼f片被世界恥笑為“病夫”。百年后的今天，這個(gè)恥辱的名字我們以寧外一種形式在痛苦的發(fā)生。
為了健康，為了希望。我們必須扔掉過(guò)去生活上的糟粕，借鑒世界上優(yōu)秀的生活文化，給自己一個(gè)健康的人生。
敏 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
如果讓GAN生成的逼真人像變成3D版，會(huì)怎樣？
仿佛有攝像機(jī)對(duì)著人像直拍，正面、側(cè)面、仰視、俯視不同角度都能展現(xiàn)。
真的有種人要從畫中走出來(lái)那味兒了。
而且，這些效果都是由靜態(tài)單視角圖片生成的！
甚至能讓卡通人像立體起來(lái)。
這就是上海交通大學(xué)和華為的最新研究：CIPS-3D。
它是一種基于GAN的3D感知生成器，只用原始單視角圖像，無(wú)需任何上采樣，就能生成分辨率256×256的清晰圖像。
并且創(chuàng)下3D感知圖像合成的新記錄，F(xiàn)ID僅為6.97。
現(xiàn)在，這個(gè)項(xiàng)目在GitHub上已有200+星，作者已將源代碼開源，訓(xùn)練配置文件將在后續(xù)發(fā)布。
在高清人臉數(shù)據(jù)集FFHQ上，CIPS-3D的表現(xiàn)可以說(shuō)非常nice，連古典畫都能變成立體版。
當(dāng)然也能搞定不同動(dòng)物的face。
看到圖像從2D直接變成3D，可能有人已經(jīng)想到了谷歌大名鼎鼎的NeRF。
它只需要輸入少量靜態(tài)圖片，就能做到多視角的逼真3D效果。
而這次的CIPS-3D，也是基于NeRF開發(fā)。
它主要用到了兩個(gè)網(wǎng)絡(luò)：NeRF和INR（隱式神經(jīng)表示法，Implicit Neural Representations）。
淺層是NeRF，它主要負(fù)責(zé)把人像從2D變?yōu)?D。
它將場(chǎng)景的體積表示優(yōu)化為向量函數(shù)，輸入為3D位置坐標(biāo)和視圖方向。
具體而言，就是沿相機(jī)射線采樣信息，來(lái)合成圖像。
然后，將這樣的場(chǎng)景表示參數(shù)化為一個(gè)完全連接深度網(wǎng)絡(luò)（MLP），輸出對(duì)應(yīng)的顏色和體積密度值。
為了獲得更為準(zhǔn)確的3D圖像，往往需要對(duì)每條光線上多點(diǎn)采樣，這也就造成NeRF所需的內(nèi)存非常大。
因此，如果神經(jīng)網(wǎng)絡(luò)中只用NeRF，就會(huì)限制網(wǎng)絡(luò)的深度，導(dǎo)致生成圖像模糊、缺乏細(xì)節(jié)。
△第一列為NeRF生成，第二列為INR生成
所以在CIFS-3D中，研究人員將深層網(wǎng)絡(luò)設(shè)置為INR，讓它負(fù)責(zé)合成高保真的圖像。
這種方法也能將各種信號(hào)參數(shù)化，輸出RGB值。
而且由于不再與空間分辨率耦合，它可以對(duì)任意空間分辨率進(jìn)行采樣。
論文中也提到，該方法也沒有任何上采樣。
但是受限于CPU內(nèi)存，如果直接訓(xùn)練高分辨率圖像會(huì)有一定難度，為此研究人員提出了一種部分梯度反向傳播的方法。
在訓(xùn)練時(shí)，該方法僅對(duì)隨機(jī)采樣中的綠色光線進(jìn)行梯度反向傳播計(jì)算，其余光線則不計(jì)算。
解決了3D化問(wèn)題，還能保證高保真，你以為這就結(jié)束了？
NO、NO、NO
在研究過(guò)程中，工作人員發(fā)現(xiàn)CIPS-3D還存在鏡像對(duì)稱問(wèn)題。
這種現(xiàn)象其實(shí)在許多3D GAN中都存在，比如GIRAFFE、StyleNeRF。
比如在下面這個(gè)案例中，初始單角度圖像的劉海是偏左的，但是生成的不同角度圖像中，劉海會(huì)隨著視角的變化而變化，就像是鏡像一樣。
出現(xiàn)這樣的問(wèn)題，是因?yàn)镹eRF網(wǎng)絡(luò)輸入的坐標(biāo)就有存在鏡像對(duì)稱。
比如圖中a、c兩點(diǎn)的坐標(biāo)就是完全鏡像對(duì)稱的關(guān)系。
這對(duì)于生成完全對(duì)稱的物體而言沒什么問(wèn)題。
但是放在只給側(cè)面角度的人像上來(lái)說(shuō)，可能就是一場(chǎng)災(zāi)難。
為此，研究人員在神經(jīng)網(wǎng)絡(luò)中添加了一個(gè)鑒別器（discriminator），讓它來(lái)輔助鑒別這種問(wèn)題。
最后結(jié)果表明，與其他可生成3D人像的方法相比，F(xiàn)ID、KID值明顯降低，這兩個(gè)值越低意味著生成圖像質(zhì)量越好。
值得一提的是，該論文通訊作者為田奇。
2010-2015年于美國(guó)伊利諾伊大學(xué)香檳分校新加坡高等研究院擔(dān)任研究科學(xué)家。
發(fā)表文章約550余篇，包括250+ IEEE TPAMI、IJCV、CVPR/ICCV/ECCV、NeurIPS等國(guó)際頂級(jí)期刊和會(huì)議。
2018年加入華為云，研究主要方向?yàn)橛?jì)算機(jī)視覺、自然語(yǔ)言處理和語(yǔ)音交互。
華為謝凌曦博士、上海交通大學(xué)倪冰冰教授也參與了此次研究。
謝凌曦，本科博士均畢業(yè)于清華大學(xué)計(jì)算機(jī)專業(yè)，專長(zhǎng)計(jì)算機(jī)視覺、自動(dòng)機(jī)器學(xué)習(xí)。目前為華為高級(jí)研究員。
倪冰冰，現(xiàn)為上海交通大學(xué)電子系特別研究員/長(zhǎng)聘教軌副教授，博士生導(dǎo)師。
本科畢業(yè)于上海交通大學(xué)電子工程系，之后赴新加坡國(guó)立大學(xué)攻讀博士。
博士期間，先后在微軟亞洲研究院和谷歌公司美國(guó)總部工作，擔(dān)任算法科學(xué)家。
2010-2015年于美國(guó)伊利諾伊大學(xué)香檳分校新加坡高等研究院擔(dān)任研究科學(xué)家。
研究方向?yàn)橛?jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等。
本項(xiàng)研究已經(jīng)由論文一作Peng Zhou（上海交通大學(xué)）上傳至其GitHub主頁(yè)，感興趣的童鞋可以前去圍觀~
論文地址：
https://arxiv.org/abs/2110.09788
GitHub地址：
https://github.com/PeterouZh/CIPS-3D
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)
近用AI還原動(dòng)漫角色的事情還挺多的，之前有人用AI還原了迪士尼公主，最近隨著《進(jìn)擊的巨人》最終季開播又有人還原了巨人里的相關(guān)角色，看看還原的諸位角色，還挺有點(diǎn)那么些意思的，不過(guò)，也有朋友指出疑問(wèn)，為何這些角色還原成真人之后很多都有歐美人的特征？我猜測(cè)可能主要有兩個(gè)原因，而其中第一個(gè)原因更主要。
不知道諸位朋友是否了解這種AI程序是怎么工作的？
我看到的一篇科普文章解釋，說(shuō)這類AI程序首先采集海量的現(xiàn)實(shí)中的人們的照片，然后再分析這些照片來(lái)提取人物特征，之后分析需要AI還原的動(dòng)漫角色，然后將二者的特征結(jié)合在一起，最終合成擬人形象。
目前這類AI數(shù)據(jù)庫(kù)大都是歐美人士開發(fā)的，數(shù)據(jù)庫(kù)中包含的真人信息以歐美人為主，以此為基礎(chǔ)作分析，自然是得出很多特征都像歐美人的。
我們可以看到，就算有時(shí)候被還原的動(dòng)漫角色看著有點(diǎn)亞洲人的特征，還原出來(lái)也是歐美人的，因?yàn)閰⒖夹畔⒍际菤W美相關(guān)，所以有了這樣的結(jié)果。
《進(jìn)擊的巨人》這部動(dòng)漫可能還看不出來(lái)，迪士尼公主系列中不少角色在設(shè)計(jì)時(shí)確實(shí)有原型，好些角色都是以歐美人作為原型，甚至之前看過(guò)一種說(shuō)法，赫本一類的大明星都被當(dāng)做設(shè)計(jì)參考，如果是這樣再還原的話，那么肯定能看到好些歐美特征。
之前還有朋友推測(cè)巨人角色應(yīng)該屬于哪個(gè)國(guó)家，也是歐美國(guó)家居多，比如德國(guó)什么的，當(dāng)然，也僅僅是粉絲層面的推測(cè)了。
這些AI還原出的角色到底像不像，我覺得就見仁見智了。
相比之下，原作中的畫風(fēng)才是最符合大家心中印象的，最起碼迄今為止，讓所有粉絲都滿意的漫改真人作品是不多的，不過(guò)，隨著AI技術(shù)發(fā)展，是否會(huì)為業(yè)界帶來(lái)一些不一樣的東西呢？比如讓AI合成的演員來(lái)出演漫改真人版？雖然有著很多不確定性，但是我倒真的有點(diǎn)期待。
當(dāng)然，上面提到的兩個(gè)原因更多是我的猜測(cè)，諸位朋友覺得呢？歡迎評(píng)論區(qū)一起發(fā)表高見，我也好學(xué)習(xí)學(xué)習(xí)。