自StyleGAN技術問世以來，假貓、假人、假房源網站這樣的新聞層出不窮。一方面，它可以幫助設計師們創造出更多作品，但從另一方面，也會被用在灰色甚至不合法地帶，deepfakes 就是一個例子。今天創投君分享的這篇文章，將聚焦于酷似007的AI間諜，看“她”如何欺騙政治專家與政府內部人士，并帶你深入了解StyleGAN。
AI造假技術終究還是被濫用了。美聯社報道稱，一名間諜使用 AI 生成的個人資料和圖片在知名全球職場社交平臺LinkedIn上欺騙聯系人，包括政治專家和政府內部人士。目前在網絡引發了激烈的討論。
科技是把雙刃劍：令人擔心的事情還是發生了。
自DeepFakes技術誕生以來，造假臉、假視頻的惡搞消息不斷，而基于GAN的相關技術讓這種惡搞“更上一層樓”——真人？假人？傻傻分不清。
先來看下兩個例子。
2015年，教皇方濟各 (Pope Francis) 訪美期間，“一個出人意料之舉”震驚了世界：只見他在向圣壇禮拜后，轉身順手將桌布一抽，上演了一出絕妙的“抽桌布”戲法，動作之行云流水，令人膜拜。
相關視頻很快火遍了全美乃至全世界。但是，這是一個假視頻。
來源：CNN
2015年現任教皇訪美，上演絕妙“抽桌布”戲法，美國主教看后表示不爽。當然，這段視頻是假造的，但這并不影響其流行。
今年2月，英偉達StyleGAN開源，而后一波“造假熱潮”來了——假貓、假人、假房源網站如“雨后春筍般”崛起。人們不禁感嘆：實在太逼真了！
StyleGAN生成的假房源
但在驚嘆之余，人們不禁對諸如此類的AI技術表示擔憂：若是被濫用，會嚴重影響人們的安全和隱私。
事情還是發生了。
根據美聯社報道，一名間諜使用 AI 生成的個人資料和圖片在知名全球職場社交平臺LinkedIn上欺騙聯系人！
文章地址：
https://apnews.com/bc2f19097a4c4fffaa00de6770b8a60d
Katie Jones在LinkedIn中的虛假信息
據稱，凱蒂·瓊斯(Katie Jones)在一個高級智庫工作, 與政治專家和政府內部人士聯系在一起。其中包括一些零散的政府人物，如參議員的助手、副助理國務卿，以及目前正在考慮加入美聯儲的經濟學家保羅?溫弗里(Paul Winfree)。
但其實，她并不存在。
圖靈獎得主、Facebook首席科學家Yann Lecun對此發推表示：
顯然，GAN在LinkedIn上被用來創建虛假的個人資料照片，并用于國際工業間諜活動。
人類被戲謔：
這個AI間諜堪比007，釣到不少“大V”
Katie Jones似乎很關注華盛頓的政治局勢。
這位30歲的紅發女郎聲稱在一個頂級智庫工作，是美國國際戰略研究中心（CSIS）的研究員。她與美國的一位副助理國務卿、一位參議員的高級助理以及正在考慮就職美聯儲席位的經濟學家Paul Winfree均有聯系。
但是美聯社已經確定，Katie Jones并不存在。
相反，這個人是隱藏在專業社交網站LinkedIn上的大量幻影資料之一。美聯社聯系的幾位專家表示，Jones的個人資料照片似乎是由一個計算機程序創建的。
CSIS航空安全項目和國防預算分析主任Todd Harrison發推表示：
現在我開始懷疑我的 CSIS 同事中有多少是真正的人類, 而不是 AI 產生的。
他還調侃道：“Sam，你是真人嗎？”
“我相信這是一張假臉，”Mario Klingemann表示。Mario是一位德國藝術家，多年來一直在試驗人工生成的肖像，他說自己已經審查了數萬張這樣的肖像圖。“這張頭像有所有的特征。”
看了Jones個人資料和活動的LinkedIn專家表示，這是職業社交網站間諜活動的典型表現。作為全球名片簿，LinkedIn成為吸引間諜的強大磁鐵。
丹麥民主聯盟基金會智囊團的項目主任Jonas Parello Plesner說，“它看起來像某種國營業務。”幾年前，Jonas是LinkedIn上間諜活動的目標。
與Facebook的朋友和家庭聚焦點不同，LinkedIn面向求職者和獵頭，這些人通常會放出簡歷，建立龐大的聯系網，向陌生人推銷項目。這種“把他們都聯系起來”的方式有助于填補網站上數百萬個招聘職位的空缺，但它也為間諜提供了一個豐富的獵場。
過去幾年，英國、法國和德國官員都發出警告，詳細說明外國間諜如何利用LinkedIn與數千人取得聯系。
在一份聲明中，LinkedIn表示它經常對假帳戶采取行動，在2019年的前三個月中對其中數千個帳戶進行了處理。它還說“我們建議您與您認識和信任的人聯系，而非任何人。”
Katie Jones的個人資料規模不大，有52個聯系人。
但是這些聯系人具有足夠大的影響力，接受Jones邀請的一些人也會因此對她信任。美聯社在今年3月初至4月初期間與其他大約40名與Jones有聯系的人進行了交談，其中許多人說他們經常接受他們不認識的人的邀請。
“我可能是LinkedIn歷史上最糟糕的用戶，”特朗普總統的國內政策委員會前副主任Winfree說，他在3月28日確認了與Jones的聯系。
上個月，聯邦儲備委員會理事會的一個職位空缺，Winfree的名字出現了，他表示，自己很少登錄LinkedIn并傾向于批準他所有堆積的邀請。“我真的接受了我的每一個朋友邀請，”Winfree說。
在日內瓦韋伯斯特大學教東亞事務的Lionel Fatton說，他不認識Jones的事實讓他在3月份與她聯系時有短暫停頓。“我記得猶豫不決，”他說：“然后我想，'有什么害處？'”
Parello-Plesner指出，潛在的傷害可能是微妙的：連接到像Jones這樣的個人資料邀請意味著與背后的人進行一對一的對話，網站上的其他用戶可以將連接視為一種認可。他說：“你降低了自己的警惕，也讓別人放松警惕。”
Jones的個人資料首先由倫敦Chatham House智囊團的俄羅斯專家Keir Giles舉報。Giles最近陷入了針對俄羅斯反病毒公司卡巴斯基實驗室的批評者的完全獨立的間諜活動。所以當他收到Katie Jones在LinkedIn上的邀請時，他很懷疑。
Jones聲稱自己多年來一直在華盛頓戰略與國際研究中心擔任“俄羅斯和歐亞大陸研究員”，但Giles表示，如果這是真的，“我應該聽說過她。”
CSIS發言人Andrew Schwartz告訴美聯社，“沒有一位名叫Katie Jones的人為我們工作。”
Jones還聲稱已獲得密歇根大學俄羅斯研究學位，但學校表示“無法找到任何一個以此名字從大學獲得這一學位的學生。”
在美聯社聯系網絡尋求評論后不久，Jones賬戶就從LinkedIn上消失了。通過LinkedIn和相關的AOL電子郵箱帳戶發送給Jones本人的郵件也沒有回復。
美聯社采訪的眾多專家表示，Katie Jones最吸引人的地方可能是她的臉，他們說這似乎是人為創造的。
Klingemann和其他專家說，這張照片—— 一張藍綠色眼睛、褐色頭發和神秘微笑的女人的肖像——似乎是使用稱為生成對抗網絡（GAN）的一系列計算機程序創建的，這可以創造出想象出來的人的逼真面孔。
GAN，有時被描述為一種人工智能形式，已經受到越來越政策制定者的關注，盡管他們已經在努力處理數字虛假信息了。周四，美國立法者舉行了他們的第一次聽證會，主要討論人為生成圖像的威脅。
南加利福尼亞大學創意技術研究所負責圖形實驗室愿景的Hao Li發布了一份數字報告清單，他認為Jones的照片是由計算機程序創建的，包括Jones眼周圍的不一致、她頭發周圍的光和左臉頰上留下污跡。
基于GAN生成
圖逼真到可怕，能生成世間萬物
這個造假技術到底有多厲害？
基于GAN的架構一個又一個推出，英偉達StyleGAN就是其中一個，多上幾張圖有助于你回憶：
這個模型并不完美，但確實有效，而且不僅僅可用于人類，還能用于汽車、貓、風景圖像的生成。
英偉達研究人員在論文中寫道，他們提出的新架構可以完成自動學習，無監督地分離高級屬性（例如在人臉上訓練時的姿勢和身份），以及生成圖像中的隨機變化，并且可以對合成進行更直觀且特定于比例的控制。
換句話說，這種新一代GAN在生成和混合圖像，特別是人臉圖像時，可以更好地感知圖像之間有意義的變化，并且在各種尺度上針對這些變化做出引導。
例如，在上面的動圖中，其實面部已經完全變了，但“源”和“樣式”的明顯標記顯然都得到了保留。為什么會這樣？請注意，所有這些都是完全可變的，這里說的變量不僅僅是A + B=C，而且A和B的所有方面都可以存在/不存在，具體取決于設置的調整方式。
而StyleGAN之所以強大，就在于它使用了基于風格遷移的全新生成器架構：
傳統生成器架構和基于風格的生成器架構對比
在傳統方式中，隱碼(latent code)是通過輸入層提供給生成器的，即前饋網絡的第一層(上圖中的a部分)。而英偉達團隊完全省略了輸入層，從一個學習的常量(learned constant)開始，從 而脫離了傳統的設計(圖1b，右)。在輸入隱空間Z中，給定一個隱碼z，一個非線性網絡 f：Z→W首先生成w∈W(圖1b，左)。
英偉達團隊的生成器架構可以通過對樣式進行特定尺度的修改來控制圖像合成。可以將映射網絡和仿射變換看作是一種從學習分布(learned distribution)中為每種樣式繪制樣本的方法，而將合成網絡看作是一種基于樣式集合生成新圖像的方法。修改樣式的特定子集可能只會影響圖像的某些方面。
面對假臉生成算法，
現有人臉識別系統幾乎束手無策
之前，大多數研究都集中在如何提高“換臉”技術上，也就是如何讓計算機生成超逼真的人臉。
誰料，這種技術發展的濫用造成了反效果，也即所謂的“DeepFake”。現在，DeepFake已被用于指代所有看起來或聽起來像真的一樣的假視頻或假音頻。
針對 Deepfake 視頻中人臉識別的漏洞，兩人在論文中對基于VGG和Facenet的人臉識別系統做了漏洞分析，還使用SVM方法評估了 DeepFake 的幾種檢測方法，包括嘴唇動作同步法和圖像質量指標檢測等。
結果令人遺憾——
無論是基于VGG還是基于Facenet的系統，都不能有效區分GAN生成假臉與原始人臉。而且，越先進的Facenet系統越容易受到攻擊。
直方圖顯示了基于VGG和Facenet的人臉識別在高質量人臉交換中的漏洞。
檢測Deepfake視頻：
他們還考慮了幾種基線Deepfake檢測系統，包括使用視聽數據檢測唇動和語音之間不一致的系統，以及幾種單獨基于圖像的系統變體。這種系統的各個階段包括從視頻和音頻模態中提取特征，處理這些特征，然后訓練兩個分類器，將篡改的視頻與真實視頻分開。
所有檢測系統的檢測結果如下表所示。
說明一下表格中各種“符號”和數字的意思，你也可以直接跳過看本節最后結論：
在本系統中，使用MFCCs作為語音特征，以mouth landmarks之間的距離作為視覺特征。將主成分分析(PCA)應用于聯合音視頻特征，降低特征塊的維數，訓練長短期記憶(long short-term memory, LSTM)網絡，將篡改和非篡改視頻進行分離。
作為基于圖像的系統，實現了以下功能:
基于圖像質量測度(IQM)的系統借鑒了表示域(domain of presentation )的攻擊檢測，表現出了較好的性能。作為IQM特征向量，使用129個圖像質量度量，其中包括信噪比，鏡面反射率，模糊度等測量。
下圖為兩種不同換臉版本中性能最好的IQM+SVM系統的檢測誤差權衡(DET)曲線。
IQM + SVM Deepfake檢測
結果表明：
首先，基于唇部同步的算法不能檢測人臉交換，因為GAN能夠生成與語音匹配的高質量面部表情；因此，目前只有基于圖像的方法才能有效檢測Deepfake視頻。
其次，IQM+SVM系統對Deepfake視頻的檢測準確率較高，但使用HQ模型生成的視頻具有更大的挑戰性，這意味著越先進的人臉交換技術將愈發難以檢測。
AI研究發表和模型開源，真的該制定一個規范了
Yann LeCun于2月在Twitter上提問：
講真，要是當初知道卷積神經網絡(CNN)會催生DeepFake，我們還要不要發表CNN？
LeCun說：“問個嚴肅的問題：卷積神經網絡(CNN)被用于(或開發)各種各樣的應用。很多這樣的應用對世界起到了積極影響，例如，醫療影像、汽車安全、內容過濾、環境監控等等。
“但有的應用則可能起到負面的效果，或者說侵犯隱私，例如，公眾場所的人臉識別系統、進攻性武器，以及有偏見的“過濾”系統……
“那么，假設在上世紀80年代那時我們能夠預見CNN的這些負面影響，我們該不該把CNN模型保密不公開呢？“
幾點想法：
LeCun的這番話，可以說是為他此前的“表態”做出了完美的解釋。是的，這里說的還是關于OpenAI模型開源的那件事。
但是，通過此次事件來看，OpenAI覺得由于模型過于強大而不開源的擔憂興許是正確。
當然，現在業界的重點已經從最初的口水戰聚焦到AI研究發表和開源政策的討論上來。
現在能夠肯定的是，關于AI研究發表和模型開源，相關的政策真的需要制定了。OpenAI在擔心模型被濫用時舉了DeepFake為例，DeepFake是基于CNN構建的圖像生成模型，由于強大的圖像生成能力，能夠生成以假亂真的人臉，甚至騙過先進的人臉識別模型。
那么，還是回到那個嚴肅的問題：
你認為強大的技術是否該開源呢？
歡迎留言給出你的意見。
PS：
你能辨別真臉和假臉嗎？不妨到這個網站測試一下：
http://www.whichfaceisreal.com/
參考鏈接：
美聯社：
https://apnews.com/bc2f19097a4c4fffaa00de6770b8a60d
The Verge：
https://www.theverge.com/2019/6/13/18677341/ai-generated-fake-faces-spy-linked-in-contacts-associated-press
Twitter：
https://twitter.com/search?q=katie%20jones&src=typd
StyleGAN：
https://github.com/NVlabs/stylegan
本文轉自微信公眾號“新智元”，經授權轉載。
PlotNeuralNet：可以創建任何神經網絡的可視化圖表，并且這個LaTeX包有Python接口，我們可以方便的調用。
但是他的最大問題是需要我們手動的編寫網絡的結構，這是一個很麻煩的事情，這時 ChatGPT 就出來了，它可以幫我們生成LaTeX代碼。在本文中，我將介紹如何安裝和使用PlotNeuralNet，展示一些可視化示例，以及如何使用ChatGPT為我們生成LaTeX代碼!
以下說明取來自PlotNeuralNet的說明，一下是ubuntu版
#Ubuntu 16.04
sudo apt-get install texlive-latex-extra
#Ubuntu 18.04.2
sudo apt-get install texlive-latex-base
sudo apt-get install texlive-fonts-recommended
sudo apt-get install texlive-fonts-extra
sudo apt-get install texlive-latex-extrawindows的話需要下載并安裝一個LaTeX編譯器，比如MiKTeX。然后還要安裝一個bash運行程序，比如Git自帶的bash或Cygwin。
安裝完成后我們就可以使用官方的樣例了：
cd pyexamples/
bash ../tikzmake.sh test_simple在Windows上，你可能會遇到一些錯誤。
../tikzmake.sh:第4行:python:命令未找到
這時需要打開tikzmake.sh文件，并根據Python版本在第4行、Python2或Python3上進行修改。
比如我這里要改成python3 .py而不是python .py。
../tikzmake.sh:第5行:pdflatex:命令未找到
此錯誤意味著與MikTeX安裝相關的環境變量有問題。需要手動將pdflatex添加到環境變量中。
這個基本示例代碼如下，我們簡單的解釋一下都是什么。
import sys
sys.path.append('../')
from pycore.tikzeng import *
# defined your arch
arch=[
to_head( '..' ),
to_cor(),
to_begin(),
to_Conv("conv1", 512, 64, offset="(0,0,0)", to="(0,0,0)", height=64, depth=64, width=2 ),
to_Pool("pool1", offset="(0,0,0)", to="(conv1-east)"),
to_Conv("conv2", 128, 64, offset="(1,0,0)", to="(pool1-east)", height=32, depth=32, width=2 ),
to_connection( "pool1", "conv2"),
to_Pool("pool2", offset="(0,0,0)", to="(conv2-east)", height=28, depth=28, width=1),
to_SoftMax("soft1", 10 ,"(3,0,0)", "(pool1-east)", caption="SOFT" ),
to_connection("pool2", "soft1"),
to_Sum("sum1", offset="(1.5,0,0)", to="(soft1-east)", radius=2.5, opacity=0.6),
to_connection("soft1", "sum1"),
to_end()
]
def main():
namefile=str(sys.argv[0]).split('.')[0]
to_generate(arch, namefile + '.tex' )
if __name__=='__main__':
main()通過上面定義的結構，會成成tex的文件，LaTeX中的等效程序:
\pic[shift={(0,0,0)}] at (0,0,0)
{Box={
name=conv1,
caption=,
xlabel={{64, }},
zlabel=512,
fill=\ConvColor,
height=64,
width=2,
depth=64
}
};
\pic[shift={ (0,0,0) }] at (conv1-east)
{Box={
name=pool1,
caption=,
fill=\PoolColor,
opacity=0.5,
height=32,
width=1,
depth=32
}
};
\pic[shift={(1,0,0)}] at (pool1-east)
{Box={
name=conv2,
caption=,
xlabel={{64, }},
zlabel=128,
fill=\ConvColor,
height=32,
width=2,
depth=32
}
};
\draw [connection] (pool1-east) -- node {\midarrow} (conv2-west);編譯成pdf文件如下:
這個可以根據你對Python或LaTeX的熟悉程度來選擇，對我來說python更直觀一些，所以我使用MiKTeX從Python指令生成LaTeX代碼。
下面我們來看一看PlotNeuralNet生成復雜深度神經網絡的可視化樣例
1、U-Net
U-Net于圖像分割任務。它首先由Olaf Ronneberger、Philipp Fischer和Thomas Brox在2015年的論文U-Net: Convolutional Networks for Biomedical Image Segmentation”中提出。
它的名字來源于它獨特的“U”形。它允許更精確的分割。
2、VGG16
VGG16是一個卷積神經網絡模型，使用ImageNet數據庫中的100多萬張圖像進行訓練。
這個模型是由牛津大學的視覺幾何小組開發的。它在2014年ImageNet大規模視覺識別挑戰賽(ILSVRC)中獲得了圖像分類和檢測的頂級成績。
它也是一個經典的網絡
3、Alexnet
AlexNet是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年推出。它在2012年ImageNet大規模視覺識別挑戰賽(ILSVRC)中以15.3%的錯誤率贏得前5名后聲名大噪。事實上，這是第一個證明深度卷積神經網絡對圖像分類有效性的模型。
對于那些熟悉由Yann LeCun[4]提出的LeNet架構的人來說，AlexNet的架構是類似的。它只是每個卷積層和堆疊的卷積層有更多的過濾器。論文中還介紹了ReLU激活函數和dropout正則化的使用。
在PlotNeuralNet存儲庫中還有許多更復雜的示例(HED、SoftMaxLoss、FCN32……)，這里就不一一介紹了。
我們可以看到，在從Python腳本生成的LaTeX代碼示例中，各個指令都是非常精確的，所以在開始編寫代碼之前，都需要對深度神經網絡有一個非常清晰的概念。
但是如果我們不知道呢？那么就要靠ChatGPT來幫助我們生成Python或LaTeX代碼。
1、ChatGPT生成LaTeX代碼
ChatGPT知道LaTeX，但是在給出一個工作示例之前，它在生成代碼時遇到了麻煩。所以為了讓他生成一個可視化，我首先需要給了他FCN32或FCN8代碼。
Here is some LaTeX code to generate an FCN 32 Network using the PlotNeuralNet latex package : […]
然后讓他使用上面給出的例子來生成一個新的可視化。
Inspire yourself from this code and generate the LaTeX code to visualize a simple Convolutional Neural Network
根據chatgpt返回的代碼，可視化效果如下
與官方例子中給出的FCN32作為示例相比，連接缺失了。并且在這個可視化過程中還缺少一些東西。
不知道是什么原因，ChatGPT犯了一個錯誤，它們的x_labels沒有正確顯示。
它生成了x_label={32}而不是x_label={"32"，"32"}。
需要我們手動修復它，會得到下面的可視化結果。
上面的圖還需要手動改變了一些層的寬度。
使用ChatGPT來為我們生成一個工作原型還是可以的。但是還是需要我們去手動修改一些細節。
對于我們的理解而言，Python代碼要比LaTeX多很多，能夠讓他生成Python代碼呢？這個經過測試也不太現實
因為Python接口包含非常有限的層數：
所以一些特殊層還是需要LaTeX版本。
PlotNeuralNet十分強大，ChatGPT也很強大，使用ChatGPT可以讓我們的任務更容易，雖然ChatGPT有局限性。但它可以被用作生成原型的工具，然后可以根據需要進行調整。
最后我們再總結一下提示：
I started writing LaTeX code to visualize a CNN please finish it : […]
這樣就ok了
作者：Clément Delteil