【新智元導讀】美國西部最大黑客馬拉松LA Hacks 2018上周落下帷幕,36小時的比賽時間里,加州理工學院大二學生、美籍華人Eric Zhao僅用16小時,完成了一個“狗臉計算器”并獲得優勝。借用詞嵌入的思想提出了圖像嵌入,這款計算器不僅能計算寵物狗面部相似度,還能計算兩只不同的狗“加起來”是什么狗。
狗是人類的好朋友,狗伴隨了人類文明演化的歷程。雖然關于人類是什么時候把狼馴化成了狗,科學家至今沒有達成統一的意見。但毫無疑問,狗的物種多樣,是人類馴化史上的一個奇觀。
有大的狗,有小的狗。
有高的狗,有矮的狗。
有萌的狗,有萌的狗,有萌的狗。
除了品種多樣,不同品種的狗交配產下的后代,造成外觀五花八門。
如今,狗已經成了我們生活中再熟悉不過的一部分。
你有沒有想過,兩只狗之間的相似度是多少?有沒有辦法快速區分這只汪和那只汪呢?
比如快速區分上面這幾只
現在,我們有了一個好方法。
還能在手機上運行。
在前不久落下帷幕的 2018上,加州理工學院大二學生、美籍華人Eric Zhao,提交了一個“狗臉計算器”,不僅能計算兩只寵物狗的面部相似度,還能進行“狗狗加減”——輸入兩只狗的圖片,看看它們加起來會得出一只怎樣的狗。
這個創意不僅有趣,而且Eric在僅僅16個小時的時間里,就完成了從項目提出到最終demo的全過程。
僅16小時完成黑客馬拉松并獲優勝,百度開源機器學習框架是秘密武器
LA Hacks(洛杉磯黑客馬拉松),是美國西部地區最大的Hacks活動。
黑客馬拉松()是開發者的狂歡。在一場黑客馬拉松里,一眾開發者聚在一起,在為期幾天到一周的時間里,從零開始編寫一款應用程序。
2018年的LA Hack在UCLA(加州大學洛杉磯分校)舉行,吸引了上千名來自當地名校的頂尖黑客,比賽時間是連續36小時。
今年的優勝者學生計算器圖片,就是上面提到的,加州理工學院大二學生、美籍華人Eric Zhao提出的“狗臉計算器”。36個小時的比賽,Eric僅用16小時便成功登頂。
如何如此快速做到這一點?
Erci將他成功的一大原因,歸功于使用的平臺——來自中國的分布式機器學習框架、由。“我使用-和自動部署和訓練模型。這讓我可以專注于編碼而不是設置服務器。”Eric在接受新智元采訪時表示:“直觀的 讓我能夠在幾分鐘內實現新的神經網絡設計。”
Eric Zhao 同學
Eric告訴新智元,據他所知,在美國最常用或者說最受歡迎的框架是Torch,和(雖然已經停止更新),相比這些競爭對手,Eric認為的優勢在于易學、易上手。
“我在其他機器學習框架中使用的幾乎所有內容,都以某種形式在上提供。從速度上說,很快,雖然不是我用過最快的。
“從功能上說,挺標準,但我個人認為其框架設計比我用過的大多數框架都更直觀。”不大懂中文的Eric不得不將大部分的中文文檔翻譯成英文,但他仍然能夠很快地學習,“我認為這證明了設計的質量。”Eric說。
“易學易上手,雖然結構簡單,但保留的功能是核心技術,極大地提高了使用者的效率。我在使用的過程中發現,它是在云上搭建GPU集群最方便的方法,能在較短的時間內對復雜模型進行逐層調優可視化,使我的作品更具競爭力。”
Eric認為百度開源機器學習框架的設計,比他用過的大多數框架都更直觀
狗臉計算器:吉娃娃 + 馬爾濟斯 = ?
Eric的“狗臉計算器”,基于詞嵌入(word )的方法,通過為犬類圖像嵌入允許相似度識別和其他語義操作的模型,成功實現了“計算寵物狗面部相似度”的想法。
寵物狗圖像嵌入
在Eric的模型中,他在上堆疊了一個 (孿生網絡)來生成寵物狗圖像嵌入。這些嵌入表示兩張狗圖片的相似程度。你還可以添加和減去這些嵌入來查找與其相似或不相似的狗。
其中,[1]模型由伯克利和斯坦福的研究人員提出,其設計目標不是為了得到最佳的CNN識別精度,而是希望在滿足基本識別精度的前提下,盡可能簡化網絡復雜度。孿生網絡[2]架構則能夠判斷兩張圖片屬于同一個類別的概率。不僅如此,孿生網絡還能實現少樣本學習——具體可以看新智元之前的文章:——這在一定程度上解決了圖像識別/分類任務中,需要大量訓練圖像的問題。
Eric使用斯坦福的一個寵物狗圖像數據集訓練,然后在這個預訓練模型的基礎上學生計算器圖片,凍結前幾層,并將最后幾層替換為一個 。
Eric Zhao演示狗臉計算器網絡架構:+網絡
“因為我使用了一個非常緊湊的模型,所以我的神經網絡很小,可以在手機上運行。此外,我的結構使圖像嵌入具有良好的幾何特性,可以添加/減少寵物狗圖像。”Eric介紹說。
最終得到的“狗臉計算器”,能用來計算兩只狗的相似度,也能計算兩只狗加起來能得到什么種類的狗,或者更準確地說,與現有哪個品種的狗最相似。
例如:
“吉娃娃1”與“吉娃娃2”距離為0.724,而“馬爾濟斯1”與“吉娃娃2”距離為0.898,后者比前者距離大,因為顯然吉娃娃之間相似度更高。
第一種狗與第二種狗加起來,會得到什么狗呢?答案是等號右邊的狗,相似度為96%。這很好理解,第三種狗綜合了前面兩只各自的特征。
你還能使用Eric的狗臉計算器實現別的有趣的玩法,他將完整的項目包括代碼,都公布在了。
Eric狗臉計算器完整項目:
//gs
參考資料
[1]
[2]~//.pdf
精彩回顧
2018新智元產業躍遷AI技術峰會圓滿結束,點擊鏈接回顧大會盛況:
愛奇藝
騰訊新聞
新浪科技
云棲社區
斗魚直播
天池直播間
IT大咖說