自2007 年上線以來,Tumblr 一直以允許 NSFW 內容而聞名(也可能是臭名昭著),這是公司管理層一時的頭腦發(fā)熱還是想要“改過自新”了?不論Tumblr 的意圖如何,想要為社交網(wǎng)絡加入審核機制,過濾色情圖片/視頻是需要投入技術和人力的。
在Tumblr 的官方通告中,公司 CEO Jeff D’Onofrio 表示,“……(Tumblr) 將采用產(chǎn)業(yè)標準的機器監(jiān)控、不斷加大的人類監(jiān)控等方式禁止成人內容。”
但是,才“睜開眼睛”的計算機并不那么完美。”Wired 在近日的一篇文章中稱。許多 Tumblr 用戶在 Twitter 上抱怨其鑒別系統(tǒng)存在許多誤判行為。如奧克拉荷馬大學法學院教授 Sarah Burstein 只是發(fā)布了幾張設計專利圖,就被標記了。文章表示這不僅效率低下,而且傷害了用戶的感情。不少 Tumblr 的用戶失望地涌向推特,《紐約時報》稱這些用戶是“棄船而逃”。
其實在多年前,Tumblr 就面臨著準確識別 NSFW 內容的問題。2013 年,Yahoo 11 億美元收購 Tumblr,4 年后 Verizon 收購雅虎,Tumblr 歸于 Verizon 子公司 Oath,并在不久之后推出了“安全模式”,能在搜索結果中自動過濾成人內容。
人工智能雖然可以同時處理大量圖片,但畢竟不是人類,難免會出現(xiàn)一些令人哭笑不得的差錯。特別像Tumblr 這樣的微博客平臺,用戶群體復雜,色情與非色情的界限非常難以把握。
圖像鑒黃系統(tǒng)流程是什么?
鑒黃系統(tǒng)的工作流程是這樣的:首先是要建模,其次是制定色情圖片的分類標準,然后收集大量素材,進行分類標注,最后用這些標注好的素材進行訓練,讓機器去學習各個分類里面的特征,不斷調整自己模型的參數(shù)并最終得到最佳的識別模型。
而當機器對圖像進行識別以后,這些圖像數(shù)據(jù)會轉化為數(shù)字化的信息,帶入到模型里面進行計算, 根據(jù)計算值將圖片標注為“正常、性感、色情”三個類別。
因為“識別”的不完美性,這樣的系統(tǒng)也會有人類的參與。在經(jīng)過識別之后,系統(tǒng)把判斷結果和概率告訴使用方,使用方會再根據(jù)結果做對應處理,比如自動刪除、或者人工接入復審。如果在人工復核環(huán)節(jié)發(fā)現(xiàn)機器識別有誤,則會有針對性地對相同場景的圖片進行數(shù)據(jù)學習, 并調整參數(shù), 直到錯誤率達到最低值。
對于開發(fā)團隊來說,做該領域的產(chǎn)品困難在于如何獲取大規(guī)模已標注數(shù)據(jù)、集成有GPU 的計算集群以及針對自己的項目調參數(shù),團隊需要不斷地輸入新數(shù)據(jù),持續(xù)迭代以提高機器識別準確率。
既有圖片又有視頻怎么辦?
在短視頻流行的今天,各家科技公司還要面對海量的視頻內容。圖片是靜態(tài)的,視頻/直播是動態(tài)的,而視頻內容的完整審核包括對圖片、文字、語音的審核,所以會更加復雜。以對視頻圖片審核為例,在鑒別視頻和直播時,可以先把動態(tài)的內容解碼成圖片幀,這就與靜態(tài)圖片鑒別方法相似了。
直播實時性強,對響應時間要求高,并且里面的場景和人物變化比較大,審核要求比較嚴格,所以識別難度會相對比較大,需要實時不斷對房間進行截幀傳輸識別,并且結合人工來實現(xiàn)預警處理;視頻在畫質整體上比圖片和直播差,一定程度會影響識別效果,通常是以視頻為單位進行等時間間隔截圖,以一個視頻多張截圖的結果來綜合判斷視頻是否色情違規(guī)。
如果企業(yè)對視頻或直播的每一幀圖片都進行識別,數(shù)據(jù)量將變得非常巨大,運營成本會很高。面對這類情況,一般會采用對視頻抽幀的方式進行處理。例如,一分鐘視頻,可以按照時間段來抽取6-15 幀左右的圖片進行識別處理,以此減少計算成本。
審核能否完全依賴機器?
針對人們屢屢吐槽的“誤殺”問題,在提高AI 算法準確度的同時目前還需依靠人類做最后的判斷。誤判分為兩大類型:把色情內容誤判為正常內容,以及把正常內容誤判為色情內容。
1)色情判正常:在光線昏暗場景,或者距離很遠時背景干擾比較大的場景下,以及有特效干擾的情況都有可能造成誤判;衣著正常但實際上露點、隱晦的動作和姿勢等。
2)正常判色情:穿著暴露但實際沒露點,物體形似性器官,接近于色情動作但實際不是(譬如手抓棍狀物體、手正常放在敏感部位)等。
單純的算法和模型是可以把機器訓練到完全正確地判斷情況的,但是在實際應用中,機器沒有自主思考和自己的主觀意識,仍然需要人工輔助進行確認。例如客戶提供的畫面過于模糊或者說光線過暗,以及訓練數(shù)據(jù)的不能完全覆蓋性等種種客觀原因影響下,機器打不出很高的分確認圖片,這都需要人工來輔助。
“Tumblr 網(wǎng)友:即使這樣我也不愿離去。”
看來,AI 圖像識別系統(tǒng)可以用現(xiàn)有的,“鑒黃師”則非請不可。在宣布禁止成人內容之后,Tumblr 的 app 終于再次出現(xiàn)在蘋果應用商店里。這輛車最終會開向何處?讓我們拭目以待。
程語言是我們今天使用的每項在線服務存在的原因。它們的數(shù)量非常龐大,所以你可能會問自己:2022 年哪些編程語言最值得學習和企業(yè)追捧?
國家對軟件工程師的需求已經(jīng)上升了一段時間。預測顯示,這種上升趨勢將持續(xù)下去。BLS 進行的調查強調了這一愿景。根據(jù)這項研究,到 2028 年,編程工作預計將增加21%。此外,有興趣增加對這些工具的了解的人數(shù)也在增加。
本文介紹了目前正在崛起的前 10 種編程語言。讓我們看看 2022 年哪些技術最流行!
Python是 30 年前由 Guido van Rossum 創(chuàng)建的面向對象、靈活、通用的編程語言。該技術用于開發(fā)的應用程序有:Instagram、Pinterest、Disqus、Uber、Reddit、Dropbox、Spotify、Google Search、Youtube 等等。因此,懂這門編程語言的程序員很受IT招聘機構的追捧。2021 年 Python 是TIOBE 和 PYPL 索引中的頂級編程語言,這一事實突顯了它的受歡迎程度。可以假設這種趨勢將繼續(xù)下去。
為什么拿了第一名?
排在第二位的是 JavaScript——前端之王。它是一種用于使網(wǎng)站正常工作的編程語言。根據(jù) Stack Overflow 開發(fā)者調查,它是 2021 年最受歡迎和第三大最受歡迎的編程語言。雖然它是最受歡迎的語言,但它也是2020 年招聘經(jīng)理最需要的技術。
與 Python 一樣,它擁有強大的社區(qū)和許多現(xiàn)成的庫和框架,可以輕松使用該語言。如果您需要為您的網(wǎng)站、應用程序或軟件創(chuàng)建前端,那么 JavaScript 沒有競爭對手。它是在網(wǎng)站上構建動態(tài)元素的最佳平臺之一。
在學習新的編程技能的情況下,下一個值得考慮的語言是 Go。該技術由 Google 于 2007 年開發(fā),用于開發(fā) Web 應用程序和 API。盡管 Go 沒有像前面描述的語言那樣獲得如此規(guī)模的增長率,但它仍然可以歸類為在技能上備受追捧。
它是一種易于學習的通用編程語言,具有簡潔的語法,使編寫簡單、可靠和高效的軟件變得容易。
如今,它是收入最高的技術之一,也是需求量第二大的后端編程語言。這意味著,如果您學習了這種編程語言,那么找到一份高薪工作將不會有任何問題。
Go 與 Python 一樣,用于創(chuàng)建基于人工智能的系統(tǒng),因此它的受歡迎程度可能會繼續(xù)增長。
就在幾年前,Java 可能會在我們的列表中名列前茅。它是 2005 年和 2015 年的年度語言。但是,這種知名語言的受歡迎程度正在逐年下降。
此外,Java 仍然是許多大公司支持的穩(wěn)定語言。它被 NASA、Netflix、Spotify、LinkedIn、Uber、亞馬遜等公司使用。
這種編程語言現(xiàn)在用于移動應用程序、Web 開發(fā),甚至是大數(shù)據(jù)。它是 Android 設備的主要編程語言,因此它的需求仍然很高。根據(jù) Stack Overflow表明,如今它仍然是第 5 大最受歡迎的技術。
C 是最古老的編程語言之一,其他語言(如 JavaScript 和 C#)都是從它衍生而來的。您可以將 C++ 視為 C 的擴展版本。
兩種語言都具有高性能,因此它們通常用于構建不同的應用程序。它們是通用語言,這意味著它們可以針對許多系統(tǒng)進行編譯。程序員喜歡它們,因為它們非常快速和高效。
目前,根據(jù)TIOBE 指數(shù),C 是僅次于 Python 的第二大流行語言。
C# 是一種高級、面向對象的通用編程語言,起源于微軟對 Java 的回應。C# 與 .NET 平臺緊密集成,既是一個框架又是一個運行時環(huán)境。
C# 是一種為 Windows 系統(tǒng)編寫應用程序而開發(fā)的技術。盡管如此,自從 .NET 框架進入 Linux 和 Mac 系統(tǒng)以來,幾乎可以為任何平臺創(chuàng)建使用這種語言的本機軟件。您可以使用這項技術來創(chuàng)建 Windows 應用程序、視頻游戲、反黑客軟件、移動應用程序、VR 等等。它被 Slack 和 Pinterest 等全球巨頭使用。它目前在Tiobe排名中排名第 5。
與 Python 一起,R 是機器學習和大數(shù)據(jù)中使用最廣泛的編程語言之一。許多公司都在使用它,包括 Google 和 Facebook。R 是一種與數(shù)據(jù)分析一起流行的編程語言,因此在工作機會中經(jīng)常需要它。R 語言有一個內置庫,允許程序員創(chuàng)建機器學習算法。鑒于人工智能解決方案的日益普及和需求,這項技術無疑將在 2022 年值得關注。
Ruby 是一種解釋型、完全面向對象的編程語言。它是在 1990 年代開發(fā)的,通常被認為易于學習。作為一種語法簡單的技術,它通常用于腳本編寫、文本處理和新應用程序的原型設計。
它的顯著優(yōu)勢是用這種語言編寫的大量 Web 框架和應用程序,例如著名的 Ruby on Rails。
Ruby 是 Twitch、Shopify、Starbucks 或 Tumblr 使用的穩(wěn)定且流行的語言。此外,它是世界上收入排名第六的編程語言。
Kotlin 是一種編程語言,屬于 JVM 家族。它簡潔且易于閱讀和維護。它具有安全智能的編譯器,可以在多種系統(tǒng)上運行。當2019 年 Google 宣布Kotlin 現(xiàn)在是其 Android 應用程序的首選語言時,對這種編程語言的興趣顯著增加。值得一提的是,Google 應用程序是基于 Kotlin 的。如果你對 Android 應用開發(fā)感興趣并想在這個領域工作,那么 2022 年學習 Kotlin 可能是正確的選擇。
盡管與 Java 相比,它的軟件開發(fā)人員社區(qū)更小,但它更受歡迎(幾乎62% 的程序員表示他們喜歡這種語言)并且工資更高。
Swift 是 Apple 于 2014 年創(chuàng)建的一種編程語言。它取代了公司之前使用的 Objective-C。它主要用于運行 macOS、iOS 和 Linux 的設備。它的語法類似于 Java 和 C#,它允許您為手表、平板電腦、計算機、智能手機、電視和服務器編寫應用程序。
蘋果仍然是領先品牌之一,因此,swift今年將繼續(xù)名列前茅。據(jù)TIOBE 報道,Swift 的受歡迎程度再次上升,因此它是 2022 年值得了解的技術。
機器之心原創(chuàng)。
大家喜聞樂見的 Tumblr(湯不熱)涼了……
12 月初,美國著名圖片博客網(wǎng)站 Tumblr 宣布將全面禁止任何成人內容。新規(guī)定將于 12 月 17 日正式施行。這一行為看來是主動在和「互聯(lián)網(wǎng)的 30% 流量」說再見,長久混跡 Tumblr 的老司機們送了一首「涼涼」予它。
自 2007 年上線以來,Tumblr 一直以允許 NSFW 內容而聞名(也可能是臭名昭著),這是公司管理層一時的頭腦發(fā)熱還是想要「改過自新」了?不論 Tumblr 的意圖如何,想要為社交網(wǎng)絡加入審核機制,過濾色情圖片/視頻是需要投入技術和人力的。
在 Tumblr 的官方通告中,公司 CEO Jeff D’Onofrio 表示,「……(Tumblr) 將采用產(chǎn)業(yè)標準的機器監(jiān)控、不斷加大的人類監(jiān)控等方式禁止成人內容。」
但是,才「睜開眼睛」的計算機并不那么完美。」Wired 在近日的一篇文章中稱。許多 Tumblr 用戶在 Twitter 上抱怨其鑒別系統(tǒng)存在許多誤判行為。如據(jù) Wired 文章,奧克拉荷馬大學法學院教授 Sarah Burstein 只是發(fā)布了幾張設計專利圖,就被標記了。文章表示這不僅效率低下,而且傷害了用戶的感情。不少 Tumblr 的用戶失望地涌向推特,《紐約時報》稱這些用戶是「棄船而逃」。
其實在多年前,Tumblr 就面臨著準確識別 NSFW 內容的問題。2013 年,Yahoo 11 億美元收購 Tumblr,4 年后 Verizon 收購雅虎,Tumblr 歸于 Verizon 子公司 Oath,并在不久之后推出了「安全模式」,能在搜索結果中自動過濾成人內容。
人工智能雖然可以同時處理大量圖片,但畢竟不是人類,難免會出現(xiàn)一些令人哭笑不得的差錯。特別像 Tumblr 這樣的微博客平臺,用戶群體復雜,色情與非色情的界限非常難以把握。圖普科技產(chǎn)品運營總監(jiān)姜澤榮表示,「(這樣的平臺在制定標準時)標準過嚴可能會把攝影作品、藝術作品之類的內容識別為色情內容,傷害用戶體驗;標準過低則會讓平臺上的色情內容繼續(xù)泛濫。此外平臺上的內容類型繁多,包含文字、圖片、視頻、直播等,各個類型的內容實時性不一,審核標準差異大,這無疑都對開發(fā)、運營等團隊提出高要求。」
圖普科技是國內較早使用深度學習技術提供圖像和視頻內容審核服務的 AI 創(chuàng)業(yè)公司。在平臺色情內容審核等問題上,圖譜向機器之心解釋了一些問題。
圖像鑒黃系統(tǒng)流程是什么?
鑒黃系統(tǒng)的工作流程是這樣的:首先是要建模,其次是制定色情圖片的分類標準,然后收集大量素材,進行分類標注,最后用這些標注好的素材進行訓練,讓機器去學習各個分類里面的特征,不斷調整自己模型的參數(shù)并最終得到最佳的識別模型。
而當機器對圖像進行識別以后,這些圖像數(shù)據(jù)會轉化為數(shù)字化的信息,帶入到模型里面進行計算, 根據(jù)計算值將圖片標注為「正常、性感、色情」三個類別。
因為「識別」的不完美性,這樣的系統(tǒng)也會有人類的參與。在經(jīng)過識別之后,系統(tǒng)把判斷結果和概率告訴使用方,使用方會再根據(jù)結果做對應處理,比如自動刪除、或者人工接入復審。如果在人工復核環(huán)節(jié)發(fā)現(xiàn)機器識別有誤,則會有針對性地對相同場景的圖片進行數(shù)據(jù)學習, 并調整參數(shù), 直到錯誤率達到最低值。
AI 鑒黃的技術核心是深度學習理論(Deep Learning)。通俗來講,可以把深度學習理解為一個空白的大腦,海量數(shù)據(jù)就是灌輸進來的經(jīng)驗。當我們把大量的色情、性感、正常的樣本的屬性告訴深度學習的引擎,讓引擎不斷學習,然后把他們做對的進行獎勵,做錯的就懲罰,當然這些獎勵和懲罰都是數(shù)學上的,最后空白的腦袋就會學成了一種連接的模型,這種模型就是為了鑒別色情與非色情而生的。
深度學習就是人工神經(jīng)網(wǎng)絡(Artificial Neural Network,以下簡稱 ANN)。要了解 ANN,讓我們先來看看人類的大腦是如何工作的。
人腦的視覺處理系統(tǒng)(圖片來源:Simon Thorpe)
上圖表示人理解外界視覺信息的過程。從視網(wǎng)膜(Retina)出發(fā), 經(jīng)過低級的 V1 區(qū)提取邊緣特征,到 V2 區(qū)的基本形狀或目標的局部,再到高層的整個目標(如判定為一張人臉),以及到更高層的 PFC(前額葉皮層)進行分類判斷等。也就是說高層的特征是低層特征的組合,從低層到高層的特征表達越來越抽象和概念化,也即越來越能表現(xiàn)語義或者意圖。
深度學習恰恰就是通過組合低層特征形成更加抽象的高層特征(或屬性類別),然后在這些低層次表達的基礎上通過線性或者非線性組合,來獲得一個高層次的表達。此外,不僅圖像存在這個規(guī)律,聲音也是類似的。
現(xiàn)在來看深度學習的簡易模型。
傳統(tǒng)的神經(jīng)網(wǎng)絡與深度神經(jīng)網(wǎng)絡(圖片來源網(wǎng)絡)
深度學習的一個主要優(yōu)勢在于可以利用海量訓練數(shù)據(jù)(即大數(shù)據(jù)),在學習的過程中不斷提高識別精度,但是仍然對計算量有很高的要求。而近年來,得益于計算機速度的提升、大規(guī)模集群技術的興起、GPU 的應用以及眾多優(yōu)化算法的出現(xiàn),耗時數(shù)月的訓練過程可縮短為數(shù)天甚至數(shù)小時,深度學習才逐漸可用于工業(yè)化。
對于開發(fā)團隊來說,做該領域的產(chǎn)品困難在于如何獲取大規(guī)模已標注數(shù)據(jù)、集成有 GPU 的計算集群以及針對自己的項目調參數(shù),團隊需要不斷地輸入新數(shù)據(jù),持續(xù)迭代以提高機器識別準確率。
既有圖片又有視頻怎么辦?
在短視頻流行的今天,各家科技公司還要面對海量的視頻內容。圖片是靜態(tài)的,視頻/直播是動態(tài)的,而視頻內容的完整審核包括對圖片、文字、語音的審核,所以會更加復雜。以對視頻圖片審核為例,在鑒別視頻和直播時,可以先把動態(tài)的內容解碼成圖片幀,這就與靜態(tài)圖片鑒別方法相似了。
直播實時性強,對響應時間要求高,并且里面的場景和人物變化比較大,審核要求比較嚴格,所以識別難度會相對比較大,需要實時不斷對房間進行截幀傳輸識別,并且結合人工來實現(xiàn)預警處理;視頻在畫質整體上比圖片和直播差,一定程度會影響識別效果,通常是以視頻為單位進行等時間間隔截圖,以一個視頻多張截圖的結果來綜合判斷視頻是否色情違規(guī)。
如果企業(yè)對視頻或直播的每一幀圖片都進行識別,數(shù)據(jù)量將變得非常巨大,運營成本會很高。面對這類情況,一般會采用對視頻抽幀的方式進行處理。例如,一分鐘視頻,可以按照時間段來抽取 6-15 幀左右的圖片進行識別處理,以此減少計算成本。
審核能否完全依賴機器?
針對人們屢屢吐槽的「誤殺」問題,圖譜認為在提高 AI 算法準確度的同時目前還需依靠人類做最后的判斷。誤判分為兩大類型:把色情內容誤判為正常內容,以及把正常內容誤判為色情內容。
1)色情判正常:在光線昏暗場景,或者距離很遠時背景干擾比較大的場景下,以及有特效干擾的情況都有可能造成誤判;衣著正常但實際上露點、隱晦的動作和姿勢等。
2)正常判色情:穿著暴露但實際沒露點,物體形似性器官,接近于色情動作但實際不是(譬如手抓棍狀物體、手正常放在敏感部位)等。
機器能夠幫助企業(yè)大幅提升審核效率和準確率。以圖普科技的鑒黃系統(tǒng)為例,每天可審核近 10 億張圖片,識別準確率高于 99.5%,可為企業(yè)節(jié)省 95% 以上的審核人力。但在現(xiàn)階段甚至很長一段時間內,人工智能鑒黃無法完全代替人工鑒黃。因為機器還很難理解內容背后的深意,也不會在不同文化場景中做自由切換。所以推薦以機器+人工的審核方法。
單純的算法和模型是可以把機器訓練到完全正確地判斷情況的,但是在實際應用中,機器沒有自主思考和自己的主觀意識,仍然需要人工輔助進行確認。例如客戶提供的畫面過于模糊或者說光線過暗,以及訓練數(shù)據(jù)的不能完全覆蓋性等種種客觀原因影響下,機器打不出很高的分確認圖片,這都需要人工來輔助。
「Tumblr 網(wǎng)友:即使這樣我也愛你。」
看來,AI 圖像識別系統(tǒng)可以用現(xiàn)有的,「鑒黃師」則非請不可。在宣布禁止成人內容之后,Tumblr 的 app 終于再次出現(xiàn)在蘋果應用商店里。這輛車最終會開向何處?讓我們拭目以待。
參考文獻:K碼農-http://kmanong.top/kmn/qxw/form/home?top_cate=28