報訊（通訊員 沈晨 融媒體記者 許震寧） 本月3日，高淳區(qū)市民朱女士向12345投訴，反映自己購買了一臺平板電腦，準(zhǔn)備給孩子疫情期間上網(wǎng)課，可在拍照上傳孩子作業(yè)時發(fā)現(xiàn)，平板電腦像素很低，照片模糊不清，無法滿足上網(wǎng)課要求，找店家退換貨時，店家卻以各種理由推脫。
高淳區(qū)市場監(jiān)管局接到訴求后認(rèn)為，受新冠肺炎疫情影響，各學(xué)校普遍延期開學(xué)，給學(xué)生開設(shè)了網(wǎng)課，進(jìn)而也帶動了電腦等數(shù)碼產(chǎn)品的銷售，產(chǎn)品質(zhì)量如果存在問題，將影響網(wǎng)課效果。隨即，區(qū)市場監(jiān)管局執(zhí)法人員聯(lián)系了訴求人和店家核實情況。
經(jīng)查，訴求人購買的平板電腦與說明書功能相符，商家也提供了產(chǎn)品檢測報告，產(chǎn)品無質(zhì)量問題。執(zhí)法人員進(jìn)一步了解到，朱女士購買的平板電腦有2個攝像頭，后置攝像頭像素為200萬，前置攝像頭像素為500萬。因為購買時比較匆忙，朱女士沒有詳細(xì)了解產(chǎn)品的配置和性能，且未使用過平板電腦，使用了后置攝像頭拍攝，導(dǎo)致照片不清楚，從而以為是攝像頭出了問題。后來與店家溝通中，朱女士和店家都帶有情緒，雙方均未能弄清楚問題出在哪里。
經(jīng)過執(zhí)法人員耐心解釋和調(diào)解，朱女士終于搞清楚了如何使用平板電腦，一場糾紛得以圓滿化解。
同時，對朱女士提出的“7天無理由退貨”要求，執(zhí)法人員也做了解釋。根據(jù)《中華人民共和國消費(fèi)者權(quán)益保護(hù)法》，“‘七天無理由退貨’的規(guī)定適用于網(wǎng)購商品，不包含在實體店購買的商品。”執(zhí)法人員告訴朱女士。
/ Google研究院軟件工程師，Tingbo Hou & Tyler Mullen
譯者 / Alpha
技術(shù)審校：斗魚前端專家，王興偉
原文 /https://ai.googleblog.com/2020/10/background-features-in-google-meet.html
在人們的工作和生活中，視頻會議變得越來越重要。我們可以通過增強(qiáng)隱私保護(hù)，或者添加有趣的視覺效果來改善視頻體驗，同時幫助人們將注意力集中在會議內(nèi)容上。我們最近宣布的在Google Meet中模糊和替換背景的方法，就是為了實現(xiàn)這一目標(biāo)而邁出的一小步。
我們利用機(jī)器學(xué)習(xí)（ML）來更好地突出參與者，從而忽略他們周圍的背景環(huán)境。盡管其他的解決方案需要安裝額外的軟件，但Meet的功能是由尖端的Web ML技術(shù)提供支持的，這些技術(shù)是用MediaPipe構(gòu)建的，可以直接在你的瀏覽器中工作——不需要額外的步驟。
開發(fā)這些功能，有一個關(guān)鍵目標(biāo)，即它可以給幾乎所有現(xiàn)代設(shè)備提供實時的瀏覽器內(nèi)性能，通過XNNPACK和TFLite，我們將高效的設(shè)備上ML模型、基于WebGL的效果渲染，還有基于Web的ML推理結(jié)合起來，進(jìn)而實現(xiàn)了這一目標(biāo)。
背景模糊和背景替換，由網(wǎng)頁端的 MediaPipe 提供支持。
網(wǎng)絡(luò)Web ML方案概述
Meet中的新功能是與MediaPipe一起開發(fā)的，MediaPipe是谷歌的開源框架，用于為直播和流媒體提供跨平臺的，可定制的ML解決方案，它還支持設(shè)備上實時性的手、虹膜和身體姿勢追蹤等ML解決方案。
任何設(shè)備上解決方案的核心需求，都是實現(xiàn)高性能。為了實現(xiàn)這一點，MediaPipe的Web工作流利用了WebAssembly，這是一種專為網(wǎng)絡(luò)瀏覽器設(shè)計的底層二進(jìn)制代碼格式，可以提高計算繁重任務(wù)的速度。在運(yùn)行時，瀏覽器將WebAssembly指令轉(zhuǎn)換為本機(jī)代碼，執(zhí)行速度比傳統(tǒng)JavaScript代碼快很多。此外，Chrome84最近引入了對WebAssembly SIMD的支持，每條指令可以處理多個數(shù)據(jù)點，性能提升了2倍以上。
首先，我們的解決方案通過將用戶，和他們的背景進(jìn)行分割（稍后將詳細(xì)介紹我們的分割模型），來處理每個視頻幀，使用ML推理來計算出一個低分辨率的蒙版。或者，我們還可以進(jìn)一步細(xì)化蒙版，以使其與圖像邊界對齊。然后通過WebGL2使用蒙版來渲染視頻，實現(xiàn)背景的模糊或替換。
WebML Pipeline：所有計算繁重的操作都是用C++/OpenGL實現(xiàn)的，并通過WebAssembly在瀏覽器中運(yùn)行。
在當(dāng)前版本中，模型推理在客戶端的CPU上執(zhí)行，以實現(xiàn)低功耗和最大的設(shè)備覆蓋范圍。為了達(dá)到實時性能，我們設(shè)計了高效的ML模型，通過XNNPACK庫加速推理，XNNPACK庫是第一個專門為新的WebAssembly SIMD規(guī)范設(shè)計的推理引擎。在XNNPACK和SIMD的加速下，該分割模型可以在Web上以實時速度運(yùn)行。
在MediaPipe靈活配置的支持下，背景模糊/替換解決方案可根據(jù)設(shè)備能力，調(diào)整其處理過程。在高端設(shè)備上，它運(yùn)行完整的工作流，以提供最佳的視覺質(zhì)量，而在低端設(shè)備上，通過使用輕量級的ML模型進(jìn)行計算，并且繞過蒙版細(xì)化，它仍然可以保持較高的性能。
分割模型細(xì)分
設(shè)備上的機(jī)器學(xué)習(xí)模型必須是超輕量級的，以實現(xiàn)快速推理、低功耗和較小的下載大小。對于在瀏覽器中運(yùn)行的模型，輸入分辨率會極大地影響處理的每一幀所需的浮點運(yùn)算（FLOP）的數(shù)量，由此也必須很小。我們將圖像下采樣，得到較小的尺寸，然后再將其提供給模型。從低分辨率圖像中，盡可能精確地恢復(fù)分割蒙版，這增加了模型設(shè)計的挑戰(zhàn)。
整個分割網(wǎng)絡(luò)具有關(guān)于編碼和解碼的對稱結(jié)構(gòu)，而解碼器塊（淺綠色），也與編碼塊（淺藍(lán)色）共享對稱層結(jié)構(gòu)。具體地說，在編碼器和解碼器模塊中，都采用了應(yīng)用有全局池化層技術(shù)的通道注意力機(jī)制，這有利于高效的CPU推理。
采用MobileNetV3編碼器（淺藍(lán)色）和對稱解碼器（淺綠色）的模型架構(gòu)。
我們修改MobileNetV3-Small為編碼器，經(jīng)過網(wǎng)絡(luò)結(jié)構(gòu)搜索的優(yōu)化，以最低的資源需求，獲得最佳的性能。為了減少50%的模型尺寸，我們使用Float16量化技術(shù)將模型導(dǎo)出到TFLite，僅權(quán)重精度略有下降，但對質(zhì)量沒有明顯的影響。得到的模型有193K參數(shù)，大小只有400KB。
效果渲染
分割完成后，我們使用OpenGL著色器進(jìn)行視頻處理和效果渲染，其中的挑戰(zhàn)就是在不引入偽影的情況下進(jìn)行高效渲染。在細(xì)化階段，我們采用聯(lián)合雙邊濾波器對低分辨率蒙版進(jìn)行平滑處理
渲染效果時會減少瑕疵減少的渲染效果。左：聯(lián)合雙邊過濾器平滑分段分割蒙版。中：可分離濾鏡移除背景模糊中的光暈瑕疵。右：替換背景中的燈光包裹包裝（light wrapping）。
模糊著色器通過與分割蒙版值成比例的方式，調(diào)整每個像素的模糊強(qiáng)度，來模擬波克（bokeh）效果，類似于光學(xué)中的混淆圓（CoC）。像素按其CoC半徑加權(quán)，因此前景像素不會滲入背景。我們?yōu)榧訖?quán)模糊實現(xiàn)了可分離的過濾器，而不是流行的高斯金字塔，因為它去除了人周圍的光暈偽影。為了提高效率，模糊以低分辨率執(zhí)行，并以原始分辨率與輸入幀混合
背景模糊示例
對于背景替換，我們采用了一種稱為燈光包裹（Light wrapping）的合成技術(shù)，用于混合分割的人物和定制的背景圖像。光線包裹允許背景光溢出到前景元素上，從而使合成更具沉浸感，這有助于柔化分割邊緣。當(dāng)前景和替換的背景之間，存在較大的對比度時，它還有助于最大限度地減少光暈偽影
背景替換示例
性能
為了優(yōu)化不同設(shè)備的體驗，我們提供多種輸入尺寸（即當(dāng)前版本中的256x144和160x96）的模型變體，根據(jù)可用的硬件資源自動選擇最佳模型。
我們在兩款常見設(shè)備上評估了模型推理和端到端傳遞的速度：搭載2.2 GHz 6核英特爾酷睿i7的MacBook Pro 2018和搭載英特爾賽揚(yáng)N3060的宏碁Chromebook 11。對于720p的輸入，MacBook Pro可以以120 FPS的速度，運(yùn)行較高質(zhì)量的模型，以70 FPS的速度運(yùn)行端到端的傳遞途徑；而Chromebook則以62 FPS的速度運(yùn)行推理，使用較低質(zhì)量的模型，端到端運(yùn)行在33 FPS。
高端（MacBook Pro）和低端（Chromebook）筆記本電腦上的模型型號推斷速度和端到端管線傳遞。
為了定量評估模型的精度，我們采用了目前流行的交集-并集（IOU）和邊界F-度量。這兩種型號都有不俗的表現(xiàn)，而且還是在這樣一個輕量級網(wǎng)絡(luò)的情況下
模型準(zhǔn)確性的評估，通過 IOU 借條和邊界 F-分?jǐn)?shù)來衡量。
我們還為我們的分割模型發(fā)布了隨附的模型卡，其中詳細(xì)介紹了我們的公平性評估。我們的評估數(shù)據(jù)包含來自全球17個地理分區(qū)的圖像，并附有膚色和性別的注釋。我們的分析表明，該模型在不同地區(qū)、膚色和性別上的表現(xiàn)是一致的，只有很小的IOU指標(biāo)偏差。
結(jié)論
我們推出了一個全新的瀏覽器端的機(jī)器學(xué)習(xí)解決方案，用于模糊和替換你在Google Meet中的背景。使用這個方案，機(jī)器學(xué)習(xí)模型和OpenGL著色器就可以在Web上高效運(yùn)行。所開發(fā)的功能即使在低功耗設(shè)備上也能以低功耗實現(xiàn)實時性能
致謝：特別感謝Meet團(tuán)隊的成員和參與此項目的其他人員，特別是Sebastian Jansson，Rikard Lundmark，Stephan Reiter，F(xiàn)abian Bergmark，Ben Wagner，Stefan Holmer，Dan Gunnarson，Stéphane Hulaud以及所有與我們一起從事技術(shù)工作的團(tuán)隊成員：Siargey Pisarchyk，Karthik Raveendran，Chris McClanahan， Marat Dukhan，F(xiàn)rank Barchard，Ming Guang Yong，Chuo-Ling Chang，Michael Hays，Camillo Lugaresi，Gregory Karpiak，Siarhei Kazakou，Matsvei Zhdanovich，Matthias Grundmann。
日常生活和工作中，我們經(jīng)常會遇到一些模糊的圖片，這些模糊圖片可能是因為拍攝時的抖動、焦距不準(zhǔn)或者是老舊照片的質(zhì)量問題。為了讓這些圖片變得清晰，我們需要一些高效的圖片修復(fù)工具，下面我們就來分享4個超級簡單的修復(fù)模糊圖片的工具吧。
1. Amemori模糊圖片修復(fù)工具
Amemori是一款專注于模糊圖片修復(fù)的工具，其操作簡單且效果顯著。其主要功能和優(yōu)勢包括：
自動修復(fù)：只需上傳模糊圖片，Amemori會自動分析并修復(fù)，使圖片變得清晰。
多種修復(fù)模式：提供普通模式和高級模式，用戶可以根據(jù)圖片的模糊程度選擇合適的修復(fù)模式。
支持批量處理：一次可以處理多張圖片，節(jié)省時間。
2. 嗨格式圖片無損放大器
嗨格式圖片無損放大器是一款功能強(qiáng)大的圖片放大工具，能夠在放大的同時保持圖片的清晰度。其主要功能和優(yōu)勢包括：
AI智能放大：通過人工智能技術(shù)，放大圖片時能保持原有的清晰度和細(xì)節(jié)。
無損放大：圖片放大后不會出現(xiàn)像素化或模糊的現(xiàn)象。
簡單操作：界面友好，操作簡單，只需幾步即可完成圖片放大。
3. 酷雀AI智能摳圖
酷雀AI智能摳圖不僅是一款出色的摳圖工具，同時也具備強(qiáng)大的圖片修復(fù)功能。其主要功能和優(yōu)勢包括：
AI智能修復(fù)：通過AI技術(shù)自動修復(fù)模糊圖片，提升圖片清晰度。
多平臺支持：支持手機(jī)和電腦端，方便用戶隨時隨地進(jìn)行圖片修復(fù)。
一鍵操作：只需一鍵即可完成圖片修復(fù)，操作簡便。
4. VanceAI
VanceAI是一款多功能的圖片處理工具，其中包括強(qiáng)大的圖片修復(fù)功能。其主要功能和優(yōu)勢包括：
AI圖片增強(qiáng)：通過AI技術(shù)自動增強(qiáng)圖片，使模糊的圖片變得清晰。
多種修復(fù)工具：提供多種圖片修復(fù)工具，如去噪、銳化等，滿足不同的修復(fù)需求。
操作簡便：用戶界面友好，操作流程簡單，只需幾步即可完成修復(fù)。
這四款圖片高清修復(fù)工具操作簡單，效果顯著，能夠幫助你輕松修復(fù)模糊的圖片。希望有需要的小伙伴都能從中找到適合自己的修復(fù)工具。快來試試這些工具，讓你的模糊圖片煥然一新吧！