前面已經(jīng)給大家講了動(dòng)作放大算法中的一種:歐式視頻放大。看起來(lái)這種技術(shù)非常炫酷,然而它并非毫無(wú)缺點(diǎn)。
今天這篇文章首先會(huì)給大家講講這個(gè)算法的缺點(diǎn),然后簡(jiǎn)要介紹一種改進(jìn)的動(dòng)作放大算法:基于相位的動(dòng)作處理。最后數(shù)字圖像處理應(yīng)用的例子,再給大家介紹下作者的進(jìn)一步研究?jī)?nèi)容。這里面有一些研究方向會(huì)讓普通人瞠目結(jié)舌,至少我當(dāng)時(shí)看到時(shí)是這樣的,希望你喜歡今天的內(nèi)容。
一、歐式視頻放大算法的缺點(diǎn)
歐式視頻放大算法的核心假設(shè)是像素的空間運(yùn)動(dòng)和像素值的變化直接是線性的關(guān)系,如下圖所示
這個(gè)假設(shè)有很強(qiáng)的限制性,當(dāng)運(yùn)動(dòng)過(guò)于劇烈時(shí),假設(shè)就不再成立了,如下圖所示:
另外,如果視頻中的噪聲比較強(qiáng)烈的話,這種線性的假設(shè)會(huì)使得噪聲也被相應(yīng)的放大了。
信號(hào)噪聲被放大
正因?yàn)檫@些缺點(diǎn),因此人們又在想新的辦法來(lái)進(jìn)行動(dòng)作放大,這就引入了下一節(jié)所說(shuō)的基于相位的動(dòng)作處理,相關(guān)文章來(lái)自于:
Phase-Based Video ( 2013)
With Neal , Fredo , Bill
二、基于相位的動(dòng)作處理
在更多原理性內(nèi)容之前,我們先來(lái)看看這種基于相位的動(dòng)作處理算法與歐式視頻放大算法之間的結(jié)果比較:
支持更大的放大倍率
不會(huì)代入過(guò)多噪聲
比較一下幾個(gè)結(jié)果視頻,大家會(huì)有更直觀的理解:
現(xiàn)在來(lái)看看兩種方法的原理比較:
下面的視頻展示了我們可以將一個(gè)一維的信號(hào)分解為多個(gè)正弦信號(hào)的加權(quán)和:
如果對(duì)分解后的正弦信號(hào)進(jìn)行移相并重建,就可以改變信號(hào)的值,造成動(dòng)作的改變:
當(dāng)然,上述展示的是一個(gè)一維信號(hào),通過(guò)移相僅僅能對(duì)信號(hào)中進(jìn)行全局的處理。但通常視頻中有很多局部動(dòng)作,而且我們感興趣的也是這些局部的動(dòng)作。為了處理這個(gè)問(wèn)題,作者采用了一種復(fù)變方向金字塔(好吧,我這個(gè)翻譯可能不準(zhǔn)確,原文叫做 ),它利用局部傅里葉變換將每一幀圖像分解為不同尺度,不同方向的空間結(jié)構(gòu)圖像。
觀察一下這樣一來(lái)局部信號(hào)的組成:
局部移相對(duì)應(yīng)局部動(dòng)作
總而言之,相比歐式視頻放大,基于相位的視頻處理方法自然是要更復(fù)雜更先進(jìn)一些。這兩者的流程可以用下圖來(lái)展示:
因?yàn)檫@個(gè)系列文章還有很多精彩的內(nèi)容需要寫(xiě)數(shù)字圖像處理應(yīng)用的例子,我就暫時(shí)不再深入進(jìn)行原理探討了,感興趣的讀者可以參考原論文
三、相關(guān)領(lǐng)域的應(yīng)用和研究方向
視頻放大有很多應(yīng)用。例如:
這里再給大家看一些朋友制作的例子:
最讓我驚奇的是用這個(gè)技術(shù)來(lái)重建聲音,實(shí)現(xiàn)遠(yuǎn)程的“偷聽(tīng)”遠(yuǎn)程談話的應(yīng)用(突然想到了很多諜戰(zhàn)片),我們看看下面的視頻(帶上耳機(jī)哦):
四、總結(jié)
今天這篇文章是圖像放大系列的完結(jié)篇。我首先介紹了歐式視頻放大的缺點(diǎn),然后簡(jiǎn)要介紹了基于相位的動(dòng)作處理算法。最后還給大家看了更多關(guān)于視頻放大技術(shù)的應(yīng)用,如果你喜歡請(qǐng)給我點(diǎn)贊 。
參考資料
這一篇文章的絕大部分素材來(lái)自于:
: and of in Video