讀唇辨音算什么:我看著一袋薯片就能看出你在說什么
2022-10-20 17:51:27 來源:
有些具有超能力的人能夠看口型猜出對方講什么,當然這樣的人已算是鳳毛麟角。但是如果說有人能夠在隔音的環境下看著一袋薯片還原出你在說什么,你信不信?
你到底在說什么?! 這不是比對牛彈琴還離譜的事情嗎?
MIT、微軟及Adobe的研究人員就做成了這么一件看似超級離譜的事情。其奧秘是研究振動。通過分析視頻中聲音在物體身上產生的微小振動,研究人員能夠還原出環境里的聲音信號。在其中一組實驗中,研究人員在隔音的情況下,通過15英尺開外的高速攝像機拍攝薯片袋的振動還原出了一段講話音頻。除了薯片袋以外,研究人員還在鋁箔、裝水的水杯、甚至盆栽植物上面進行了試驗,均收到了良好的效果。
其原理在于,聲音傳播到物體上會引起振動,而這種振動的運動可以創造出一種非常微妙的視覺信號,這種信號是肉眼無法識別的。但是計算機卻可以捕捉到,其前提是以高于音頻的頻率采集視頻—試驗中,研究人員使用的高速攝像機的FPS(每秒幀數)達到了2000~6000(普通智能手機拍攝視頻的FPS一般為60,最高端的商業高速攝像機則可達到100000FPS)。
當然,這種高速攝像機也不是普通人所能擁有的。但是研究人員隨后又用普通數字攝像機進行了試驗。通過利用大多數攝像頭傳感器的一項怪異的設計,研究人員成功地以60FPS的頻率推斷出高頻振動信息。盡管這種還原度沒有高速攝像機那么好,但是也足以識別出有幾個人講話、講話的是男還是女了,甚至已經能掌握到足夠精確的講話者的聲學特征了。
顯然,這種能力在法律取證和刑偵等方面擁有廣泛用途。反過來,鑒于不同物體/對象對聲音具有不同的振動模式,這種特性又可以催生出一種新型的成像技術。科學的有趣之處正是在于,一開始你研究它是因為酷,但是別人卻不斷想出新的用途。
題圖:MIT
[本文參考以下來源:newsoffice。mit。edu]
-
ios16.1rc更新內容功能詳情ios16.1rc更新了什么
ios16。1rc在10月20日凌晨正式推送,rc版本也就是準正式版,帶來了iCloud共享照片圖庫、第三方App的實時活動等,那么ios16。1rc更新了什么
2022-10-20 12:30
-
Win10最新版本22H2更新發布版本號Build19045
非常低調地,微軟今天宣布,正式開始分發Windows 10 2022年度更新(Windows 10 version 22H2)。 有些讓人郁悶的是,微軟并未詳細
2022-10-20 09:58
-
ILMxLAB發布星戰黑武士VR預告片
在這周早些時候,ILMxLAB正在開發最新的《星球大戰》虛擬現實體驗,但不是《Trials on Tatooine》?!禩rials on Tatooine》可以讓你揮
2022-10-20 07:58
-
明基TW500ST投影機新品上市,為你解鎖向往的居家生活
?。ㄔ瓨祟}:明基TW500ST投影機新品上市,為你解鎖向往的居家生活) 你以為的居家生活!觀影追劇不間斷,游戲暢玩放肆嗨,間或抽點空跟
2022-10-20 06:03