自動化影片分割系統

出自TELDAP
跳轉到: 導覽搜尋

自動化影片分割系統說明

為了能在大量而冗長的數位影片中針對特定視訊內容作處理,我們通常需先將每部影片分割還原至以分鏡(shot)為單位作處理。一段分鏡是指攝影機由開始拍攝到停止拍攝間所拍出的連續畫面(frame),所以在同一段分鏡中所拍攝到的場景與動作也都會是連續地。不論是電影、電視影集、新聞或是廣告,每部影片都是藉由剪輯重組許多不同的分鏡而構成。自然而然地,分鏡成為了處理視訊內容時所需的一個基本單位。

由於我們通常無法得知一部剪輯後影片的分鏡位置資料,因此我們需要自行從影片本身找出每段分鏡位置。雖然不同影片之間的分鏡數目有所不同,但一部半小時的影片往往會包含有上百甚至上千的分鏡數,若以人力來定位出這些分鏡位置將會極度地耗工費時。因此我們需透過電腦,快速而有效地來自動偵測並定位每個分鏡的起始與結束畫面位址,這樣的技術則稱之為分鏡變換偵測(shot change detection)。由於許多視訊上的處理,如影片編輯、檢索、瀏覽、甚至壓縮等都需要此一技術支援,因此許多國內外知名大學與企業都曾投注許多心力與經費於相關研究上。例如在最新的微軟Windows XP作業系統中所提供之Windows Movie Maker程式,即包含有偵測影片分鏡變換位置之功能,以方便使用者自行剪輯影片,可見其使用上的需求與其重要性。

一般單純的分鏡剪接,通常會造成兩個相鄰分鏡間明顯的視覺落差,因此可以很容易地藉著估測任兩相鄰畫面間的大幅度色彩變化來找出絕大部份的分鏡變換位置,而此種分鏡變換則一般稱為突變式分鏡變換(abrupt shot change)。相較於突變式分鏡變換,另一種透過後製作程序,加入了轉換特效以緩和分鏡間突兀視覺落差的分鏡變換方式,則稱之為漸進式分鏡變換(abrupt shot change),如圖1。

圖1:分鏡變換的兩種主要型態.jpg
圖1:分鏡變換的兩種主要型態

要能準確地偵測出漸進式分鏡變換遠較前者要來得困難。首先,兩分鏡間的差異已被稀釋到多張連續畫面中,無法藉由相鄰畫面的明顯差異來判斷出分鏡變換處。其次,畫面中激烈的物體運動所造成的畫面變化也容易被誤認為是漸進式分鏡變換。為此,我們先後提出兩個針對不同需求的偵測漸進式分鏡變換方法,以提高偵測上的準確率。

圖2:四種應用於漸進式分鏡變換的常見特效.jpg
圖2:四種應用於漸進式分鏡變換的常見特效

有鑑於漸進式分鏡變換的特效種類不勝枚舉(圖2所示僅為數種較基本之形式),我們先設計了一套可廣泛應用於多數不同變換特效的方法,藉由計算相隔特定時間的兩畫面差異,來觀察影片中一段連續區間的累積變化程度,除了能判斷出其間是否存在有分鏡變換發生,並能進一步過濾因閃光等突發性外界光源所造成之誤判。透過此一方法,可以十分快速地偵測出於不同種類特效,但也較容易將影片中劇烈的運動誤判為分鏡變換處。

另一方面,由於現今常被使用的漸進式分鏡變換絕大多數屬於溶解(dissolve)或淡出淡入(fade out, fade in)式,為此,我們又針對上述形式的分鏡變換,進一步依其特性設計出相對應的偵測法。透過畫面上各像素(pixel)在連續時間上的亮度變化特性,根據累加二項式分配來事先預估出適當的閥值(threshold),清楚的區隔出漸進式分鏡變換與影片中包含的運動或雜訊之不同,大幅降低傳統方法的誤判比例。經過實驗證明,我們發展的偵測方法不管在理論上與實例上都能有出色的正確率。

藉由前述的兩種方法,我們設計出一套自動化的影片分割程式(如圖3)。透過程式,我們可以自動的產生各個分鏡的起始與結束畫面位置、各分鏡的代表畫面、與及分鏡變化的形式等資訊,而使用者則可以根據這些資訊,獨立編輯處理與瀏覽一部影片中各個分鏡之內容,並能去除原影片中包含分鏡變換特效的部份。

圖3:分鏡偵測程式與執行實例.jpg
圖3:分鏡偵測程式與執行實例

除此之外,我們亦陸續研發一些可應用於影片視訊檢索與瀏覽的相關技術,包含以視訊間關連性為基礎之自動化影片摘要(video skimming)、快速MPEG影片背景拼接(digital video mosaicking)、以運動資訊為基礎之影片檢索(motion-based video indexing)技術等。


參考資料

參與研發單位:中央研究院-資訊所、技術研發分項計畫

提供單位:技術研發分項計畫

使用單位:暫無