3維物件分割暨檢索技術

出自 TELDAP
前往: 導覽搜尋

依人類視覺重要性將三維物件分割成數個組成元件,同時標示各元件的視覺重要性特徵,包括量化後的突出性、邊界強度及相對大小。此外,在建立一個三維物件的特徵表示法時,各個組成元件的視覺重要性特徵值將根據其相對幾何位置參數化至單位球體座標上,以便於對不同模型在同一基準下做相似度的計算。建立以「較有意義元件為主」的三維物件管理與檢索系統。

三維物件檢索系統說明

隨著網際網路的蓬勃發展,一般使用者可以很容易地透過網際網路來獲取或散佈包括文字、音訊、影像、視訊以及三維物件等數位資料。為因應日益增加的資料量,勢必需要一套管理機制輔助人們快速檢索出所需之數位資料。因此,過去十年來隨著電腦運算能力的提昇,檢索系統已逐漸地由傳統的「文字為主」檢索系統(例如:Google、AltaVista)發展到以音訊、影像、視訊為主的搜尋引擎。相關的實例包括:影像為主的檢索系統Google Image Search、音訊為主的檢索系統FindSounds、視訊為主的檢索系統VideoQ,以及三維物件為主的檢索系統MeshNose。從資料庫管理的角度來說,一套檢索系統主要包含三部份:(1) 友善且簡便的查詢介面(query interface);(2) 自動化特徵擷取機制(automatic feature extraction);(3) 公平及合理的特徵比對方法(similarity matching)。如圖1所示,後端的資料庫來源是透過網際網路蒐集而成。特徵擷取機制則負責建立資料庫的索引資訊,而同樣的機制亦運用在使用者所給予的查詢範本(query),以便於後續的索引/特徵比對過程,並透過查詢介面供使用者建立查詢範本。由此可知,在現今資訊密集傳遞與散佈的情況下,一套完整的檢索機制不但能有效地組織與管理異質性分散式資料庫(heterogeneous and distributed database),以減少人工管理的需求,更能帶給使用者更方便的資料獲取方式。

圖1:一套檢索系統的系統方塊圖.jpg
圖1:一套檢索系統的系統方塊圖

在計算機圖學領域裡,「以三維物件為主的檢索系統」是最近相當熱門的研究題目。國外許多知名大學及企業,包括普林斯頓大學的三維形狀搜尋引擎、卡內基美濃大學、IBM、MeshNose、ShapeSifter,以及普渡大學等,已紛紛投入大量人力物力於此新興的研究領域。然而,現有的相關技術仍著重於以統計為主的特徵描述。但由於統計式的特徵擷取法僅能描述物體的整體形狀特徵,因此往往只能運用在粗搜尋(coarse search)過程裡。而以拓樸為主的特徵擷取法,雖能透過樹狀結構做更精細的描述,但仍受限於樹狀比對的困難度而難以提昇其搜尋效率。再者,目前的特徵擷取法與比對方法(similarity metric)都是從數學的角度來定義,例如:統計法或頻譜分析法。因此,現有的特徵擷取和比對方法仍與人類的視覺和認知系統有一大落差。有鑑於此,我們研究如何以最接近人類視覺和認知系統的方式設計查詢介面、特徵擷取法與比對方法,以完成一套以人類視覺和認知系統為根基的三維物件管理與檢索系統。

首先我們發展一套利用視覺特點為引導的三維物件分解方法(visual salience-guided 3D mesh decomposition)。用以提供後續發展的元件式查詢法(Query by Significant Component),由於視覺組織心理學(Perceptual Organization)已廣為應用在影像及視訊分割技術上,我們著重人類在視覺感知過程中對三維物件形態的解析與認知上。為了能擷取出與人類視覺認知最符合的較有意義元件,我們將採用心裡學的相關理論,例如:如極微規則(Minimal Rule)、切割理論(Separate Theory)及視覺意義性(Visual Salience/Significance) 等,藉此分析構成三維物件的各個組成要件,以妥善地分類整理大量的三維Graphical Models。透過形態心理學及視覺組織學的解釋,以更合理的角度為三維物件定義了所謂的「視覺意義性」(visual salience)。接著我們便可以以上述概念提升現有三維物件管理及檢索系統的精確及可靠性。

接著我們發展「較有意義」的三維物件組成元件(Significant Component)做快速可靠的搜尋系統。對於較有意義組成元件的定義,透過形態心理學(gestalt psychology)及視覺組織學(perceptual organization)的解釋,切割三維物件並取得視覺重要性特徵,透過計算機科學及認知心理學兩大領域的整合,提供有心理學根據的三維物件檢索與管理技術。透過整理,三維Graphical Model資料庫能藉由「較有意義」物件的描述,快速由較小的搜尋空間內找到一組可能的candidates。藉著進一步的描述,此三維物件管理與檢索系統可應用於自動的物件分析以及分類,並提升檢索效率及正確性。另外使用視覺化的檢索方式,可以應用在大量三維物件的典藏以及管理。這種自動化的管理及檢索能有效地組織與管理異質性分散式資料庫(heterogeneous and distributed database) ,可大量降低資料庫建立及管理的人力成本。另外,我們也將針對元件間連結關係的描述法做相關研究,藉由各個組成元件的特徵與連結關係描述,以達到更精確且快速的三維物件檢索。

透過形態心理學及視覺組織學的解釋,我們從更合理的角度為三維物件定義了所謂的「視覺意義性」(Visual Significance),有效地提升現有三維物件管理及檢索系統的精確及可靠性。

(a) Cactus (b) Dinopet (c) Hummingbird.jpg
(a) Cactus (b) Dinopet (c) Hummingbird
(d) Cheetah (e) Manatee (f) Horse.jpg
(d) Cheetah (e) Manatee (f) Horse
G) Part salience of (b).jpg
(g) Part salience of (b)
H) Part salience of (d).jpg
(h) Part salience of (d)
(i) Part salience of (f).jpg
(i) Part salience of (f)

利用視覺重要(包括:突出性、邊界強度及相對大小),仿傚人類視覺系統切割三維物件的過程,並同時標示其視覺重要性特徵。

參考資訊

參與研發單位:中央研究院-資訊所,技術研發分項計畫

提供單位:技術研發分項計畫

使用單位:暫無