2D+3D Objects with Minimal Reconstruction Error to Scene Understanding

瀏覽統計 Email 通知 RSS Feed

簡歷

基本資料

Project title

Code/計畫編號

MOST103-2221-E019-018-MY2

Translated Name/計畫中文名

結合特徵強化、行動偵測、即時分類技術之場景認知與監控整合系統---子計畫三：基於物件結構重建誤差最小化之2D+3D場景分析

Project Coordinator/計畫主持人

Shyi-Chyi Cheng

Funding Organization/主管機關

National Science and Technology Council

Department/Unit

Department of Computer Science and Engineering

Website

https://www.grb.gov.tw/search/planDetail?id=8355636

Year

2014

Start date/計畫起

01-08-2014

Expected Completion/計畫迄

01-07-2015

Bugetid/研究經費

710千元

ResearchField/研究領域

資訊科學--軟體

"文獻報導的影像內容模型化方法通常使用低階之時間、空間特徵建構各式各樣的電腦視覺應用，因為機器學習技術可縮小低階特徵與高階語意之落差，機器學習技術被廣泛使用，以利於建構更具智能的電腦視覺應用，然而，機器學習技術的準確性往往仰賴大量使用人為標記的訓練樣本訓練分類器，因此繁瑣的人為標記工作及複雜的學習演算法，往往限制高智能機器視覺系統的有效性。隨著硬體技術的蓬勃發展，待處理的視覺資料的維度逐漸從包含(x,y)二維實體空間及一維時間空間的三度空間轉換為包含(x,y,z)三維實體空間及一維時間空間的四度空間，使用大量的人為標記工作，用以模型化影像內容，變得越來越困難也越來越不可行，取而代之的是隱含不確定資訊的大量資料。為了使用最小量的人為標記樣本訓練及去除隱含的影像模型可能隱含大量不確性資訊的影響，我們探討使用結構化的鬆散表示法，學習影像內容的潛在的語意資訊，建立高階聯想記憶體模型，並據以偵測、切割、及辨識物件或場景結構，建構語意導向的智慧型電腦視覺應用平台。本計畫分為兩個部分，每部分都規劃為一年期的子計畫。首先，第一年的子計畫提出一使用結構化的鬆散表示法，建立包含高階物件或場景結構的聯想記憶體模型的學習方法，在過去幾年，大量相關研究已提出利用具有大量區域低階特徵建構之視覺碼本，偵測、切割、及辨識物件或場景結構的方法，利用少許穩定的區域特徵，配合一應用導向的推論模型，本計畫提出的聯想記憶體模型，重建完整的影像模型，以利後續的切割及辨識工作。本計畫的第二部分討論第一年所提出的高階影像處理平台，應用於不同領域的調適方法，在第一年計劃中，我們建構視訊行為分析系統，驗證所提出平台的有效性，相反地，在第二年中我們討論在醫學影像處理領域裡，如何修正本平台的各個模組，由於不同應用領域的推論知識不同，隱含於處理平台的高階語意也因而必須加以調適。初步實驗結果驗證本計畫提出的方法的可行性。 " This project is divided into two parts where each of them is scheduled to complete in a year. First of all, this project, investigating the goal of human-level synthetic intelligence, presents a novel latent semantic learning method for constructing high-level associative memory from a large vocabulary of abundant visual codewords with structured object reconstruction. A human activity detection and classification system is also constructed to verify the effectiveness of the proposed associative memory model. Existing human activity classification systems use machine learning architectures and low-level features to characterize a specific human activity. However, existing machine learning architectures often lack restructuring capability, which is an important process of forming the conceptual structures in human-level synthetic intelligence. The second part of the project is to apply the proposed framework to learn a generic 3D liver model using a small set of trained computed tomography (CT) image sequences. The learnt model with a novel 3D structure inference process is then used to segment the 3D liver object from the input CT image sequence by minimizing the reconstruction error between the segmented and synthetic shapes. We also try to identify the liver region from an input ultrasound image by registering the input ultrasound image with the learnt 3D liver model. Preliminary experimental results show that the proposed methods give good performance in terms of detection accuracy and robustness.

Keyword(s)

聯想記憶體
巨量資料
機器學習
隱含語意學習
高階語意推論
四分數
associative memory
big data
machine learning
latent semantic learning
high-level semantic inference
quaternion number

DSpace CRIS

2D+3D Objects with Minimal Reconstruction Error to Scene Understanding

基本資料

Description