Vliv použitých vizuálních příznaků řeči v úloze audio-vizuálního rozpoznávání řečového signálu
Title Alternative:Influence of the visual feautures of speech in the audio-visual speech recognition
Loading...
Date
2013-12-27
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Technická Univerzita v Liberci
Abstract
Tato diplomová práce se zabývá rozpoznáváním signálu řeči na základě jeho akustické a vizuální složky, tedy audiovizuálním rozpoznáváním. V prvních dvou kapitolách je popsáno zpracování akustické a vizuální složky řečového signálu a jeho parametrizace. Dále jsou podrobněji popsány nejčastěji využívané příznaky pro rozpoznávání řeči. Kapitola č.3 popisuje klasifikaci pomocí metody Skrytých Markovských modelů a vysvětluje rozdíl mezi rozpoznáváním izolovaných slov a fonémově orientovaným rozpoznáváním. V kapitole č.4 jsou objasněny principy audiovizuálního rozpoznávání řeči, především potom fůze akustických a vizuálních příznaků. Kapitola č.5 popisuje používanou audiovizuální databázi a ukazuje úpravy, které byly provedeny pro natrénování kvalitních modelů. V šesté kapitole jsou popsány experimentální testy prováděné na databázi. Jedná se rozpoznávání akustického, vizuálního signálu a audiovizuální rozpoznávání v hlučných podmínkách.
This thesis deals with the recognition of speech signal based on the acoustic and visual components, it means audio-visual recognition. In the first two chapters is described the processing of acoustic and visual components of speech signal and its parameterization. Further in details are described features most frequently used for speech recognition. Chapter No. 3 describes the classification according to the Hidden Markov models method and explains the difference between isolated words recognition and phoneme oriented recognition. Chapter No. 4 illustrates the principles of audiovisual speech recognition, especially fusion of acoustic and visual features. No.5 chapter describes used audio-visual database and shows the modifications that were made for training good models. The sixth chapter describes the experimental tests performed on the database. It is a recognition of acoustic, visual signal and audio-visual recognition in the noisy conditions.
This thesis deals with the recognition of speech signal based on the acoustic and visual components, it means audio-visual recognition. In the first two chapters is described the processing of acoustic and visual components of speech signal and its parameterization. Further in details are described features most frequently used for speech recognition. Chapter No. 3 describes the classification according to the Hidden Markov models method and explains the difference between isolated words recognition and phoneme oriented recognition. Chapter No. 4 illustrates the principles of audiovisual speech recognition, especially fusion of acoustic and visual features. No.5 chapter describes used audio-visual database and shows the modifications that were made for training good models. The sixth chapter describes the experimental tests performed on the database. It is a recognition of acoustic, visual signal and audio-visual recognition in the noisy conditions.
Description
katedra: ITE; přílohy: CD ROM; rozsah: 52 s.
Subject(s)
audiovizuální rozpoznávání řeči, skryté markovské modely, rozpoznávání izolovaných slov, fonémově orientované rozpoznávání řeči, vizuální příznaky řeči, audio visual speech recognition, hidden markov models, isolated words recognition, phoneme oriented speech recognition, visual speech features