Automatické generování interpunkce v systémech rozpoznávání řeči

dc.contributor.advisorČerva Petr, doc. Ing. Ph.D. :55712cs
dc.contributor.authorPoláček, Martincs
dc.contributor.refereeKolorenč Jan, Ing. Ph.D. :66659cs
dc.date.accessioned2023-12-09T05:05:58Z
dc.date.available2023-12-09T05:05:58Z
dc.date.committed22.5.2023cs
dc.date.defense20.6.2023cs
dc.date.submitted24.10.2022cs
dc.description.abstractTato diplomová práce se zabývá úlohou automatického generování interpunkce (automatic punctuation restoration - APR) v systémech pro automatický přepis řeči, které zpracovávají v reálném čase streamovaná data, například titulkují televizní vysílání. Konkrétně bylo cílem práce navrhnout APR modul, který bude do výstupu rozpoznávacího systému doplňovat tečky, čárky a otazníky. Zároveň bude dostatečně rychlý pro režim online zpracování a bude pracovat s co nejmenším zpožděním a to bez využití prosodických příznaků počítaných z řečového signálu. Výsledný navržený APR modul využívá předtrénovaný jazykový model ELECTRA-Small, který je založený na architektuře typu transformer. Experimentální část práce obsahuje porovnání výsledků dosažených použitím několika dalších architektur a vyšetřuje vliv různých hyperparametrů na proces trénování. V poslední části práce je navržený APR modul porovnán s jiným, již existujícím modulem, který používá kombinaci textových a prosodických příznaků. Z výsledků porovnání vyplývá, že APR modul navržený v této diplomové práci zmíněný modul překonává, splňuje všechny požadavky zadání a dosahuje velmi dobrých výsledků, které jsou plně použitelné v praxi. Novost a vlastní přínos této diplomové práce podtrhuje skutečnost, že navržená metoda a dosažené výsledky byly přijaty k publikaci na prestižní mezinárodní konferenci Interspeech 2023.cs
dc.description.abstractThis thesis deals with the task of automatic punctuation restoration (APR) in automatic speech recognition systems that process real-time streaming data, such as subtitling television broadcasts. Specifically, the goal of this work was to design an APR module that will add periods, commas and question marks to the output of the recognition system. At the same time, it will be fast enough for the online processing mode and work with the least possible delay, without using prosodic features computed from the speech signal. The resulting proposed APR module uses the pre-trained ELECTRA-Small language model, which is based on a transformer-type architecture. The experimental part of the thesis compares the results obtained using several other architectures and investigates the effect of different hyperparameters of the training process. In the last part of the work, the proposed APR module is compared with another existing module that uses a combination of textual and prosodic features. The comparison results show that the APR module proposed in this thesis outperforms the mentioned module, fulfills all the requirements of the assignment and achieves very good results that are fully applicable in practice. The novelty and original contribution of this thesis are underlined by the fact that the proposed method and yielded results were accepted for publication at the prestigious international conference Interspeech 2023.en
dc.format59 s.cs
dc.identifier.urihttps://dspace.tul.cz/handle/15240/174455
dc.language.isoCScs
dc.subjectautomatické generování interpunkcecs
dc.subjectautomatické rozpoznávání řečics
dc.subjectELECTRA modelcs
dc.subjecttransformerycs
dc.titleAutomatické generování interpunkce v systémech rozpoznávání řečics
dc.titleAutomatic punctuation restoration in speech recognition systemsen
dc.typediplomová prácecs
local.degree.abbreviationNavazujícícs
local.identifier.authorM21000168cs
local.identifier.stag44605cs
Files
Original bundle
Now showing 1 - 4 of 4
Loading...
Thumbnail Image
Name:
Diplomová_práce_Poláček_Martin.pdf
Size:
865.05 KB
Format:
Adobe Portable Document Format
Description:
VŠKP ( 21.5.2023 21:16 )
Loading...
Thumbnail Image
Name:
DP_Martin Poláček_vedoucí.pdf
Size:
794.14 KB
Format:
Adobe Portable Document Format
Description:
Posudek vedoucího VŠKP ( 15.6.2023 9:26 )
Loading...
Thumbnail Image
Name:
DP_Martin Poláček_oponent.pdf
Size:
782.11 KB
Format:
Adobe Portable Document Format
Description:
Posudek oponenta VŠKP ( 15.6.2023 9:26 )
Loading...
Thumbnail Image
Name:
ProtokolSPrubehemObhajobySTAG.pdf
Size:
39.45 KB
Format:
Adobe Portable Document Format
Description:
Průběh obhajoby VŠKP ( 20.6.2023 12:48 )