Doučování velkých jazykových modelů za účelem sémantického vyhledávání v produktové dokumentaci
Loading...
Date
2025-06-10
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Tato práce je zaměřena na návrh a ověření funkcionalit dílčích částí systému sémantického vyhledávače s využitím velkého jazykového modelu. Teoretická část se zpočátku zaměřuje na princip sémantického vyhledávání a využití modelu v kontextu firemních aplikací. Dále se zde nachází popis funkce modelů, jejich architektury a implementaci v systému vyhledávání. Pozornost je věnována možnostem doučení modelů, obzvláště metodice parametricky efektivního doučení (Parameter Efficient Fine-Tuning). Tato metoda je klíčová pro přizpůsobení modelu specifickým potřebám, ale také vzhledem k omezeným zdrojům. Praktická část práce zahrnuje přípravu specifických dat, implementaci procesu sémantického vyhledávání a popis postupu doučení modelu. Cílem bylo zlepšit schopnost modelu porozumět technické dokumentaci a jejím specifickým nuancím. Důraz byl kladen na zpracování firemních dat v on-premise prostředí a možnost nasazení doučeného modelu na privátních zařízeních. Závěr práce shrnuje dosažené výsledky, porovnává výkon různých variant modelů a poskytuje doporučení pro jejich praktické nasazení v systémech sémantického vyhledávání.
This thesis focuses on the design and validation of the functionalities of individual components within a semantic search system utilizing a large language model. The theoretical part initially explores the principles of semantic search and the application of language models in corporate environments. It also describes the architecture and functioning of these models, along with their integration into search systems. Particular attention is given to fine-tuning techniques, especially Parameter-Efficient Fine-Tuning (PEFT), which is essential for adapting models to domain-specific requirements under resource constraints. The practical part includes the preparation of custom datasets, the implementation of the semantic search process, and explanation of the fine-tuning workflow. The goal was to improve the model's ability to comprehend technical documentation and its specific nuances. Emphasis was placed on handling corporate data in an on-premise environment and enabling deployment of the fine-tuned model on private infrastructure. The thesis concludes by summarizing achieved results, comparing the performance of different model variants, and providing recommendations for their practical use in semantic search systems.
This thesis focuses on the design and validation of the functionalities of individual components within a semantic search system utilizing a large language model. The theoretical part initially explores the principles of semantic search and the application of language models in corporate environments. It also describes the architecture and functioning of these models, along with their integration into search systems. Particular attention is given to fine-tuning techniques, especially Parameter-Efficient Fine-Tuning (PEFT), which is essential for adapting models to domain-specific requirements under resource constraints. The practical part includes the preparation of custom datasets, the implementation of the semantic search process, and explanation of the fine-tuning workflow. The goal was to improve the model's ability to comprehend technical documentation and its specific nuances. Emphasis was placed on handling corporate data in an on-premise environment and enabling deployment of the fine-tuned model on private infrastructure. The thesis concludes by summarizing achieved results, comparing the performance of different model variants, and providing recommendations for their practical use in semantic search systems.
Description
Subject(s)
sémantické vyhledávání, velké jazykové modely, doučování, on-premise řešení