Distribuovaný web crawler

Title Alternative:Distributed webcrawler
dc.contributor.advisorVraný, Jiří
dc.contributor.authorNovák, Ondřej
dc.date2011
dc.date.accessioned2015-06-30
dc.date.available2015-06-30
dc.date.committed2011-05-20
dc.date.defense2011-06-20
dc.date.issued2011
dc.date.submitted2010-10-15
dc.degree.levelmgrcs
dc.descriptionkatedra: NTI; přílohy: CD ROM; rozsah: 67 s.cs
dc.description.abstractBroad web search engines as well as other specialized tools used for data retrieval from the WWW use web crawlers to create large collections of web pages. This thesis deals with the creation of distributed web crawler. In the first part of the thesis the architecture of distributed Web crawler is created. Emphasis is placed on the issue of creating distributed applications and their management. The second part describes the developed distributed Web crawler and applied technologies. The basis of the application is multithreaded URL server that manages distributed web crawlers to client computers. Client / server communication is based on SOAP and file transfers provides an FTP server. Finally the possibilities of developed distributed web crawler are be presented in a few tests and the user manual is included.en
dc.description.abstractWebové prohlížeče, stejně jako další specializované nástroje pro získávání dat z WWW, používají web crawlery k vytváření rozsáhlých kolekcí webových stránek. Diplomová práce se zabývá vytvořením distribuovaného web crawleru. První částí práce je návrh architektury distribuovaného web crawleru. Důraz je kladen na problematiku tvorby distribuovaných aplikací a jejich řízení. Ve druhé části práce je popsán vytvořený distribuovaný web crawler a použité technologie. Základem aplikace je vícevláknový URL server řídící web crawlery distribuované na klientských počítačích. Klient / server komunikace je řešena pomocí SOAP protokolu a o přenos souborů se stará FTP server. V závěru práce jsou provedeny testy demonstrující schopnosti distribuovaného web crawleru a je vytvořen obslužný manuál.cs
dc.formattext
dc.identifier.urihttps://dspace.tul.cz/handle/15240/10416
dc.language.isocs
dc.publisherTechnická Univerzita v Libercics
dc.subjectdistributed computingen
dc.subjectpythonen
dc.subjectsoapen
dc.subjectmultithreadingen
dc.subjectweb crawleren
dc.subjectweb servicesen
dc.subjectworld wide weben
dc.subjectdistribuované programovánícs
dc.subjectpythoncs
dc.subjectsoapcs
dc.subjectvíce-vláknové programovánícs
dc.subjectweb crawlercs
dc.subjectwebové službycs
dc.subjectworld wide webcs
dc.subject.verbisWorld Wide Weben
dc.titleDistribuovaný web crawlercs
dc.title.alternativeDistributed webcrawleren
dc.typeThesis
local.departmentNTIcs
local.facultyFakulta mechatroniky, informatiky a mezioborových studiícs
local.identifier.stag18227
local.identifier.verbis451372
local.note.administratorsoprava_A
local.verbis.aktualizace2019-10-05 06:11:58cs
local.verbis.studijniprogramNTI Elektrotechnika a informatika/Informační technologiecs
Files
Original bundle
Now showing 1 - 4 of 4
Loading...
Thumbnail Image
Name:
mgr_18227.pdf
Size:
453.61 KB
Format:
Adobe Portable Document Format
Description:
kvalifikační práce
Loading...
Thumbnail Image
Name:
opo_18227.pdf
Size:
555.52 KB
Format:
Adobe Portable Document Format
Description:
posudek oponenta
Loading...
Thumbnail Image
Name:
ved_18227.pdf
Size:
322.19 KB
Format:
Adobe Portable Document Format
Description:
posudek vedoucího
Loading...
Thumbnail Image
Name:
obh_18227.pdf
Size:
136.38 KB
Format:
Adobe Portable Document Format
Description:
výsledek obhajoby