Automatizované zpracování hydrogeologických dat
Title Alternative:Automation of groundwater data processing
Loading...
Date
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Tato práce popisuje postup při tvorbě návrhu reportu a transformací, které zajistí zpracování dat o hydrogeologických vrtech z formátu XML a v požadovaném formátu tato data zapíše do SQL databáze. Následně dojde k vytvoření a zaslání reportu uživateli prostřednictvím emailem. První část práce popisuje použité prostředky, zdrojová data a výstupní formát. Následuje popis samotné realizace transformací dat, které byly vytvořeny v nástroji Pentaho Data Integration. Dále popisuji tvorbu definice reportu vytvořeného v Pentaho Report Designer a také vlastní implementaci převedení dat z XML souborů do výstupních CSV souborů pro zápis do databáze pomocí programovacího jazyka Python. Nakonec je zhodnoceno použití zvolených nástrojů, jejich přednosti a nedostatky, a zejména je srovnávána tvorba transformací dat pomocí Pentaho Data Integration s vlastní implementací v Pythonu.
This work describes the procedure of making transformations that will ensure processing data about hydrogeological wells from the XML format and insert them into SQL database in required format. Subsequently, will be create a report and send to the user via an email. The first part of work describes the used resources, the source data and the output format. This is followed by the description of data transformations implementation that was made in Pentaho Data Integration tool, definition of report created in Pentaho Report Designer and also description of my own implementation of data transformation from XML files to CSV output format for inserting to database by programming language Python. In the last part of work is evaluation of used tool, its advantages and weaknesses. In particular, it compares the creation of a transformation in Pentaho with my own Python implementation.
This work describes the procedure of making transformations that will ensure processing data about hydrogeological wells from the XML format and insert them into SQL database in required format. Subsequently, will be create a report and send to the user via an email. The first part of work describes the used resources, the source data and the output format. This is followed by the description of data transformations implementation that was made in Pentaho Data Integration tool, definition of report created in Pentaho Report Designer and also description of my own implementation of data transformation from XML files to CSV output format for inserting to database by programming language Python. In the last part of work is evaluation of used tool, its advantages and weaknesses. In particular, it compares the creation of a transformation in Pentaho with my own Python implementation.