Rekonstrukce rozdělení pravděpodobnosti z odhadů zobecněných momentů
Loading...
Date
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Cílem této diplomové práce je zdokonalení algoritmu pro rekon-strukci rozdělení pravděpodobnosti. Aproximace hustoty pravdě-podobnosti je provedena pomocí metody maximální entropie. Nazákladě odhadnutých zobecněných momentů je z množiny všechpřípustných řešení vybráno to, které má maximální Shannonovu en-tropii. Pro výpočet momentů jsou použity Legendreovy polynomy.Při řešení úlohy může docházet k přeučení, které se projevuje zvl-něním hustoty pravděpodobnosti. Tento efekt se zvyšuje s rostoucíchybou v odhadu momentů.K potlačení zvlnění je do původního funkcionálu přidána regula-rizace, která spočívá v penalizaci druhé derivace logaritmu funkcehustoty pravděpodobnosti. Nový přístup je porovnán s tím před-chozím na šesti vytipovaných rozděleních. Pro srovnání je použitaKullback-Leibler divergence. Při aplikaci regularizace dochází kezlepšení aproximace hustoty pravděpodobnosti.Výsledky původní i regularizované metody maximální entropie jsouporovnány s přímou interpolací distribuční funkce pomocí splinefunkcí. V tomto případě jsou všechny přístupy provedeny nad datyzískanými klasickou metodou Monte Carlo a víceúrovňovou meto-dou Monte Carlo. Také z tohoto srovnání vychází nejlépe metodas regularizací.Původní algoritmus metody maximální entropie je rozšířen na re-konstrukce bivarietních rozdělení pravděpodobnosti.
The aim of this diploma thesis is to improve the algorithm for thereconstruction of the probability distribution. The approximationof the probability density function is performed using the maximumentropy method. Based on the estimated generalized moments, theone with the maximum Shannon entropy is selected from the set ofall admissible solutions. Legendre polynomials are used to calculatemoments. During the solution, an overfitting may occur, which ismanifested by a ripple in the probability density function. Thiseffect increases with increasing error in moments estimates.To suppress the ripple, regularization is added to the original functi-onal, which is based on penalizing the second derivative of the lo-garithm of the probability density function. The new approach iscompared with the previous one on six selected probability distri-butions. The Kullback-Leibler divergence is used for comparison.The approximation is improved when applying regularization. Theresults of the original and regularized method of maximum ent-ropy are compared with the direct interpolation of the distributionfunction using spline functions. In this case, all approaches are per-formed using data obtained by the Monte Carlo method and themultilevel Monte Carlo method. Also in this comparison, the me-thod with regularization works best.The original algorithm of the maximum entropy method is extendedto reconstructions of bivariate probability distributions.
The aim of this diploma thesis is to improve the algorithm for thereconstruction of the probability distribution. The approximationof the probability density function is performed using the maximumentropy method. Based on the estimated generalized moments, theone with the maximum Shannon entropy is selected from the set ofall admissible solutions. Legendre polynomials are used to calculatemoments. During the solution, an overfitting may occur, which ismanifested by a ripple in the probability density function. Thiseffect increases with increasing error in moments estimates.To suppress the ripple, regularization is added to the original functi-onal, which is based on penalizing the second derivative of the lo-garithm of the probability density function. The new approach iscompared with the previous one on six selected probability distri-butions. The Kullback-Leibler divergence is used for comparison.The approximation is improved when applying regularization. Theresults of the original and regularized method of maximum ent-ropy are compared with the direct interpolation of the distributionfunction using spline functions. In this case, all approaches are per-formed using data obtained by the Monte Carlo method and themultilevel Monte Carlo method. Also in this comparison, the me-thod with regularization works best.The original algorithm of the maximum entropy method is extendedto reconstructions of bivariate probability distributions.
Description
Subject(s)
rekonstrukce rozdělení pravděpodobnosti, metodamaximální entropie, regularizace, předpodmínění, spline interpo-lace distribuční funkce, bivarietní rozdělení pravděpodobnosti, reconstruction of probability distribution, maximum en-tropy method, regularization, preconditioning, distribution functionspline interpolation, bivariate probability distributions