Stochastic and deterministic optimization methods and their applications

Dátum
Folyóirat címe
Folyóirat ISSN
Kötet címe (évfolyam száma)
Kiadó
Absztrakt

Az együttes alapú módszerek rendkívül népszerű megközelítések, amelyek az egyes szavazók véleményének összesítésével növelik a döntés pontosságát. A közös pont a pontosság maximalizálása; azonban természetes korlátot jelent, ha az egyes szavazókhoz járulékos költségeket is rendelnek. A dolgozatban vizsgáljuk az együttes rendszerek létrehozását a tagok összköltségére vonatkozó további megkötés mellett. Ez a feladat egy hátizsák problémaként fogalmazható meg, ahol az energia az egyes aggregációs szabályok által képzett együttes pontossága. Az általánosan alkalmazott aggregációs szabályok azonban nem szeparálható energiafüggvényhez vezetnek, ami a szokásos megoldási eszközöket -- mint például a dinamikus programozás -- működésképtelenné teszi. Újszerű sztochasztikus megközelítést vezetünk be, amely az energiát a tagok pontosságainak együttes valószínűségi függvényének tekinti. Ez a fajta tudás hatékonyan beépíthető egy sztochasztikus keresési folyamatba, mint megállási szabály, mivel rendelkezünk a várható pontosságra vonatkozó információval, vagy alternatívaként a pontosabb együttesek megtalálásának valószínűségével. A létrehozott mintaosztályozó és objektumdetektáló együttes rendszerek kísérleti elemzései megerősítik a megközelítésünk hatékonyságát más metszési eljárásokkal szemben. Ezen túlmenően egy új, az energiához jobban illeszkedő sztochasztikus keresési módszert javasolunk, amely más sztochasztikus stratégiákba is beépíthető. Továbbá bemutatjuk az együttes rendszerek néhány alkalmazását az orvostudomány területén. Végezetül a képi minták szabályosságának eldöntésére adunk módszert.


Ensemble-based methods are highly popular approaches that increase the accuracy of a decision by aggregating the opinions of individual voters. The common point is to maximize accuracy; however, a natural limitation occurs if incremental costs are also assigned to the individual voters. Consequently, we investigate creating ensembles under an additional constraint on the total cost of the members. This task can be formulated as a knapsack problem, where the energy is the ensemble accuracy formed by some aggregation rules. However, the generally applied aggregation rules lead to a nonseparable energy function, which takes the common solution tools -- such as dynamic programming -- out of action. We introduce a novel stochastic approach that considers the energy as the joint probability function of the member accuracies. This type of knowledge can be efficiently incorporated in a stochastic search process as a stopping rule, since we have the information on the expected accuracy or, alternatively, the probability of finding more accurate ensembles. Experimental analyses of the created ensembles of pattern classifiers and object detectors confirm the efficiency of our approach over other pruning ones. Moreover, we propose a novel stochastic search method that better fits the energy, which can be incorporated in other stochastic strategies as well. We also present some applications of ensemble systems in the field of medicine. Finally, we provide a method for deciding the regularity of image patterns.

Leírás
Kulcsszavak
Együttes rendszer létrehozás, Többségi szavazás, Hátizsák probléma, Sztochasztikus keresés, Mintafelismerés, Ensemble creation, Majority voting, Knapsack problems, Stochastic selection, Pattern recognition
Forrás