Mintavételezési technikák és zajszűrés vizsgálata kiegyensúlyozatlan adathalmazok osztályozásában

Abstract

A gépi tanulási modellek ipari és tudományos alkalmazása során az egyik legjelentősebb kihívást az osztály-kiegyensúlyozatlanság és az ebből adódó pontossági paradoxon jelenti. A szakdolgozat célja a bináris osztályozási anomáliák feloldására szolgáló adatszintű beavatkozások, a hagyományos és a modern zajszűréssel kombinált túlmintavételezési technikák (pl. SMOTE, CP-SMOTE, IO-SMOTE) átfogó, statisztikailag alátámasztott vizsgálata. A kutatás módszertana huszonöt eltérő egyenlőtlenségi arányú KEEL adathalmazon és egy kontrollált mesterséges téren alapul, melyeket beágyazott rétegzett keresztvalidációval és az adatszivárgást szigorúan gátló Pipeline architektúrával elemeztem. A kísérleti keretrendszer három eltérő logikájú osztályozó (döntési fa, véletlen erdő, logisztikus regresszió) és tíz mintavételezési stratégia teljesítményét hasonlítja össze, köztük a legújabb, térbeli szegmentáción alapuló eljárások saját, optimalizált és vektorizált Python implementációival. Az eredmények nem-parametrikus statisztikai (Wilcoxon-féle előjeles rangpróba) kiértékelése rávilágított, hogy bár a klasszikus SMOTE átlagosan továbbra is megbízható alapeljárás, a klaszteralapú homogenizációt végző CP-SMOTE jelentős információvesztést és teljesítményromlást okoz a döntési határok túlzott kiürítésével. Ezzel szemben a lokális topológiát és konvex burok alapú háromszögelést integráló IO-SMOTE megfelelő alternatívának bizonyult, amely a lineáris határokkal operáló logisztikus regresszió esetében szignifikáns F1-score és Balanced Accuracy javulást eredményezett. A kutatás végső konklúziója, hogy a mintavételezési eljárások hatékonysága nem univerzális: sikerük elválaszthatatlanul összefügg az alkalmazott modell térfelosztási logikájával és az adatterület egyedi topológiai sajátosságaival.