Entrópia alapú bizonytalanságbecslés hatása öncímkézésen alapuló félig felügyelt képosztályozásban

Abstract

A mély neurális hálók használata képosztályozási feladatokhoz nagy mennyiségű, megbízhatóan címkézett adatot igényel. A félig felügyelt tanulási módszerek célja ennek a problémának a mérséklése azáltal, hogy kis mennyiségű címkézett adat mellett címkézetlen adatot is bevonnak a tanítási folyamatba pszeudocímkézés (pseudo-labelling) segítségével. A pszeudocímkézés megbízhatóságát azonban jelentősen befolyásolja a modell predikcióinak kalibráltsága. A modern mély neurális hálók gyakran rosszul kalibrált valószínűségi becsléseket adnak, vagyis a modell által jelzett konfidenciaszintek nem állnak megfelelő összhangban a predikciók tényleges helyességével. Ez különösen problémás iteratív pszeudocímkézés esetén, mivel a hibásan kiválasztott pszeudocímkék több egymást követő tanítási körön keresztül halmozódhatnak fel, ami rontja a későbbi modellek eredményességét. A dolgozatban címkézetlen minták kiválasztása a Shannon-entrópia alapján történik, amely a predikciós eloszlás bizonytalanságát méri. Az entrópia alapú szűrés előnye, hogy nem csupán a legvalószínűbb osztály konfidenciáját veszi figyelembe, hanem a teljes eloszlást, így azt is tükrözi, hogy a modell mennyire bizonytalan a többi lehetséges osztály tekintetében. Ennek köszönhetően hatékonyabban szűrhetők ki a bizonytalan predikciók, és csökkenthető a hibás pszeudocímkékből származó torzítás. A kutatás középpontjában az iteratív pszeudocímkézés hatékonyságának vizsgálata áll, különös tekintettel arra, hogy a teljesítményjavulás miként alakul eltérő címkézett mintaarányok mellett. További cél annak elemzése, hogy a kalibrált valószínűségekre és entrópiaalapú bizonytalansági szűrésre épülő kiválasztás megbízhatóbb pszeudocímkéket eredményez-e, mint a kizárólag maximális valószínűségi küszöbön alapuló szelekció. A vizsgálatok a CIFAR-10, a CIFAR-100 és az SVHN képosztályozási adathalmazokon történnek.