Támadó és védekező taktikai stratégiák modellezése paintball szimulációban megerősítéses tanulással

Abstract

A szakdolgozat elsődleges célja a taktikai döntéshozatal és az autonóm viselkedés modellezése egy Unity 3D környezetben kidolgozott paintball-szimuláció keretein belül. A fejlesztés során a Unity ML-Agents eszközkészletét alkalmaztam, hogy megerősítéses tanulás segítségével komplex támadó és védekező stratégiákat hozzak létre. A tanítási folyamat elméleti alapját a Proximal Policy Optimalization (PPO) algoritmus szolgáltatta, amely biztosította a tanulási görbe stabilitását a többszereplős környezetben. A kutatás fókuszában a precíziós célzás elsajátítása, a dinamikus fedezékhasználat, valamint a környezeti adottságokhoz való taktiaki adaptáció állt. A munka jelentős részét képezte a hiperparaméterek finomhangolása és egy összetett jutalmazási rendszer kialakítása. Az ágensek fejlődését Curriculum Learning és Self-play mechanizmusokkal segítettem elő. A kísérleti eredmények megvizsgálásához TensorBoardot használtam. A végeredmény azt bizonyította, hogy a feladatot az ágensek nem teljesen megfelelően tudták teljesíteni; vagy a védekező, vagy a támadó stratégiákat helyezték előnybe, dinamikus taktikai döntéshozatal nem került optimális reprezentálásra.