Röplabda ágensek betanítása megerősítéses tanulással Unity környezetben

Abstract

A szakdolgozatom célja egy 2v2 felállású, mesterséges intelligencia által vezérelt röplabdaszimuláció létrehozása és betanítása volt a Unity játékmotor és az ML-Agents keretrendszer integrációjával. A kutatás során a megerősítéses tanulás (Reinforcement Learning) eszköztárát, ezen belül a Proximal Policy Optimization (PPO) algoritmust és az öngyakorló (Self-Play) mechanizmust alkalmaztam. Mivel a sportág komplex szabályrendszere és dinamikája miatt az ágensek képtelenek lettek volna a nulláról azonnal értékelhető stratégiát találni, a betanítást egy ötszintű, fokozatos tantervre (Curriculum Learning) bontottam. A modellek az egyszerű, egy az egy elleni labdaátütéstől indulva jutottak el az érintéskorlátozások és a pályahatárok felismerésén át a tényleges csapatjátékig. A fejlesztés során kiemelt figyelmet fordítottam a többügynökös (MARL) rendszerek tipikus anomáliáinak szoftveres kezelésére, mint például a "Reward Hacking" kiskapuinak bezárására, vagy a potyautas-effektust okozó "Lusta Ágens" problémára. Ez utóbbit egy egyedi, aktivitás-alapú jutalmazási rendszerrel sikerült orvosolnom, amely hatékonyan kényszerítette ki a csapattagok közötti valódi kooperációt. A szimuláció eredményei és a TensorBoard analitikák egyaránt igazolják, hogy a megfelelő környezettervezéssel és jutalomformálással az ágensek képesek előre programozott utasítások nélkül, tisztán a tapasztalataikra támaszkodva komplex és adaptív sportstratégiákat elsajátítani.