Megerősítéses tanulás alkalmazása kidobós ágensek tanítására Unity környezetben

Abstract

A szakdolgozat célja egy 2v2 felállású, mesterséges intelligencia által vezérelt kidobós szimuláció létrehozása és betanítása volt a Unity játékmotor és az ML-Agents keretrendszer felhasználásával. A kutatás fókuszában a többágenses megerősítéses tanulás (MARL) gyakorlati alkalmazhatósága és a komplex, előre nem programozott viselkedésformák kialakítása állt. A stabil modell betanításához a Proximal Policy Optimization (PPO) algoritmust alkalmaztam, amelyet cselekvésmaszkolással, valamint fokozatos nehezítésen alapuló Curriculum Learning stratégiával egészítettem ki. A folyamat során az ágensek a kezdeti statikus célpontok után a Self-Play fázisban már saját, folyamatosan fejlődő verzióik ellen küzdöttek, több tízmillió lépésen keresztül. Az eredmények azt mutatták, hogy a fizikailag megfelelően felépített környezet és a precízen megtervezett jutalomfüggvények hatására az ágensek képesek voltak komplex taktikai döntések, például a fedezékek használata és a célzott támadások elsajátítására. A TensorBoard statisztikák kiértékelése során megfigyelhető volt az entrópia csökkenése, valamint a MARL környezetekre jellemző dinamikus egyensúlyi állapot kialakulása. A kutatás rávilágított arra, hogy a gépi tanulási projektek sikeressége elválaszthatatlan a szimuláció stabilitásától és az aszimmetrikus jutalomtervezés (Reward Shaping) hatásaitól. A létrehozott rendszer szilárd és skálázható alapot biztosít a további kutatásokhoz, beleértve az LSTM alapú memóriamodulok vagy a belső motivációs algoritmusok (ICM) jövőbeli integrációját.