Tanulási és evolúciós algoritmusok összehasonlítása páratlan végtagszámú ágensek mozgástanulásában

Abstract

A dolgozatban részletesen tárgyaljuk a Proximális politikaoptimalizálás (PPO) és az evolúciós algoritmusok közötti hasonlóságokat és eltéréseket, mindezt Unityben megvalósított járásszimuláció keretein belül. A vizsgálat középpontjában nem hagyományos, páratlan végtagszámú ágensek állnak, amelyek különösen alkalmasak a tanulóalgoritmusok robusztusságának és adaptivitásának elemzésére. A két megközelítést azonos környezetben hasonlítjuk össze, figyelembe véve a tanulási sebességet, a kialakuló mozgás stabilitását, valamint a számítási költségeket. A kísérletek során megfigyelhető, hogy a különböző módszerek eltérő stratégiákat alakítanak ki, amelyek nem mindig felelnek meg az intuitív „járás” fogalmának. Ez rávilágít arra, hogy a jutalmazási és fitness függvények megválasztása kulcsfontosságú a kívánt viselkedés kialakulásában.Az eredmények alapján a PPO gyorsabb konvergenciát és stabilabb mozgást mutat, míg az evolúciós algoritmusok nagyobb szabadságot biztosítanak alternatív megoldások felfedezésére. A dolgozat végső tanulsága, hogy a „járás” nem csupán megtanulható viselkedés, hanem egy optimalizációs probléma váratlan, sokszor nem intuitív megoldásokkal.