Megerősítéses tanulás alkalmazása autonóm raktárrobotok irányítására

Abstract

A globális e-kereskedelem növekedése és a logisztikai kihívások a raktárautomatizációt a rugalmasan alkalmazkodó autonóm mobil robotok (AMR) fejlesztése felé terelték. A szakdolgozat célja egy ilyen intelligens AMR ágens létrehozása volt a Unity ML-Agents szimulációs környezetben, amely a Proximal Policy Optimization (PPO) algoritmus segítségével, a hagyományos szabályalapú vezérlés alkalmazása nélkül képes elsajátítani a raktári feladatokat. A betanítási folyamat során a fokozatosság elvét alkalmaztam, az ágens képességeit három egymásra épülő, egyre komplexebb sztochasztikus térben fejlesztve. A mérések igazolták, hogy a rendszer a legösszetettebb, többcélpontos környezetekben is képes volt felismerni a legrövidebb útvonalakat és önállóan végrehajtani a szállítási feladatokat. A komplexebb pályákon fellépő katasztrofális teljesítményzuhanásokat (catastrophic drop) a hiperparaméterek szisztematikus finomhangolásával sikerült stabilizálni. A kutatás rávilágított a jutalomfüggvények tervezésének kritikus szerepére is, igazolva, hogy a potenciál-alapú jutalomformálás alkalmazása elengedhetetlen a nemkívánatos jutalom-farmolás (reward hacking) elkerüléséhez. A dolgozat konklúziója szerint a megerősítéses tanulás hatékony alternatívája a determinisztikus vezérlésnek, amelynek logikus jövőbeli továbbfejlesztése egy kooperatív, többágenses (Multi-Agent) raktári flotta modellezése lehet.