Biológiai jelek feldolgozása és felismerése PYNQ kártyán

Abstract

A dolgozat célja az EMG jelek mérése, feldolgozása, majd a PYNQ-Z2 kártyán implementált neurális hálózat segítségével pedig előre meghatározott kézmozdulatok felismerése ezen mérési eredmények alapján. A folyamat látványossá tétele érdekében a projekt végterméke a közismert kő-papír-olló játék, melyben a játékos a gép ellen játszik. A játékos mozdulatai a kártyán implementált neurális hálózat segítségével kerülnek felismerésre. A használt hálózat egy 1 dimenziós konvolúciós neurális hálózat, amely az úgynevezett „Transfer learning” módszerrel lett előzetesen tanítva. Az előtanításhoz a PhsyioNet-ről nyert adatok, a felültanításhoz pedig az általam mért adatokat használtam. A mérésemhez az OpenBCI Ganglion boardja és gél elektródái kerültek felhasználásra. Az így kapott adathalmaz nyers EMG jeleket tartalmaz, melyeket a PYNQ kártyán dolgoztam fel. A kézmozdulatok osztályozása valós időben történik.