Az emberi mozgás értelmezése

A tétel rövid nézete
dc.contributor.advisorSzathmáry, László
dc.contributor.authorBalogh, Gábor József
dc.contributor.departmentDE--Informatikai Kar
dc.date.accessioned2023-04-25T07:59:20Z
dc.date.available2023-04-25T07:59:20Z
dc.date.created2023-04-24
dc.description.abstractA projekt célja egy olyan rendszer létrehozása, amely képes kézjel felismerésre webkamera segítségével. Ehhez 30 képkockás videókat használunk, amelyekből kinyerjük a kulcspontokat, majd ezeket a pontokat fájlokban tároljuk. Az idősoros adatok feldolgozására és a kézjelek detektálására egy TimeDistributed LSTM modellt alkalmaztunk. A felhasznált technológiák közé tartozik a TensorFlow, a Keras, az OpenCV és a NumPy. A TensorFlow és a Keras keretrendszereket használjuk a neurális hálózatok építésére és tanítására, míg az OpenCV-t és a NumPy-t az adatok előkészítésére és tárolására. A projekt során először a videókat betöltjük, majd a kulcspontokat kinyerjük a kiválasztott képkockákból az OpenCV segítségével. Ezután a kapott adatokat .npy fájlokban tároljuk a NumPy segítségével. A modell építése során elsősorban TimeDistributed LSTM rétegeket alkalmazunk az idősoros adatok feldolgozására. A neurális háló architektúráját és a hiperparamétereket beállítjuk a legjobb teljesítmény érdekében. A tanítás során felosztjuk az adatokat tanító és tesztadatokra, majd elindítjuk a tanítási folyamatot. A modell tanítása után kiértékeljük az eredményeket és összehasonlítjuk a különböző hiperparaméterekkel és architektúrákkal kapott teljesítményt. A projekt eredményeként egy hatékony kézjel felismerő rendszert fejlesztettünk ki, amely képes idősoros adatokon alapuló akciók detektálására. A TimeDistributed modell alkalmazásával sikerült az időbeli összefüggések megőrzése és a neurális háló teljesítményének javítása. Az eredmények összehasonlítása alapján kiválasztottuk a legjobban teljesítő modell architektúrát és hiperparamétereket, és ezáltal sikeresen megvalósítottuk a projekt célját. A jövőbeli tervek között szerepel a rendszer továbbfejlesztése, hogy képes legyen a jelbeszéd teljes körű felismerésére és értelmezésére. Ennek érdekében szélesebb körű adatgyűjtésre és a modell továbbfejlesztésére lesz szükség.
dc.description.correctorN.I.
dc.description.courseProgramtervező informatikus
dc.description.degreeBSc/BA
dc.format.extent29
dc.identifier.urihttps://hdl.handle.net/2437/350731
dc.language.isohu
dc.rights.accessHozzáférhető a 2022 decemberi felsőoktatási törvénymódosítás értelmében.
dc.subjectAI
dc.subjectneurális háló
dc.subjectjelnyelv
dc.subject.dspaceDEENK Témalista::Informatika
dc.titleAz emberi mozgás értelmezése
Fájlok
Gyűjtemények
Hallgatói dolgozatok (Informatikai Kar)