Multi-modális ember-gép kapcsolat digitális képfeldolgozási aspektusa

Abstract

Dolgozatom célja az egyetemen elindított Török 2 Sakkozó program mellett egy olyan projekt megvalósítása, ami hasonló funkcionalitást lát el. A Török 2 egyfajta multi-modális ember-gép kapcsolatot megvalósító program, ami képes lejátszani egy teljes sakkjátszmát élőben, valós sakktáblán. A rendszer két kamerát használ, egyik a táblát figyeli, és megpróbálja megállapítani az aktuális állást, a másik a játszó embert figyeli, és igyekszik felismerni az érzelmeit. A lépéseket egy sakk szerver dolgozza fel, ami alapján előállít a gépi játékosnak egy lépést, amit egy robotkar hajt végre. A játék közben egy talking head jelenik meg a képernyőn, ami képes beszédet, és érzelmeket is imitálni. Az elmondott szövege a képernyőn is megjelenik, és élőszóban is elmondja. Célom volt egy ehhez hasonló táblás játék elkészítése, ami felhasználja a kamerákat, a robotkart, és a talking head-et. A választásom a dámajátékra esett, és ehhez készítettem el a programom. Dolgozatom ennek a programnak a működését mutatja be.