Dobkotta feldolgozása egyedi gépi látó rendszerrel

Abstract

A dolgozat célja egy automatizált eszköz kifejlesztése, amely képes a dob-kottaelemek felismerésére és azok beágyazott rendszerek által értelmezhető formátumban történő továbbítására. A megoldás célja a zeneoktatásban a ritmusok olvasását támogatni, különböző korosztályok számára. A program írását megelőző irodalomkutatás során két fő területet érintettem. A kottaírás területén végzett kutatás alapján meghatároztam a következő alapelveket: ötvonalas rendszer használ; a sorok elején található egy kulcs; többségében egységes hangjegyeket használ, dob esetében kiegészül; ritmusokat gerendák, zászlók segítségével határozza meg. A képfeldolgozás területén történő kutatás során két féle megoldási utat határoztam meg, a klasszikus képfeldolgozást, és a mélytanulásos gépi tanulás. A dolgozatomhoz az előbbit választottam, azon belül is a mintaillesztés módszerét, hiszen adatbázis nélkül is működőképes, kisebb véletlenszerűség, determinisztikusabb. Az OpenCV könyvtárat és mellé a Python nyelvet választottam, mert az iparban is gyakran használatos, gyakorlatilag, de facto szabványnak tekinthető. Emellett jól dokumentált, könnyen értelmezhető. A program írása során 6 fő ponton keresztül jutok el a képek beolvasásától a kottában lévő hangjegyek magasságának és ritmikai értékének szemléltetéséhez. Eközben a felmerülő hibákat, nehézségeket sorban kiküszöbölöm. A képből kinyert adatokat a kottához hűen LED-ek segítségével megjelenítem. Egy USB kábel, vagy pendrive segítségével sorosan kapcsolódva egy Arduino mikrokontrollerhez a program villogtatja a világító diódákat, amelyekhez számolás során megválasztottam a megfelelő előtét ellenállásokat.