PostToP ökoszisztéma, AI-alapú YouTube zeneanalízis rendszer

Abstract

A dolgozat a YouTube platformon fogyasztott tartalmak automatikus felismerésére és strukturált feldolgozására tervezett ökoszisztéma megvalósítását mutatja be. A rendszer célja, hogy a platform strukturálatlan és zajos metaadataiból megbízható zenei információt állítson elő valós idejű környezetben. Az architektúra egy böngészőbővítményből, egy TypeScript alapú szerveroldali backendből és három gépi tanulási modellből épül fel, amelyek egy aszinkron feldolgozási pipeline-t alkotnak. A pipeline lépései magukban foglalják a zenei tartalom felismerését, az előadó és a dal címének, illetve egyéb metaadatoknak a kinyerését, valamint az audióalapú műfajbecslést. A rendszer WebSocket alapú kommunikáción keresztül több kliens számára is elérhetővé teszi a feldolgozás részeredményeit, lehetővé téve a valós idejű zenehallgatási állapot megosztását külső alkalmazásokkal is.