Multimodális árbecslő modell fejlesztése képi és szöveges termékadatok alapján

Abstract

A szakdolgozat célja egy olyan multimodális gépi tanulási megoldás kialakítása, amely képi és szöveges termékinformációk alapján képes az árak előrejelzésére. A vizsgálat egy Kaggle-adathalmazon alapul, amely termékképeket és leírásokat tartalmaz. A fejlesztés során külön képi (ResNet18, EfficientNet) és szöveges (DistilBERT) modellek kerültek betanításra, majd ezek egyesítésével egy összetett multimodális architektúra jött létre. A teljesítményt regressziós mutatók (MAE, RMSE) segítségével értékeltem, külön elemezve az egyes modalitások szerepét. A kísérletek rávilágítottak arra, hogy a hiperparaméterek – például a tanulási ráta és a batch méret – jelentősen befolyásolják a stabilitást és a predikció pontosságát. Az eredmények alapján a megközelítés jól alkalmazható gyakorlati problémákban, és megfelelő alapot nyújt további bővítésekhez, például új adatforrások bevonásához.