Vision Transformer (ViT) alapú döntéstámogató rendszer klinikai képfeldolgozásra

Abstract

A diabéteszes retinopátia (DR) a cukorbetegség egyik leggyakoribb és legsúlyosabb szövődménye, amely kezeletlen esetben látásromláshoz vagy vaksághoz vezethet, ezért korai és megbízható felismerése kiemelt klinikai jelentőséggel bír. A Vision Transformer (ViT) architektúrák az utóbbi években ígéretes alternatívaként jelentek meg a DR automatikus detektálásában, mivel hatékonyan képesek tanulni komplex vizuális mintázatokat, és több esetben felülmúlták a konvolúciós neurális hálózatokon alapuló megközelítéseket. A jelen szakdolgozat célja több, különböző méretű ViT modell tanítása, finomhangolása és kiértékelése két diabétesz retinpátiás képeket tartalmazó orvosi adathalmazon. A kísérletek feltárták, hogy a ViT alapmodellek finomhangolása lehetővé teszi a retinopátiás képek azonosítását és a különböző súlyossági szintek megkülönböztetését. Azonban az adathalmaz mérete és jelentős kiegyensúlyozatlansága korlátozza a ViT modellek generalizációs képességét és alkalmazhatóságát. Az elért eredmények arra utalnak, hogy a ViT modellek képesek klinikailag releváns pontossággal osztályozni a betegséget, így ígéretes alapot nyújthatnak jövőbeli klinikai döntéstámogató rendszerek fejlesztéséhez.