Neurális hálók korai optimalizálásának lehetőségei gráfelméleti szempontok alapján

Abstract

A gépi tanulás egyik legintenzívebben kutatott modellcsaládját a neurális hálók alkotják. Elterjedésük ugyanakkor új kutatási problémákat vet fel, amelyek vizsgálatába globális vállalatok és vezető egyetemek kutatócsoportjai is jelentős erőforrásokat fektetnek. Az egyik kiemelt terület a neurális hálók optimalizálása és méretcsökkentése, amelynek célja a tanítási és inferenciafolyamatok gyorsítása, valamint az erőforrás-igény csökkentése. Munkámban a neurális háló egymást követő rétegeinek neuronjai által alkotott struktúrát gráfként modellezem, ahol a neuronok csomópontokként, a köztük lévő súlyok pedig súlyozott élekként jelennek meg. Callback függvény segítségével követem a súlyok változását a tanítás során, amely lehetővé teszi a hálózat temporális reprezentációjának felépítését akár az összes tanítási ciklusra. Az így kapott hálózatban az összekapcsolt csomópontok különböző erősségi és fontossági metrikái alapján az élekhez további származtatott mérőszámokat vezetek be. A kiszámított mérőszámok időbeli alakulását heatmap ábrák segítségével vizualizálom, amely lehetővé teszi a súlyok relatív fontosságának vizsgálatát és a kiemelten jelentős, illetve nem meghatározó kapcsolatok azonosítását. Kutatásom célja annak meghatározása, hogy a tanítás korai szakaszában azonosíthatók-e a legkevésbé fontos, potenciálisan nyeshető élek, ezáltal csökkentve azon tanulási ciklusok számát, amelyek során a teljes hálózat súlyainak frissítése szükséges. A kutatás során az adatgyűjtést (Pandas), a neurális hálók tanítását (Keras, TensorFlow), a hálózatok kinyerését és elemzését (NetworkX, NumPy), valamint az adatvizualizációt (Matplotlib) Python környezetben valósítom meg.