A szakdolgozat a gépi tanulásban gyakran alkalmazott gradiens alapú optimalizálók vizsgálatával foglalkozik. A munka bemutatja az alapvető módszereket, és bejárja ezek matematikai hátterét. Ezt követően összehasonlítja az algoritmusok teljesítményét kétváltozós tesztkörnyezetben, valamint neurális hálók tanítása során is. Az eredmények rámutatnak arra, hogy egyes optimalizálók eltérő viselkedést mutatnak a probléma komplexitásától, valamint hiperparaméterek beállításától függően. Az eredmények alapján az adaptív algoritmusok általánosan stabilabb és gyorsabb konvergenciát biztosítanak. Ugyanakkor esetenként az egyszerűbb módszerek is hatékony általánosítást nyújtanak.