Nagy nyelvi modellt használó, ChatGPT-jellegű szakterületi szakértő fejlesztése

Abstract

A szakdolgozatom témája egy nagy nyelvi modellekre (LLM) épülő szakértői chatbot fejlesztése a Debreceni Egyetem Informatikai Karának hallgatói számára. A gyakorlatban egy RAG (Retrieval-Augmented Generation) architektúrát valósítottam meg, amely kiküszöböli a modellek hallucinációját és az elavult információk használatát azáltal, hogy kizárólag a hivatalos egyetemi dokumentumok alapján ad pontos, forrásmegjelöléssel ellátott válaszokat. Az adatbázis felépítését egy automatizált webes adatgyűjtő (crawler) és egy gépi látásra épülő (OCR) szövegkonverter végzi. A tartalom visszanyeréséért egy hibrid keresőmotor felel, amely a jelentésalapú (szemantikus) és a lexikális (kulcsszavas) keresést ötvözi, így a specifikus tárgykódok is könnyen megtalálhatók. Az architektúráját tekintve a rendszer logikáját egy gráfalapú állapotgép vezérli, amely intelligensen, dinamikusan dönt a helyi adatbázis vagy a valós idejű webes keresés használata között. A válaszgenerálást végző nyelvi modell működését szigorú prompt-szabályok tartják kordában. A programom egyik érdekessége továbbá a memóriakezelés, amellyel a rendszer képes a többkörös, komplex beszélgetések összefüggéseit is fenntartani.