Nagy nyelvi modellt használó, ChatGPT-jellegű szakterületi szakértő fejlesztése

Abstract

A mesterséges intelligencia vállalati alkalmazásának egyik legnagyobb akadálya, hogy az érzékeny belső dokumentumok nem továbbíthatók külső felhőszolgáltatókhoz. A szakdolgozat erre a problémára keres gyakorlati megoldást egy lokális infrastruktúrán futó, ChatGPT-jellegű szakterületi szakértő rendszer fejlesztésével. A bemutatott prototípus célja, hogy szolgáltatásleírásokból, árlistákból és belső dokumentumokból természetes nyelvű kérdések alapján adjon releváns, forrásalapú válaszokat. A rendszer RAG architektúrára épül, vagyis a válaszokat nem pusztán a nyelvi modell általános tudása, hanem a helyben feldolgozott dokumentumokból visszakeresett tartalom alapozza meg. A fejlesztés során saját visszakeresési pipeline, vektoros adatbázis, embedding modellek és lokálisan futtatott nagy nyelvi modellek kerültek integrálásra. A dolgozat A/B/C tesztekkel hasonlítja össze a különböző embedding modellek és rendszerkonfigurációk teljesítményét, különös tekintettel a magyar nyelvű, szakterületi dokumentumokra. A tesztelés korszerű modellekkel, többek között Qwen 3.5 27B, Qwen 3.6 27B, BGE-M3 és Harrier modellekkel történt. Az elkészült prototípus azt mutatja be, hogy megfelelő architektúrával lokális AI-alapú tudáskereső rendszer is képes lehet támogatni azokat a szervezeteket, ahol az adatbiztonság miatt a publikus AI-szolgáltatások használata nem járható út.