Intelligens álláshirdetés-gyűtő és elemző szoftver fejlesztése skálázható adatgyűjtési módszereken alapulva

Abstract

A dolgozat egy intelligens, skálázható adatgyűjtő és feldolgozó szoftvert mutat be. A rendszer célja a heterogén informatikai munkaerőpiac adatainak egységes, összehasonlítható formába rendezése. Az adatok három forrásból érkeznek, majd ezt követően egy ETL-alapú transzformációs réteg normalizálja a rekordokat, miközben tartalomalapú deduplikáció segítségével csökkenti a redundanciát. A strukturálatlan leírásokból egy lokálisan futtatott nagy nyelvi modell és természetes nyelvfeldolgozó eszközök segítenek különböző metaadatok (mint például az elvárt készségek és technológiák) kinyerésében. Az adatok perzisztens tárolásáért egy relációs adatbázis (PostgreSQL) felel. Ez két réteggel rendelkezik: az egyik a nyers adatokat tárolja a feldolgozási folyamat reprodukálhatósága érdekében, a másik pedig a már feldolgozott réteg, amely a kimutatásokat tartalmazó felületet szolgálja ki. A feldolgozási lánc automatizálását és ütemezését az Apache Airflow munkafolyamat-kezelő végzi. A feldolgozott adatok egy Streamlit és Plotly alapú interaktív webes felületen kerülnek reprezentálásra különféle vizualizációk formájában. Ezek segítségével a vizsgált adathalmazon bemutatásra kerülnek például a technológiai trendek, a készségek közötti kapcsolatok, valamint a munkaerőpiaci dinamikák.