Design and Optimization of Machine Learning Models

A tétel rövid nézete
dc.contributor.advisorHajdu, András
dc.contributor.authorLakatos, Róbert
dc.contributor.authorvariantLakatos, Róbert
dc.contributor.departmentInformatikai tudományok doktori iskolahu
dc.contributor.submitterdepInformatikai Kar
dc.date.accessioned2025-04-23T09:24:32Z
dc.date.available2025-04-23T09:24:32Z
dc.date.defended2025-03-13
dc.date.issued2025
dc.description.abstractEz a disszertáció gépi és mélytanulásos optimalizálási technikákat vizsgál, a modellek teljesítményének és alkalmazkodóképességének javítására összpontosítva különböző területeken. A kutatás kiemeli az algoritmikus szintű optimalizálás jelentőségét, mint például a gradiens alapú optimalizálók és a hiperparaméter hangolás, valamint a stratégiai módszertanok, beleértve az átviteli tanulást, a finomhangolást és az előtanítást, különösen a nagy nyelvi modelleken (LLM) belül. A III. fejezet egy új együttes keretrendszert mutat be, amely integrálja az LLM-eket a rekurens neurális hálózatokkal az olajárak előrejelzéséhez. Ez a fejezet bemutatja a hibrid architektúrák hatékonyságát a gazdasági előrejelzésben az érzelem-tudatos szövegelemzés és az idősoros modellek kombinálásával. A IV. fejezet egy együttes folyamatláncot mutat be, amely értelmes információk kinyerésére szolgál az ügyfélvéleményekből. A javasolt rendszer felülmúlja az általánosan használt módszereket, a releváns állítások koherensebb és következetesebb kinyerését kínálva klasszikus és gépi tanulási technikák segítségével. Az V. fejezet a multimodális tanulást vizsgálja a dohányzási viselkedés szöveges és képi adatokból történő detektálásán keresztül. A korlátozott adatkészlet ellenére a javasolt architektúra erős teljesítményt ér el, ami illusztrálja a multimodális fúzió lehetőségeit a viselkedéselemzési feladatokban. A VI. fejezet összehasonlítja a visszakereséssel kiterjesztett generálást (RAG) a tudásalapú rendszerek építésében alkalmazott területspecifikus finomhangolással. Az eredmények azt mutatják, hogy a RAG kiváló rugalmasságot és teljesítményt nyújt az általánosításban és a tudásvisszakeresésben. Végül a VII. fejezet az elméleti modellezést optimalizálási algoritmusokkal köti össze a legkisebb négyzetek görbeillesztésének alkalmazásával, hogy finomítsa az olyan epidemiológiai modelleket, mint a SIR, hozzájárulva a neurális hálózatok előtanításának javításához. Ezek a tanulmányok bemutatják, hogy a testreszabott optimalizálási stratégiák hogyan segíthetik elő a gépi tanulási alkalmazások fejlesztését a változatos és összetett problématerületeken.
dc.description.abstractThis dissertation explores machine and deep learning optimization techniques, enhancing model performance and adaptability across various domains. The research highlights the significance of optimization at the algorithmic level, such as gradient-based optimizers and hyperparameter tuning, and strategic methodologies, including transfer learning, fine-tuning, and pre-training, especially within large language models (LLMs). Chapter III presents a novel ensemble framework that integrates LLMs with recurrent neural networks to forecast oil prices. This chapter demonstrates the effectiveness of hybrid architectures for economic forecasting by combining sentiment-aware textual analysis with time series models. Chapter IV introduces an ensemble pipeline to extract meaningful insights from customer reviews. The proposed system outperforms commonly used methods, offering a more coherent and consistent extraction of relevant statements using classical and machine learning techniques. Chapter V investigates multimodal learning through the detection of smoking behavior from both text and image data. Despite the limited dataset, the proposed architecture achieves strong performance, illustrating the potential of multimodal fusion in behavioral analysis tasks. Chapter VI compares Retrieval-Augmented Generation (RAG) with domain-specific fine-tuning in constructing knowledge-based systems. The results indicate that RAG provides superior flexibility and performance in generalization and knowledge retrieval. Finally, Chapter VII connects theoretical modeling with optimization algorithms by applying least squares curve fitting to refine epidemiological models like SIR, contributing to improved neural network pre-training. These studies demonstrate how tailored optimization strategies can advance machine learning applications across diverse and complex problem domains.
dc.format.extent121
dc.identifier.urihttps://hdl.handle.net/2437/389318
dc.language.isoen
dc.subjectArtificial Intelligence Machine Learning Deep Learning Optimization Hyperparameter Tuning Neural Networks Large Language Models Transfer Learning Fine-tuning Pre-training Generative Models Transformer Architecture Ensemble Learning Time Series Forecasting Sentiment Analysis Multimodal Learning Text and Image Fusion Retrieval-Augmented Generation (RAG) Domain-Specific Fine-Tuning SIR Model Curve Fitting
dc.subjectMesterséges intelligencia Gépitanulás Mélytanulás Optimalizálás Hiperparaméter-hangolás Neurális hálózatok Nagyméretű nyelvi modellek Transzfer tanulás Finomhangolás Előtanítás Generatív modellek Transformer architektúra Egyesített tanulás (ensemble learning) Idősoros előrejelzés Érzelemelemzés Multimodális tanulás Szöveg és kép kombinációja Lekérdezés-alapú generálás (RAG) Domén-specifikus finomhangolás SIR modell Görbeillesztés
dc.subject.disciplineInformatikai tudományokhu
dc.subject.sciencefieldMűszaki tudományokhu
dc.titleDesign and Optimization of Machine Learning Models
dc.title.translatedGépi tanulási modellek tervezése és optimalizálása
dc.typePhD, doktori értekezéshu
Fájlok
Eredeti köteg (ORIGINAL bundle)
Megjelenítve 1 - 2 (Összesen 2)
Nincs kép
Név:
Design_and_Optimization_of_Machine_Learning_Models___PhD_Dissertation.pdf
Méret:
2.24 MB
Formátum:
Adobe Portable Document Format
Letöltés
Nincs kép
Név:
Design_and_Optimization_of_Machine_Learning_Models___PhD_Thesis_Booklet___HU_EN.pdf
Méret:
2 MB
Formátum:
Adobe Portable Document Format
Letöltés
Engedélyek köteg
Megjelenítve 1 - 1 (Összesen 1)
Nincs kép
Név:
license.txt
Méret:
1.93 KB
Formátum:
Item-specific license agreed upon to submission
Leírás:
Letöltés
Gyűjtemények
Informatikai Tudományok Doktori Iskola