Nagy adathalmazok feldolgozása Hadoop rendszer segítségével
Dátum
Authors
Folyóirat címe
Folyóirat ISSN
Kötet címe (évfolyam száma)
Kiadó
DOI
Absztrakt
A folyamatos fejlődésnek köszönhetően napjainkban egyre gyorsabb ütemben egyre több információ halmozódik fel. Olyan nagyméretű adathalmazok jönnek létre, melyek tárolása és elemzése erőforrás igényük miatt csak több összekapcsolt számítógép együttes működésével lehetséges. Ennek köszönhetően különböző architektúrák és rendszerek jelentek meg, amelyek lehetőséget biztosítanak Big Data elemzésre. Ilyen megoldás jelent a szakdolgozatomban bemutatott MapReduce és az arra épülő Apache Hadoop is, amely elosztott adatfeldolgozást tesz lehetővé. Segítségével több számítógépből álló csomópontot hozhatunk létre, ezzel növelve a tárolókapacitást és a teljesítményt. Munkám során rávilágítottam arra, hogy a Hadoop felhasználásával gyorsan, költséghatékonyan és biztonságosan dolgozhatunk fel nagy adattömegeket. Továbbá a dolgozatban ismertetett adatfeldolgozó algoritmusok alapul szolgálhatnak nagyobb programok és elemzések tervezéshez, megvalósításához.