The walled residence was built by Nicholas (III.) Keglevich (*1630 †1692), who was promoted to the Count-ship in 1646 and to the Baron-ship in 1687. In the years 1649 - 1692 he held the head position of the Turna County. Nicholas was significantly involved in anti-Ottoman battles, especially at the Interzimur and Somogy counties. Only the perimeter wall and two corner cylindrical bastions have been preserved from the manor built to this day. In the middle of the 18th century the mansion passed into the hands of Count Joseph (II.) Keglevich (*1729 †1798), who at the beginning of his career served as a valet in the court of Archduke and later Emperor Joseph II. He spent ten years in the diplomatic service as a legate in the courts of Madrid and St. Petersburg alongside the Austrian envoy of Count Nicholas Eszterházy. In the years 1767 - 1798 he held the position of the head of the Turna county, in the years 1772 - 1794 he was one of the guardians of the Hungarian crown and in the years 1794 - 1795 the office of the Hungarian royal stableman. In 1771, Maria Theresa awarded him the Commander‘s Cross of the Order of St. Stephen. Jozef (II.) Keglevich had the family manor house rebuilt in 1770. At that time the old residential wing almost completely redeveloped and built a new one, while the eastern wing was rebuilt. The construction activities resulted in the current one-wing northern wing with flat ceilings. They created the rooms without any decoration, with only white paint and black plinth.

A falazott rezidenciát Keglevich III. Miklós (*1630 †1692) építtette ki, aki 1646-ban bárói, 1687-ben grófi rangot szerzett. 1649–1692 között Torna vármegye főispáni tisztjét is betöltötte. III. Miklós jelentős szerepet vállalt az oszmánellenes harcokban is Somogy vármegyében és a Muraközben. Abból a kastélyból, amit ő építtetett, csak a körfal és két hengeres sarokbástya maradt meg. A 18. század második felében a kastély Keglevich II. József (*1729 †1798) gróf kezébe került, aki karrierje elején kamarásként szolgált egy főherceg és a későbbi császár, II. József udvarán. Tíz évet töltött diplomáciai küldetéseken követként Madridban és Szentpéterváron, gróf Eszterházy Miklós osztrák követ mellett. 1767–1798 között Torna megyei főispán volt, és 1772–1794 között a magyar korona egyik őrzőjének a szerepét is betöltötte. 1794–1795 között magyar királyi lovászmester volt. 1771-ben Mária Terézia a Szent István rend lovagkeresztjével tüntette ki. Keglevich II. József 1770-ben jelentősen átépíttette a családi kastélyt. Akkor a régi lakószárnyat majdnem teljesen szanálták és építtetett egy újat, valamint a keleti szárnyat is átépítették. Az építkezések eredménye a jelenlegi egytraktusú északi szárny lett egyenes mennyezettel. A termek díszítés nélküliek lettek fehér festéssel és fekete lábazattal.