Aalholm Ladegård har gennem tiden været ramt af flere ødelæggende brande. Den første kendte brand fandt sted 1. juli 1750, hvor ladegården dengang var placeret umiddelbart ved slottet, nedbrændte totalt, og grev Christian Raben måtte midlertidigt flytte til Nysted. Et nyt anlæg blev opført, men igen den 1. august 1850 slog lynet ned og satte gården i brand, så bygningerne atter gik tabt. I 1886 blev ladegården flyttet væk fra slotsøen til sin nuværende placering nord for Nysted, nær landevejen, for at mindske brandfaren og give plads til moderne drift. Den trelængede avlsgård stod færdig omkring 1890, men blev på ny ramt af brand den 2. december 1906. Allerede året efter, i 1907, blev gården genopført i den form, som stadig kendetegner Aalholm Ladegård i dag – med forpagterbolig i H-form og de tre avlslænger omkring gårdspladsen.
