Om borgen har fungeret som kystsikring mod
venderne vides ikke med sikkerhed. Men da Lolland i 1328 af Christoffer 2. blev
pantsat til den holstenske greve, Johan den Milde, har der nok allerede ligget
en borg, fordi visse bygningsdele, bl.a. nordøsttårnet og vestmuren dateres
til 1300 - tallet. Da Valdemar Atterdag 1347 tilbageerobrede Lolland blev
Aalholms hovedbygning opført. Hvor mange af de følgende konger, der har
opholdt sig på slottet, vides ikke. Men Christoffer af Bayern udstedte 1444 et
brev på Aalholm, som blev et af Kronens hovedslotte, der indgik i
enkedronningernes livgiding, indtil Charlotte Amalies død i 1714, da
hendes Frederik 4. ville lægge herregården ud som ryttergods. Men det
mislykkedes og Aalholm blev 1726 stillet til auktion og købt af enkefrue
Emmerentia von Levetzau, der sammen med sine andre gårde oprettede grevskabet
Christiansholm med Aalholm som hovedsæde. Grevskabet blev 1746 overtaget af
hendes
sønnesøn, Christian Raben, der allerede i 1734 var optaget i grevestanden. I
1879 arvede Josias Raben Aalholm og blev 1881 optaget i grevestanden med navnet
Raben-Levetzau. Grevetitlen tilfaldt den ældste søn, der overtog gården i
1889 og efterfulgtes 1933 af sin næstældste søn, nu afdøde, Johan Otto baron
Raben-Levetzau.