Het kasteel kent een bewogen geschiedenis die teruggaat tot de 11de eeuw. In de 16de eeuw kwam het kasteel in het bezit van Lamoraal van Egmont. Op het einde van de 18de eeuw raakte het pand in verval en in de 19de eeuw werd het ingrijpend verbouwd. Het wordt sinds 1982 als openbare bibliotheek
gebruikt. Na de restauratie van het kasteel aan het einde van de 20ste eeuw worden in de ridderzaal burgerlijke huwelijken voltrokken en gemeenteraadszittingen gehouden.
