In juni 1783, besliste keizer Jozef II om de burcht van de Keizersberg te laten afbreken en de bouwmaterialen te verkopen. In 1786 kocht Jacques Verheyden alles op, en in 1790 verkocht hij de toegangspoort en het zomerhuis aan Leopold Manderlier en vijf jaar later verkocht hij een ander deel van zijn terrein aan Albert Impens, die ter hoogte van de binnenkoer van de voormalige burcht een stenen graanmolen en Engelse tuin liet aanleggen. Op deze foto is nog de onderbouw van de molen zichtbaar.
Bij de bouw van de molen liet hij de fundamenten van de burcht gedeeltelijk blootleggen en groef kapitelen en zuilentrommels op om ze in de funderingen te verwerken. Deze zijn nu nog steeds op de site aanwezig. De molen werd door brand verwoest op 30 januari 1809.