Vermutlich um das Jahr 1000 errichtete Graf Friedrich I. aus dem Hause Luxemburg eine erste Befestigungsanlage auf dem 308 m hohen Basaltkegel. Die Grundmauern des viereckigen Wohnturms sind erhalten geblieben. Friedrich I. und seine Nachfolger begründeten die Dynastie der Grafen von Gleiberg.

Die nach der Zerstörung (1103) erhaltenen 4 Meter dicken Grundmauern, die im östlichen Teil nach 1575 vom Giebel des Albertus-Baus überbaut wurden, wurden 1990 saniert.