Eine erste Burganlage wird dem nach 1100 nachweisbaren Edelfreien Manegold III. v. Aggsbach-Werde zugeschrieben. Um 1180 übersiedelt die Familie nach Schönbühel, ab 1181 sitzen die Edelfreien v. Aggswald-Gansbach auf der Burg. 1231 erobern die österreichischen Landesfürsten die Burg, sie wird jedoch den Kuenringern jedesmal wieder zurückgestellt. Von 1242 - 1355 besitzen die Kuenringer die Herrschaften Wolfstein und Aggstein als Lehen der bayerischen Herzöge. 1357 gelangt Aggstein mit Wolfstein an die Maissauer, 1430 durch Kauf an Rudolf v. Tiernstein. Der zwischenzeitliche Verfall geht möglicherweise auf eine Schleifung durch den Landesfürsten zurück. Das "öde Haus" gelangt, mit der Erlaubnis zum Wiederaufbau, an Georg Scheck v. Wald. Eine Bauinschrift aus 1429 datiert den gewaltigen Neubau unter seiner Herrschaft. Seine Unbotmäßigkeiten bringen ihm den Ruf eines Raubritters und den Namen "Schreckenwalder". Auch seine Nachfolger, Georg v. Stein (1463 - 1476) und Ulrich v. Grafenegg (1476/77) zogen während der inneren Unruhen der Zeit die Ungunst des Landesfürsten auf sich. Die Burg wird folglich durch Pfleger oder Pfandherren besetzt. Die Witwe des Andreas Wolf v. Polheim kauft 1606 die Burg und lässt die "Mittelburg" erweitern. Ihr folgt Otto Max v. Abensperg-Traun. Vischer zeichnet die Burg 1672 in gutem Zustand. 1685 veräußert Gfn. Isabella Constantin v. Kronegh an die Grafen Starhemberg, die Aggstein zur Herrschaft Schönbühel ziehen und die Burg aufgeben. 1819 gelangt die Burg an die Grafen Beroldingen, später an die Grafen Seilern-Aspang.

Der hochmittelalterliche Bestand kann mangels engerer Datierung mit keiner der frühen Besitzerfamilien in Verbindung gebracht werden. Unter Georg Scheck v. Wald erfolgt 1429-1436 der große Ausbau zu gestaffelten Abschnittsbefestigung mit mehrfachen Schildmauern sowie dem Ausbau der Wohnbauten unter Einbeziehung hochmittelalterlicher Mauern.