Herzog Friedrich I. von Schwaben ist als Erbauer der ersten nachweisbaren Stauferburg, die zugleich die Stammburg des Geschlechts wurde, überliefert. Wahrscheinlich hatte Friedrich noch als Graf wenige Jahre vor seiner Herzogserhebung im Jahr 1079 eine ältere und einfachere Befestigung ausgebaut. Seinen ursprünglichen Herrensitz, der sich in Lorch befand, gab Friedrich auf und bestimmte ihn im Jahr 1102 zum Platz einer klösterlichen Niederlassung. Im 12. Jahrhundert wurde die Burg umgebaut und erweitert. Mit dem Einzug einer Trennmauer wurde die Anlage in eine Vor- und in eine Hauptburg aufgeteilt. Dadurch entstand bei der kleineren, westlich gelegenen Hauptburg ein besonders gesicherter Innenbereich, der die Wehrhaftigkeit deutlich verbesserte.
In einer zweiten Bauphase im 12. Jahrhundert wurde der Palas – das Wohngebäude der Herren – nach Osten erweitert, die Zisterne – der Wasserspeicher – brachte man im Keller unter. Die Ringmauer erhielt einen Zinnenkranz und wurde an der Westflanke durch einen Turm verstärkt. Dem Bergfried wurde ein Fachwerkgeschoss aufgesetzt, was ihn sehr markant machte. Außerdem wurde das Burgtor nach Osten verlegt und durch einen innerhalb der Ringmauer liegenden Torturm gesichert.