Burg Hohenneuffen steht auf einem einzigartigen Felsturm der schwäbischen Alb und ragt beeindruckend in die Landschaft – für eine Ritterburg ein hervorragender Standort. Erbaut wurde sie zwischen 1100 und 1120 von Mangold von Sulmetingen, der sich später von Neuffen nannte. Mangold war ein Sohn Bertolds I., der 1090 Burg Sperberseck gründete. 1122 nennt sich Egino, der Sohn von Mangold, „von Neuffen“. Wie die erste Burg aussah, ist unbekannt. Vermutlich bestand sie lediglich aus Fachwerkbauten und einer Umfassungsmauer, die dem Verlauf der Felsen folgte. Dies genügte zur Verteidigung der Burg, da eine Erstürmung des Felsens unmöglich war.

Die Grundmauern des späteren „Arrestantenturms“ bestehen aus mittelalterlichen Quadersteinen. Die Innenmaße dieses Turms betragen lediglich 7,50 x 2,40 Meter. Auf den ersten Blick erscheint dies rätselhaft, ist aber auf Zerstörungen zurückzuführen, die 1549 ein Blitzeinschlag in den benachbarten Pulverturm verursachte. Die talseitige Hälfte des Turms stürzte den Felsen hinunter, wobei ein Teil der Fläche, auf der die Außenmauer des Turms gestanden hatte, mitgerissen wurde.

Vor dem Blitzeinschlag dürfte der Innenraum etwa 2 Meter breiter gewesen sein und hatte damit eine größere Grundfläche. Dies könnte darauf hindeuten, dass hier einmal ein Wohnturm stand. Auf dem Festungsplan von Günter Schmitt ist erkennbar, dass man nach diesem Unglücksfall eine schmale Umfassungsmauer um die stehengebliebenen Überreste des Wohnturms herumführte und an dieser Stelle einen kleinen Arrestantenturm errichtete. Der mittelalterliche Turm war für die Festung unwichtig geworden, eine Wiedererrichtung aus damaliger Sicht sinnlos. Die Erinnerung an den alten Wohnturm ging verloren. Dieser hatte um 1100 aber eine wichtige Funktion: Der Turm stand an der höchsten Stelle des Hohenneuffens und diente der Familie des Erbauers wahrscheinlich als Wohnsitz. Die übrigen Gebäude der Burg bestanden vermutlich aus einfachen Fachwerkbauten, die vom Tal aus nicht zu sehen waren, der Wohnturm aber sehr wohl. Das war sicher auch beabsichtigt, handelte es sich doch um den sichtbar gewordenen herrschaftlichen Machtanspruch des Mangold von Sulmettingen-Neuffen. Die später erbaute Schildmauer wird Berthold von Neuffen (1168-1222) zugeschrieben, der sich ab 1198 „von Neuffen“ nannte. Dieser Befestigungstyp war ab 1200 üblich. In dieser Zeit dürfte auch der Pallas entstanden sein, an derselben Stelle, an der sich heute das Burgrestaurant befindet.

1212 holten Bertold III. von Neuffen und Anselm von Justingen im Auftrag der Fürstenversammlung den jungen König Friedrich II. von Hohenstaufen aus Sizilien nach Deutschland.
1228 begleitete Heinrich von Neuffen Friedrich II. auf dem Kreuzzug.
Um 1230 wurde die Stadt Neuffen durch die Burgherren auf Hohenneuffen gegründet.
Der berühmteste Spross des Neuffener Geschlechts ist der Minnesänger Gottfried von Neuffen, Sohn Heinrichs I., bezeugt von 1234 bis 1255. Urkundlich erscheint er fast immer gemeinsam mit seinem Vater oder Bruder Heinrich.
Um 1290 starb die Adelsfamilie von Neuffen im Mannesstamme aus. Luitgard, Tochter Heinrichs II. von Neuffen, heiratete Konrad von Weinsberg, der Besitz ging an das Geschlecht Weinsberg über.
1301 verkaufte Konrad von Weinsberg Burg, Stadt und Herrschaft Neuffen an Graf Eberhard I. von Württemberg.

Ausbau zur Landesfestung

Im 15. Jahrhundert begann der Ausbau zur Landesfestung. Die entscheidenden Baumaßnahmen zur befestigten Anlage wurden aber erst um die Mitte des 16. Jahrhunderts durch Herzog Ulrich unternommen. Es entstanden die Vorwerke, Rundtürme, Bastionen, eine Kommandantur, Kasematten, Stallungen, das Zeughaus und zwei Zisternen. Ab 1795 wurde sie nicht mehr genutzt und 1801 endgültig zum Abbruch freigegeben. Erst ab 1830 begann man die Reste zu sichern und in den 1860er Jahren die Ruine wieder zugänglich zu machen. 1862 wurde im Gebäude am oberen Burghof eine Gaststätte eingerichtet.

Die Regierungen und führende Landtagsabgeordnete der Länder Baden, Württemberg und Hohenzollern trafen sich zu einem Dreiländertreffen, um über einen Zusammenschluss zu beraten.