Schon in XI. Jahrhundert war eine Festung, die das Überschreiten des Flusses Cosson bewachtet. Ende  XVI. erbte die Familie Saint-Nectaire den Grund und zuerst das „kleine Schloß“ darauf baute, und dann das „große Schloß“ anstelle des vorherigen.
Die zwei langen Nebengebäude und das monumentale Tor wurden zwischen 1625 und 1670 errichten. Es soll ein Werk von Théodore Lefèbre aus Orléans sein, dem „ordentlichen Architekt des Herzogs von Orléans“.
Schon 1630 kommt der Ausbau der Umgebung hinzu, und im frühen XVIII., noch die Steinbrüstung der Ost- und Westseite. Das Anwesen wurde 1822 an den Herzog von Rivoli François-Victor Masséna, Sohn des Marschall des Kaiserreichs verkauft, der es wieder 1864 erneut verkaufte und das Grundstück aufteilte.
Derzeit, privat bewohnt ist das Schloß, der Pferdestall und der Park sind die meiste Zeit des Jahres für die Öffentlichkeit zugänglich. Das Haus, von Wassergraben umgeben und aus rotem Backstein und Stein aus Apremont gebaut, hat einen gewissen Charme und ist ein Schmuckstück des Erbes der Sologne.
In denen dem ACSPF (Verein für Kenntnis und Schutz des Erbes La Ferté) zur Verfügung gestellten Dachböden sind Sammlungen von Gegenständen und Werkzeugen der alten lokalen Industrie und Handwerk, sowie ein altes Lebensmittelgeschäft von La Ferté-st-Aubin zu sehen.