Le Cosson, qui traverse La Ferté-Saint-Aubin en alimentant les douves du château prend sa source entre Isdes et Vannes–sur-Cosson (Loiret) ; après un parcours est-ouest d’une centaine de kilomètres, passant notamment par Chambord, il se jette dans le Beuvron juste avant le confluent de celui-ci avec la Loire.

Au XV^e siècle il existait un péage important à ce qui s’appelait alors La Ferté-Nabert, au carrefour des trois grandes routes d'Orléans à Châteauroux, d'Orléans à Toulouse et d'Orléans à Bourges. Il est vraisemblable que ce péage se situait près du pont sur le Cosson, gardé par le fort de La Ferté qui fut à l' origine du château.

En 1650, un marché fut passé pour le baillage (la location) du "moulin à eau du bourg de ladite Ferté … ". Ce moulin était le moulin banal alimenté par des écluses (barrages mobiles) situées sous des arches du pont ; celui-ci comportait alors 6 arches.
Un devis de 1704 mentionne la réparation de ces écluses.

Puis vers 1865 fut édifié à côté du pont un lavoir public qui subsista jusque dans les années 1950. Les maçons de la ville « tiraient » du Cosson le sable de construction qu’ils entreposaient face au lavoir, à côté d’un abreuvoir utilisé par les chevaux.