La disparition du port dans les années 1850 plonge la cité dans une lente et longue période de désertification économique.
Il faudra attendre 1914 pour voir une nouvelle mairie être érigée.


Cependant le financement de la mairie met à mal le budget public, ce qui lui vaudra le nom de « Mairie en or ».
Fort heureusement, dès le milieu du siècle, la tendance s’inverse. Touques se relève peu à peu et son Hôtel de Ville prend alors valeur de symbole : celui de la volonté de retrouver une importance, un temps oublié.