Trouville n'est encore qu'un modeste hameau de pêcheurs quand Robert de Nollent fait bâtir au milieu du XVIIe siècle, un château au sommet d'une colline dominant la vallée du ruisseau de Callanville. Transmis par héritage, le domaine échoit, en 1729, à Henri-François d'Aguesseau, fils aîné du Chancelier de France. Sous le second Empire, le Prince Murat acquiert le château qu'il transforme en y accolant deux ailes basses en terrasse et en construisant de superbes écuries.

​

À cette époque, le château possède un parc ordonnancé, ponctué de masses boisées, avec plan d'eau, terrasse et jardin à la française. Le paysage alentours se compose d'herbages clos de haies et de vergers de pommiers. Dans l'axe de la demeure, une allée bordée d'arbres descend au fond du vallon, puis remonte la colline en face. En 1940, le château est occupé par les troupes allemandes qui mettent à mal la propriété. Le château est pillé, le plan d'eau comblé, la terrasse et le jardin détruits. Le château est vendu en 1949 et les propriétaires s'efforcent de lui redonner son lustre d'antan.

​

Le site naturel constitué par le château et ses abords est classé en 1964. Les façades et les toitures du château, la terrasse et son mur de soutènement; les façades et les toitures des écuries font l'objet d’une inscription au titre des monuments historiques depuis le 24 février 1995.