Installé depuis 1923 dans l’ancienne forteresse reconstruite au XVe siècle sur la falaise Ouest pour défendre la ville, le musée est organisé en sections distinctes avec pour thème général la mer et tout ce qui s’y rapporte. Dans la collection de peintures sont présents de nombreux artistes venus travailler sur le littoral normand.