Muy próximo a la iglesia, asomándose hacia el mar abierto, este castillo es uno de los pocos que se han conservado en Cantabria. Forma junto con la iglesia una acrópolis, espacio defensivo cerrado por una muralla que bajaba hasta la villa. Su situación permitía que, en caso de huida, sus habitantes pudieran huir por mar, como sucedió en 1814 con la conquista de los franceses.

El castillo es un edificio singular, de forma pentagonal, aunque primitivamente debió ser cuadrado con fuertes cubos angulares que aún hoy se conservan. Es de mampostería, sin vanos al exterior para hacerse más inexpugnable, y su construcción, aunque hay que suponer que tenga un comienzo similar a la iglesia, posiblemente es consecuencia del fuero de Castro de 1163.