En el pueblo de Pámanes se encuentra uno de los más bellos palacios de la arquitectura montañesa, el de Elsedo. A comienzos de 1710 lo manda construir don Francisco Hermosa Revilla, primer conde de Torre-Hermosa.
Se accede a él por una portalada sencilla con pilastras acanaladas, arco de medio punto y coronamiento con escudo yelmado. La planta del palacio es bastante complicada con varias edificaciones unidas: cuerpo de dos pisos sobre arquerías, torre de cuatro con esquinal cilíndrico a modo de cubo, otra hermosa torre octogonal de tres pies con chaflanes de pilastras acanaladas, y bajo bien marcado por hiladas de piedra roja. Esta policromía se acentúa en los sillares almohadillados de la capilla adjunta, cuya entrada, bajo arco sobre pilastras, lleva puerta adintelada sobre la que se abren hornacinas con imágenes de piedra. El interior N de la capilla, en donde estuvo un magnífico retablo barroco que hoy se encuentra en los Escolapios de Villacarriedo, guarda los sepulcros del fundador y su hija bajo arcosolium, y en otro igual los de Agustín Hermosa y su hijo.
Los arcos torales de la capilla llevan también la consabida policromía de las dovelas. La bóveda es de terceletes y combados a modo de rosetón. Diversos escudos, más o menos floridos, aparecen en la torre, esquinales de la casa, portalada, etc. El palacio, que sufrió enormemente en la primera mitad del presente siglo, fue adquirido y restaurado por los Krass nning, un matrimonio artista austriaco que entregó prácticamente su vida y fortuna a la reconstrucción y que, como ya parece normal, no recibieron de la sociedad a quien beneficiaban el reconocimiento mínimo del afecto que merecían. La viuda de Krassnning hubo de vender el palacio a los Santos Díez, empresarios santanderinos que instalaron en él un museo de pintura moderna.