Del antiguo palacio solo queda la portada, del siglo XVI, y una de las mejor conservadas de la provincia. Se cree que puede tratarse de una obra de Esteban Jamete, que también intervino en la construcción de la Iglesia de Santa María.
Esta portada está formada por un arco de medio punto flanqueado por dos columnas, sobre el cual pueden
encontrarse dos escudos pertenecientes a la familia Castañeda equilibrados por una figura humana que se nos presenta en el punto entre ambos. Sobre estos escudos, la ventana rectangular enmarcada en piedra, rematada por un hombre con barba de perfil.