Construit sur la rue Fernán González, sur le chemin de Saint-Jacques et dans le quartier le plus luxueux de la ville de la Renaissance, où des marchands enrichis et ennoblis ont installé leurs résidences.
Devant la porte de la cathédrale de la Coronería, la maison de la famille Colonia a été construite dans la seconde moitié du XVe siècle. Le marchand Nicolás de Gauna, chargea au tailleur de pierre Juan de Vallejo et au maître menuisier Juan de Aras de construire en 1550 un palais sur ce site.
En 1565, il fut acquis par le marchand et conseiller Andrés de Maluenda et le bâtiment devint la maison seigneuriale de la famille Maluenda. Au XVIIe siècle, il appartenait à la famille Brizuela. À la fin du XVIIIe siècle, Antonio Valdés y Fernández Bazán, un général de la marine, l’occupèrent ; il le vendit à Hediondo Jalón, marquis de Castrofuerte, qui transforma le palais en immeuble.
Les comtes de Castilfalé ont acheté la propriété en 1920 et ont procédé à une transformation du palais avec un style postmoderniste appréciable aujourd’hui.