Le domaine de Nanthiat, vraisemblablement d’origine gallo-romaine, apparaît dès 572 dans le testament de saint Yrieix. Une seigneurie y est attestée vers 1100, et un château fortifié en 1165. Ruiné par la guerre de Cent Ans, il est reconstruit à partir du XVe siècle puis transformé à la Renaissance : le donjon reçoit ses mâchicoulis et sa tourelle d’escalier, tandis qu’un portail à pont-levis protège l’entrée. En 1615, Louis XIII érige Nanthiat en vicomté. Au XVIIIe siècle, le château est modernisé au goût classique.
Il entre dans l’histoire littéraire par le mariage de Pierre de Jaubert avec Célinie, fille du chevalier d’Aydie et de la Belle Aïssé. Épargné par la Révolution, le château est acquis en 1812 par le général Daumesnil. Inscrit partiellement au titre des Monuments historiques après la Seconde Guerre mondiale, il fait aujourd’hui l’objet d’une campagne de restauration.