À la fin du XVème siècle, le seigneur de Caumont, propriétaire du château de Castelnaud, voulut offrir à son épouse une demeure plus confortable et lumineuse. C'est ainsi qu'il a fait construire ce charmant château renaissance sur un éperon rocheux dominant la Dordogne. Après la Révolution française, le château reste dans un abandon quasi total jusqu'en 1900 où son nouveau propriétaire, Charles Auguste Claverie fait de très importants travaux de restauration et d'agrandissement.
Après l'avoir loué pendant 10 ans, l'artiste Joséphine Baker l'achète en 1947.
La visite du château est un hommage à Joséphine Baker (qui y vécut à partir de 1937), artiste de cabaret rendue célèbre par la Revue Nègre, mais aussi femme engagée dans la résistance, militante anti-raciste, mère aimante. Avec son mari, Jo Bouillon, elle crée dans le village un complexe avant-gardiste et s'installe dans le château avec les 12 enfants (de 9 nationalités différentes) qu'elle a adopté à travers le monde : c'est sa tribu Arc-en-Ciel. Malheureusement, son excès de générosité et des entrepreneurs peu scrupuleux l'ont conduit à la ruine et le château a été adjugé en 1968 au 1/5ème de sa valeur.
Depuis, le château est passé par plusieurs propriétaires jusqu'à ce qu'il soit racheté par la famille de Labarre qui l'a ouvert au public .
Outre la visite du château et de son parc, vous pourrez assister à un spectacle de rapaces et autres animations autour des oiseaux.