Het kasteel van Fumel, de standplaats voor het gemeentehuis, een middeleeuws gebouw gereconstrueerd in de 18e eeuw, is voorzien van prachtige tuinen en terrassen die de vallei van de Lot overheersen. Een bezoek aan deze plaats biedt, naast een wonderlijk panorama over de rivier en haar oevers, de ontdekking van een Franse tuin op het hoogste terras, en een Engelse tuin, lager gelegen, getooid met verschillende soorten bomen zoals Libanese ceders, kastanjebomen en platanen.
Niets is beter om het bezoek aan Fumel en de vallei van de Lot verder te zetten dan een boottocht met een schuit! Deze van uitleg voorziene boottochten van ongeveer een uur en een kwartier worden aangeboden in de zomer, met vertrek aan de voet van de brug van Fumel. Het kasteel was de zetel van de baronie van Fumel, werd het gebruikt om de Lot-vallei, in het bijzonder tijdens de Honderdjarige Oorlog onder controle. Sinds de jaren 1960, het kasteel van Fumel huis naar het gemeentehuis.
Fumel kasteel werd gebouwd in de veertiende eeuw en heeft een donjon op een terras.
De werkzaamheden vonden plaats in de zeventiende eeuw in het zuiden gebouw en de westelijke vleugel.
Het is omgeven door tuinen en terrassen met uitzicht op de Lot en bieden een panoramisch uitzicht op de vallei.