Le Bosc a appartenu aux d’Imbert du Bosc. La famille s’est éteinte au XIXeme sans progéniture mâle.
Les deux dernières héritières devinrent par leurs mariages, l’une comtesse de Toulouse Lautrec, l’autre Mme Tapié de Celeyran, aïeule de l’actuelle propriétaire du château. Ces deux sœurs marièrent leurs enfants entre eux. Presque une union consanguine. De là à penser que cette endogamie, fréquente dans les grandes familles de la noblesse française ait été à l’origine de la maladie du peintre…issu du mariage entre Alphonse de Toulouse-Lautrec et Adèle Tapié de Celeyran.
Aucune marque de noblesse ne manque au côté illustre des d’Imbert du Bosc, famille d’ancien régime fidèle à la monarchie légitime. On y trouve par exemple un ancêtre tué à Fontenoy, la célèbre bataille du « Messieurs les Anglais tirez les premiers »….
Pour autant, la famille semblait unanimement respectée dans le pays.
A preuve, pendant la Révolution les d’Imbert du Bosc ont été protégés par leurs paysans alors que le Rouergue était sillonné par de grandes bandes de croquants qui flambaient et rançonnaient les châteaux fidèles à leur mot d’ordre : « Paix aux chaumières, guerre aux châteaux.»
C’était la grande peur de l’été 89. D’autres familles nobles rouergates, n’eurent pas cette chance. Au Bosc, l’une de ces bandes venues de l’ouest se contenta de dérober les filets de pêche pour récupérer les plombs. Et seule une vieille servante mourut de frayeur.
Le château du Bosc, point de contrôle historique du Ségala, a subi les vicissitudes de l’histoire du Rouergue. Détruit par des routiers anglais lors de la Guerre de 100 ans, reconstruit également à la fin du XVè siècle ? C’est au XIXe que les douves furent comblées et les fenêtres percées. De même, la petite chapelle en pierres du pays, que l’on pourrait croire beaucoup plus vieille, ne date en fait de la jeunesse du peintre (1880).
