Le château baronnial de Chauvigny fut construit au XIème siècle. Durant la Révolution de 1789, le château fut transformé en carrière de pierres.