La Tour est le vestige de l’ancienne demeure des seigneurs du lieu.
Le château a été brûlé sous Louis XIII puis reconstruit à la suite des guerres de religion du XVIème siècle.Tantôt entre les mains des catholiques tantôt entre celles des protestants, le château fut finalement rendu en 1581, à la famille de Villeneuve.
La famille Brunet, marquis de Villeneuve posséda le château, jusqu’au 18 février 1862, date à laquelle le dernier descendant de la famille vendit le château à Philippe Pons de Villeneuve.
Il devint ensuite la propriété de Marie-Joseph Louis Pons, comte de Villeneuve et Lieutenant au 10ème régiment des dragons de Montauban, le 23 juillet 1913. Puis ce dernier le vendit, à l’exception de la tour Nord et le terrain y faisant face, à la commune de Villeneuve, représenté par le maire Louis Peyrou.
Comme le château tombait en ruines, il fut démoli le 30 septembre 1925, à l’aide d’un cable tiré par un tank. Les pierres furent vendues par la ville le 13 décembre 1925.
Plus tard, le comte de Villeneuve fit don de la tour et du terrain à la ville à condition que la tour soit conservée et entretenue.
Parole donnée, parole tenue puisque la tour a bénéficié d’un bain de jouvence par la municipalité actuelle.
