La Tour-d'Aigues, il castello