Le Barroux, il castello