Château du Barroux, il castello