Lourmarin, il castello