Cet édifice était la résidence du juge-châtelain, baile ou bailli, représentant le seigneur suzerain. Le mur nord et la tour en saillie à son extrémité ouest, appartenaient aux remparts que les habitants eurent permission d'élever en 1406 et 1417, permission renouvelée en 1436 et 1449 par le roi Charles VII. Flanquée de six tours et entourée de larges fossés, l'enceinte ouvrait par une poterne et trois portes.
De l'ancien château ne subsiste plus qu'un corps de logis qui était appuyé au rempart et perpendiculaire à celui-ci. C'est un bâtiment du début du 15e siècle dont il reste la masse principale avec une tour, le pignon sur le rempart avec des restes de mâchicoulis et d'échauguette et une façade latérale. Le bâtiment présente, au sud, une façade entièrement refaite au 19e siècle. La façade la plus intéressante et la mieux conservée est celle qui s'ouvre au nord, dans l'alignement des anciens remparts. Elle comporte une partie en pan coupé joignant le mur d'enceinte surmontée d'une rangée de corbeaux à trois quarts de rond posés en retrait. Le mur rectiligne à la suite est également surmonté d'une rangée de corbeaux, au-dessus de laquelle s'élève un pignon aigu. Cette partie centrale de la façade est percée, au rez-de-chaussée, d'une porte rectangulaire à l'encadrement profilé de deux cavets séparés par une rainure. Une tourelle en arc de cercle a été établie postérieurement, dans l'angle formé par cette façade et la tour qui la flanque à son extrémité nord. Cette tour circulaire renferme trois pièces superposées : celles du rez-de-chaussée et du deuxième étage sont couvertes d'une voûte en calotte ; celle du premier étage d'une voûte d'arêtes. Il est peu visible de l'extérieur, sauf l'arrière.