Bâti sur un promontoire qui domine la ville de Chalais, le château, berceau de la famille des Talleyrand-Périgord, est imposant. L’accès à la cour d’honneur se fait par un pont-levis du XVIème siècle, un des rares encore en fonction en France. Le corps principal du logis d’architecture Renaissance, flanqué de pavillons en saillie, attire l’attention par sa façade très XVIIème siècle et par ses hauts toits d’ardoise, rares en Charente. Enfin une haute tour carrée du XIVème avec mâchicoulis domine la vallée.