Sur le plan architectural, la maison reflète plusieurs influences. Les colombages, le toit pentu et les mansardes traduisent l'influence française, alors que la distribution des pièces et les dimensions sont une adaptation nord-américaine du style georgien. La propriété originelle couvrait plus de 4 000 mètres carrés et comptait une resserre, une étable, d'autres dépendances, un quai et un verger. La famille Baby y habita jusqu'en 1871. En 1905, le docteur William Beasley l'acheta pour y vivre et y installer son cabinet. La Fiducie racheta la maison à sa fille, Isobel Beasley, en 1979.

Les recherches archéologiques entreprises par la Fiducie autour de la maison Duff-Baby, s'étendirent sur plusieurs saisons. Bien qu'une bonne partie du contexte originel ait disparu, les fouilles révélèrent certains détails de son passé, tels que la disposition des lieux, l'emplacement et le type de grange et de citernes, l'évacuation de l'eau et l'ancienne aile abritant la cuisine. Ces informations inspirèrent les travaux de restauration.

En 1993, une galerie, érigée par les Beasley, fut démolie, révélant des détails néo-classiques, notamment de vestiges d'un fronton en bois et un entablement décoré de grecques, flanqués de deux pilastres cannelés. Le fronton tronqué par un appui de fenêtre à l'étage laisse penser que cette ouverture a été ajoutée par Baby après la Guerre de 1812.

En 1986, la Fiducie du patrimoine ontarien passa avec le ministère des Services gouvernementaux un accord autorisant le ministère de la Culture et de la Citoyenneté à installer, pendant vingt-cinq ans, des bureaux temporaires dans cette maison. Cinq ans plus tard, la Fiducie reçut une subvention qui lui permit d'entreprendre la restauration et de construire un nouveau centre de documentation à l'emplacement de l'ancien garage à voitures. Pour gérer ce centre, la Fiducie établit un partenariat avec le Musée de la maison de François Baby (aujourd’hui Musée Windsor), établissement qui accueille des rencontres éducatives et des réunions publiques. Une association locale de bénévoles — Les Amis Duff-Bâby — facilite le travail du musée en ouvrant le centre, la maison et le site au public. La maison Duff-Bâby (1798) et la cabane Peter Ferguson (1784), qui font maintenant partie de la maison Bethune-Thompson à Williamstown, sont les deux plus vieilles maisons détenues et restaurées par la Fiducie. La maison Duff-Bâby témoigne qu'il est possible de restaurer des sites patrimoniaux, de les adapter à de nouvelles utilisations et de les réintégrer dans la collectivité, tout en sauvegardant leur caractère historique.

Travaux de conservation récents

L’organisme Les Amis Duff-Bâby a lancé en 2021 un projet sur le terrain de la maison Duff-Bâby où se trouvaient autrefois des jardins à la française et un verger. Cela comprend la cartographie et le référencement de la végétation et d’autres caractéristiques du paysage, l’entretien des arbres, la gestion des espèces envahissantes, le nivellement et la remise en état de la pelouse, la restauration de la poireraie des Jésuites et l’élaboration d’un plan pour la conservation du paysage culturel.

La Fiducie souhaite remercier Les Amis Duff-Bâby pour son leadership ainsi que le soutien et les contributions de la Windsor Historic Sites Association, de la ville de Windsor, de Turner Landscaping and Property Maintenance et de Northscaping. Ce projet a été partiellement financé par le plan d’avantages pour la communauté du pont international Gordie-Howe.

En 2024, la Fiducie du patrimoine ontarien entreprend un projet d’immobilisations à la Maison Duff-Baby qui se concentre sur la conservation de l’extérieur et les améliorations mécaniques. Ces travaux comprendront la restauration d’éléments architecturaux à l’extérieur du bâtiment (tels que le toit en bardeaux de cèdre, les fenêtres en bois et le bardage à clin) et le remplacement du système de chauffage, de ventilation et de conditionnement d’air existant, qui est à la fin de sa durée de vie.