Поместье, в котором расположена усадьба было основано в самом конце XVII века. Оно получило название Зачатьевское по названию близлежащей церкви Зачатия Святой Анны. Само здание сооружено ориентировочно в 1770 годах и первоначально принадлежало древнему княжескому и дворянскому роду Васильчиковых.
В XIX веке усадьба перешла во владение рода Гончаровых, а впоследствии здесь жили уже потомки А.С. Пушкина. Надгробная плита с могилы сына поэта до сих пор сохраняется в близлежащей церкви.
Музей основан в 1996 году, а первых посетителей принял лишь в 2007.