Название флигеля, по-видимому, связано с тем, что здесь долгое время проживала сестра последнего владельца усадьбы, С.А.Строганова, графиня Мария Александровна. Здание "Дома графини", занимающее юго-восточный угол парадного двора усадьбы Волышово, относится к наиболее ранним постройкам усадьбы. Его изображение имеется уже на схематическом чертеже генплана, относящегося к 1784 г. Упоминание о флигеле, который предположительно можно связать со зданием "Дома графини", встречается в документах второй четверти XIX в. Существующий облик здания сложился уже на рубеже XIX-XX вв, когда оно получило богатое штукатурное лепное убранство, были переделаны конструкции мансардной крыши, изменена форма мансардных окон. В советское время сооружение претерпело значительные утраты, особенно в решении интерьеров, и использовалось под жилье.