Автор и строители дома в Полибино не выявлены. Имение в 50-е годы XIX в. перешло в наследство генерал-лейтенанту в отставке В.В.Корвин-Круковскому, который переехал с семьей в Полибино в 1858 году. При жизни В.В.Корвин-Круковского в конце 1850-х г. к дому с западной стороны был пристроен флигель, соединявшийся с основным зданием крытым коридором-галереей. После смерти владельца дом достался в наследство его жене, а потом перешел к сыну - Федору. В конце ХIХв. имение вместе с барским домом было продано. Новые владельцы совершенно запустили строение, ремонтов своевременно не производилось, западная и восточная часть здания подверглись наибольшему разрушению. После Великой Октябрьской социалистической революции в здании в 1920 г. был сделан поддерживающий ремонт, и в нем разместили детей, вывезенных с Поволжья во время голода. Во время Великой Отечественной войны дом значительно пострадал от пожара. Вследствие пожара дом утерял башенное завершение, о котором писал в своих воспоминаниях историк М.И.Семевский. Утрачено полностью восточное крыло-флигель, и коридор-галлерея, соединявшая с домом западный флигель. Сам флигель полностью перестроен. В связи с приспособлением дома после войны под школу-интернат, полностью изменена внутренняя планировка: засыпана большая часть подвалов, устроены новые лестницы, исчезли камины и кафельные печи. При ремонте сохранены лишь несущие стены.