Усадебный дом в Остафьево считается главной достопримечательностью имения. Он относится к памятникам архитектуры 19 века. В его комнатах жили А.С. Пушкин, В.И. Жуковский, А.И. Тургенев, А. С. Грибоедов, Д. В. Давыдов.
Здание возведено в начале 19 века в стиле зрелого классицизма. Автор проекта неизвестен, но многие ученые приписывают его строительство Ивану Старову. Дом представляет собой двухэтажное сооружение, соединенное открытой галереей с боковыми флигелями. Центральная часть украшена портиком с шестью колоннами, а верх — бельведером. Здание декорировано лепниной из белого камня.
Первый этаж дома занимали: зал, кабинеты и библиотека хозяев усадьбы князей Вяземских, большая и малая столовые, парадная спальня. Главной достопримечательностью считался овальный зал. В нем проходили встречи почетных гостей и балы. Двери зала в летнее время настежь открывались для прогулок в парк.
Второй этаж был отдан под жилые помещения. Там располагается комната историка и писателя Николая Карамзина, который жил в усадьбе 12 лет — с 1804 по 1816 года. Здесь он создал «Историю государства Российского».
Бельведер был разобран в конце 19 века, а восстановить его удалось уже в 21 столетии. После революции из усадебного дома вывезли многие ценности, в том числе — живописные картины и гравюры. Здание перестроили в середине 20 века для дома отдыха Совета Министров страны. Прежний вид ему вернули во время масштабной реконструкции в 2000-х годах.