Дворец построен во второй половине XVIII столетия молодым архитектором И.Е. Старовым в качестве императорской усадьбы для Екатерины II. После смерти правительницы дворец перешёл по наследству её внебрачному сыну А.Г. Бобринскому, при котором переживал своё золотое время.
Усадьба представляет собой величественное белокаменное строение с высоким цоколем и полукруглым массивом в центре фасада. Усадьбу Бобринского посещали многие знаменитости, в том числе Л.Н. Толстой. Именно этот дворец описан в романе «Анна Каренина» как дом Вронского. В 1967 году здесь проходили съёмки фильма по мотивам этой книги.
Двухэтажное здание и его флигели понесли серьёзный урон во время Великой Отечественной войны. Однако реставрация, проведённая в послевоенные годы, вернула дворцу его первозданный вид. Восстановлению подлежало не только само здание, но и внутренние интерьеры. В обширных залах и бывших графских покоях была воссоздана пышная атмосфера дворянского быта XVIII века.
Сегодня Дворец Бобринского имеет статус музея и охраняется как объект историко-архитектурного наследия.