Усадьба, а также служебные корпуса, парковые павильоны созданы русским зодчим К. И. Росси.Остров был назван Елагиным по фамилии обера-гофмейстера Ивана Перфильевича Елагина, государственного деятеля, историка, литератора, масона и мецената , которому он принадлежал в конце XVIII века. Позже земли были куплены в казну. Местность выделяется красивейшими пейзажами. Поэтому именно этот остров выбрала для проживания пожилая вдова императрица Мария Федоровна.В свое время княжна София Шуазель-Гуфье так охарактеризовала дворец: «… изящные контуры, белизна этого здания, построенного среди цветущих полей и вод, делали его подобным лилии, выступающей в хрустальной вазе среди букета цветов».Предполагают, что проект первого Елагина дворца был разработан Джакомо Кваренги, который был первым архитектором Екатерины Великой. В 1818-1822 годах для Марии Федоровны, матери царя, молодой архитектор Карл Росси перестраивает усадьбу. Он также курировал разбивку сада и создание внутренних интерьеров.После смерти Марии Федоровны ансамбль стал запасной царской резиденцией, которую императоры посещали редко.