По легенде, в 1128 году Король Дэвид I, сын Малькольма Кэнмора и Св. Маргариты, охотился в этих местах и однажды, когда его лошадь была испугана ниоткуда взявшимся большим оленем, король упал на землю и оказался в смертельной опасности. В отчаянии он схватил оленя за рога в тот момент, когда животное собиралось пронзить Дэвида. Рога волшебным образом превратились в Распятие, а Король Дэвид в ту ночь пообещал возвести на этом месте Аббатство в соответствии со всеми правилами и канонами, посвященное Кресту. Holyrood - в переводе означает "святой крест". Дворец был королевской резиденцией в различные периоды, начиная с XVI века, и до сих пор остается официальной резиденцией короны в Шотландии. В настоящее время дворец Холирудхаус является официальной шотландской резиденцией королевы. Во время визитов королевы в Шотландию апартаменты используются для проведения приемов и банкетов, в остальное время они доступны для обозрения. Помещение в башне Якова V напоминает о событиях связанных с несчастливым царствованием Марии Шотландской. Именно эта комната стала свидетелем сцены ревности во время, которой муж Марии лорд Дарнли убил ее доверенного секретаря Давида Риччо. Примечательна и Холирудская часовня, где в 1565 г. происходил обряд венчания Марии Шотландской и лорда Дарнли.