Дворец Алькасар (от арабского –Al-Qasar, что означает «крепость») расположен в самой высокой точке Толедо, возвышаясь над остальными зданиями города. Источники свидетельствуют о том, что на этом месте издревле находилась крепость города. Еще в 3 веке здесь располагалась римская крепость, позднее на ее месте находилось главное оборонительное сооружение мусульман. Крепость была реставрирована по указанию Альфонсо VI после завоевания города. Современное здание Алькасара было сконструировано по приказу Карла V в качестве резиденции для монархов. В связи с этим древняя крепость была почти полностью разрушена, сохранив лишь некоторые элементы старинного сооружения на восточном фасаде.

Главным архитектором строительства дворца в 1545 г. был назначен Алонсо Коваррубиас (Alonso de Covarrubias), выдающийся представитель стиля «платереско». Внешне крепость представляет собой здание правильной четырехугольной формы с защитными башнями по углам. Одной из задач Коваррубиаса было смягчение строгого крепостного стиля, в связи с чем он переделал северный (главный) и западный фасады. Особенно изящным получился северный фасад с многочисленными орнаментами, фронтонами и пилястрами. Позднее портал главного фасада был украшен Хуаном де ла Меной фигурами воинов и геральдическим символом Габсбургов (изображающим орла). Южный фасад дворца при жизни Карла V завершен не был, а его преемнику на троне Филиппу II проект Коваррубиаса не понравился. Руководство строительством было передано придворному архитектору Хуану де Эррера (Juan de Herrera). Основной целью смены архитектора было заменить «нарядный стиль» платереско на более строгий официальный стиль, нравившийся Филиппу II (впоследствии получивший название «эрререско»).

Большой центральный внутренний двор (Patio) был построен Франсиско де Вильяпандо. Двор окружен двухэтажной колоннадой с полукруглыми арками, покоящимися на колоннах коринфского ордера. В центре двора стоит памятник императору Карлу V (копия работы Помпея Леони (Pompeyo Leoni), хранящейся в мадридском Королевском дворце). Дворцу так и не суждено было стать поистине королевским, так как задолго до его завершения столица Испании была перенесена в Мадрид. В разные времена здесь проживали вдовы и бывшие жены монархов. Алькасар пережил многочисленные разрушения в течение веков: в 18 веке. крепость пострадала от англо-португальских войск во время войны за испанское наследство, в 1810 году во время наполеоновской оккупации и в 1887 году (после реконструкции) крепость была сожжена, последние разрушение Алькасар пережил в сентябре 1936 года во время 72-дневной осады республиканцами – крепость была практически полностью разрушена. Позднее Алькасар был реконструирован как памятник защитникам крепости во время гражданской войны Хуаном де Авалосом. Сейчас здесь размещен военный музей (Museo del Ejercito).