Основателем замка считается король Хокон V Магнуссон. Вместе с крепостью в норвежском Тёнсберге они были сильнейшими цитаделями Скандинавии. По легенде, король заложил замок после того, как на него напал Альв Эрлингссон из Сарпсборга . Это первый случай в истории норвежской архитектуры, когда замок был построен из кирпича и камня.