Древняя история Силькеборга связана с Замком Силькеборг, который расположен к северо-западу от нынешнего города у истока реки Гудено. Замок был построен в 1385 году и окончательно разрушился в 1726 году. Сейчас на его месте остались кое-какие руины с табличками и описанием того, что здесь было когда-то. Многие артефакты с развалин Силькеборгского замка хранятся в музее города.