Музей расположен в западной части района Зоргвлит, к северо-западу от центра Гааги. Он открылся в 1935 году, здание построено по проекту архитектора Хендрика Петрюса Берлаге и стало его последней большой работой (он умер в 1934 году). Строительство было завершено его зятем, Эмилем Эманюэлем Штрассером. В саду за музеем стоит павильон, также построенный по проекту Берлаге, носящий его имя.
Между 1995 и 1998 годами была проведена реставрация здания, которую выполнило архитектурное бюро Architectenbureau Braaksma en Roos. При этом музей был несколько расширен, в частности, построен подвал под внутренним двориком.
В 1963 году по проекту архитектора Шурда Схамхарта к музею было пристроено юго-восточное крыло, соединённое с музеем центральной галереей. При раставрации галерея была разобрана. В крыле в настоящее время размещаются Музей фотографии и музей современного искусства GEM Museum voor Actuele Kunst, формально являющиеся подразделениями Муниципального музея.