Музей был основан в 1862 году и первоначально находился в заново отремонтированном бывшем клуатре в задней части городской ратуши, известной как Принсенхоф. Основу собрания составила богатая коллекция картин ратуши, включавшая в себя в том числе более десятка картин Франса Халса, в честь которого и был назван музей. Музей переехал в нынешнее здание в 1913 г. Коллеция современной живописи находится в филиале музея, расположенном в зданиях бывших мясных и рыбных торговых рядов в центре города.