Музей располагается в бывшем особняке известного ярославского хирурга Николая Бибикова, автора поэтического переложения «Слова о полку Игореве», большого друга оперного певца Леонида Собинова. Здание, выполненное в стиле романтического модерна, со стрельчатыми арками и готическими окнами, было сооружено в 1870 году.

В конце 1980-х годов городскими властями рассматривался вопрос о сносе особняка в связи с его аварийным состоянием. Лишь благодаря активной и непримиримой гражданской позиции заслуженной художницы РФ Ариадны Соколовой здание удалось сохранить и присвоить статус памятника истории и культуры.

С 2014 года особняк входит в состав Историко-культурного комплекса «Вятское». За реализацию потенциала культурного наследия в развитии региона ИКК «Вятское» был удостоен высшей награды на XIV Международном фестивале «Интермузей» в 2015г. На сегодняшний день этой организацией отреставрировано более 30 памятников историко-культурного наследия и объектов показа, которые включены в музейную деятельность. В их числе – здание Музея современного искусства.