Le projet de transformation de l’Espace d'art contemporain Gustave Fayet en musée a été confié aux architectes Anne Gaubert et François Moget en 2005-2006. Les surfaces d'expositions ont été multipliées par quatre grâce au raccordement des espaces architecturaux jouxtant l'ancien espace d’exposition. Ce redéploiement a permis d’obtenir plus de 2000 m² de surfaces utilisables par le musée lors de son inauguration le 23 septembre 2006. Un plateau de plus de 500 m² au rez-de-chaussée, nouvellement libéré, est investi depuis le début de l’année 2010 par des propositions artistiques.
À l’intérieur du musée, tous les espaces d'expositions sont ponctués de lumière zénithale et de grands châssis vitrés qui offrent une relation toute particulière entre l'intérieur et l'extérieur. Sur le côté du bâtiment, les architectes ont ajouté une galerie vitrée, dévolue au rez-de-chaussée aux espaces de détente, tandis qu'au premier étage, elle distribue la circulation entre les espaces d’expositions temporaires et permanentes.

Daniel Buren, à l’occasion de l’inauguration du musée, a enserré la totalité du musée en posant des couleurs sur l’ensemble des parties vitrées créant ainsi des effets visuels à l’intérieur comme à l’extérieur du musée.

L’artiste islandais Erró a offert la série des Femmes fatales, fresque de plusieurs m² de céramiques installée sur la façade extérieure du musée.