Med de nye rammer fulgte dog et overdrevent misbrug af stoffer og allerede i 1972 blev huset lukket og de hårdest ramte misbrugere, som havde haft sin gang i Huset, blev tilbudt et nyt sted at være.

Genåbning
I 1972 blev Huset dog solgt til Københavns Ungdoms Center og med en fornuftig ledelse blev Huset endelig gjort til det kulturelle centrum, som det var tiltænkt fra starten.

I over 20 år har Huset fungeret som et samlingssted for forskellige kunstarter og ikke mindst Musikcaféen, som frem til starten af 90erne var et af Københavnernes foretrukne spillesteder med et utal af kendte og ukendte navne på plakaten. Bands som Gnags, TV-2, DAD og Sandmen kan takke Musikcaféen for at fungere som springbrædt til den store kommercielle succes.

Nedgangen
I 90erne mistede Musikcaféen terræn, ikke mindst i kraft af åbningen af Vega på Vesterbro og Pumpehuset, og i 1995 lukkede Huset for at renovere bygningen. i 1997 genåbnede Huset, til trods for at renovationspengene var sluppet op inden man nåede til tredie sal og dermed Musikcaféen.

Der kom langsomt gang i de forskellige scener igen, uden at Musikcaféen dog genfandt tidligere tiders storhed. I 2004 besluttede Københavns kommune at Huset ikke havde mere at byde på og annoncerede en lukning af Huset. Massive protester fra husets brugere og diverse støttearrangementer sørgede dog for at Kommunen ændrede holdning og lod Huset overleve.

Og med nye folk i Husets administration, er Musikcaféen igen begyndt at tiltrække folk og programmet igen fyldt med spændende navne, både kendte og mindre kendte. Musikcaféens rammer med plads til ca. 150 mennesker har for første gang i et årti potentialet til igen at gøre sig gældende blandt byens øvrige spillesteder.