Więzienie, od nazwy ulicy Pawiej zwane zwyczajowo Pawiakiem, kojarzone jest głównie z mrocznym okresem okupacji niemieckiej z lat 1939-1944. Historia więzienia jest jednak dłuższa i swoimi początkami sięga lat 30. XIX w. Więzienie otwarto w 1835 r. w gmachu zaprojektowanym przez Henryka Marconiego. Plac, na którym zlokalizowano obiekt, miał powierzchnię 1,5 ha, zaś główny budynek, czterokondygnacyjny, uzyskał wymiary 50 x 12 m.
Od 1863 r. zakład przy Pawiej był więzieniem politycznym. W trudnym okresie popowstaniowym przez placówkę przewinęły się tysiące działaczy niepodległościowych i członków ruchu robotniczego. Tym samym Pawiak, obok X pawilonu cytadeli warszawskiej, stał się symbolem martyrologii Polaków przełomu XIX i XX w.
Do historii miejsca przeszła brawurowa akcja odbicia dziesięciu więźniów Pawiaka skazanych na śmierć przez rosyjskiego zaborcę w 1906 r.
W czasie okupacji niemieckiej więzienne cele szybko zapewniły się przedstawicielami inteligencji i tymi, którzy w myśl okupanta stanowili zagrożenie dla III Rzeszy. W zakładzie zaprojektowanym na tysiąc więźniów Niemcy potrafili przetrzymywać jednorazowo 3 tys. osób. W czasie okupacji przez Pawiak przeszło ok. 100 tys. więźniów. Okupanci wysadzili mury Pawiaka w sierpniu 1944 r.
Dzisiaj na teren byłego więzienia prowadzi fragment zachowanej oryginalnej bramy. Całość powstałego w latach 60. założenia zaprojektowali Romuald Gutt i Mieczysław Mołdawa. Mur od strony ulicy Dzielnej jest dziełem Tadeusza Łodziany. Zlokalizowany za pawilonem muzealnym pomnik ku czci ofiar Pawiaka, w kształcie granitowego obelisku z płaskorzeźbami symbolizującymi walkę, zaprojektowała Zofia Pociłowska-Kann.
Dlaczego nazywa się to Pawiak, skoro ulica Pawia jest 2 km od tego miejsca?
Ulica Pawia tak jaki i dawniej tak i dzisiaj biegnie za obecnym Muzeum Pawiaka.