24 listopada 1904 r. rozpoczęło działanie Więzienie Karne przy Rakowieckiej.
Historia warszawskich więzień jest bardzo interesująca, zaś występek, kara i poprawa to temat niezmiennie fascynujący. W dawnej Warszawie ponurą sławą okryły się np. Arsenał, zamieniony przez zaborcę na więzienie, czy zlokalizowany między ulicami Pawią i Dzielną Pawiak.
W latach 80. XIX w. w głowach decydentów dojrzała myśl o budowie nad Wisłą kolejnego więzienia. Przyczyną było przepełnienie Pawiaka. Nowy gmach więzienny zaplanowano na ówczesnych krańcach miasta, za koszarami Lejb-Gwardyjskiego Keksholmskiego Pułku Piechoty. Więzienie miało być przeznaczone zarówno dla przestępców pospolitych, jak i politycznych, czyli przeciwników rosyjskiej dominacji na ziemiach Królestwa.
Gmach został zaprojektowany przez Mikołaja Możdżeńskiego i Henryka Juliana Gaya, jednak to Gayowi przypisuje się ostateczny kształt kompleksu. Zespół Więzienia Karnego w Mokotowie powstawał w latach 1902-1904; więzienie zaplanowano na 800 więźniów. Gmach główny uzyskał plan krzyża łacińskiego. Mieściły się w nim kancelaria, pokój widzeń oraz cele. Ciekawostką jest, iż ulokowano tam także kaplicę katolicką, prawosławną oraz żydowską salę modlitwy. W gmachu znalazły się też pomieszczenia do przyjmowania więźniów, mycia się i przebierania. Dla osadzonych przewidziano cele wieloosobowe i pojedyncze, umywalnie zlokalizowano na korytarzach. Zabudowania więzienne obejmowały również papiernię oraz warsztaty, w których zatrudniano więźniów, by przynajmniej częściowo odzyskać koszty związane z ich utrzymywaniem. Z drugiej strony taki system organizacji placówki powodował, że w jakimś stopniu kompleks więzienny był samowystarczalny. Placówka miała 12 oddziałów.
Już w 1905 r. więzienie zaczęło się przepełniać. Przed 1914 r. w jego murach przebywało 1800 więźniów, a więc o 1000 więcej, niż zostało to przewidziane.
W chwili otwarcia więzienie należało do najnowocześniejszych tego typu zakładów na terenie Imperium. Pomieszczenia miały oświetlenie elektryczne, ogrzewanie centralne oraz były skanalizowane. Kompleks zajął 6 ha, całość otaczał mur z charakterystycznie ułożoną dachówką, uniemożliwiającą wydostanie się na zewnątrz. Na teren obiektu prowadziły trzy bramy, zlokalizowane od strony ulicy Rakowieckiej. Dodatkowo część więzienna była oddzielona od pozostałych zabudowań murem wewnętrznym.
