Łącząca ulice Miodową i Senatorską z Krakowskim Przedmieściem ulica Kozia zachowała do dzisiaj wiele dawnego uroku. Ma w sobie coś staroświeckiego, przywołuje tęsknotę za dawną Warszawą. Sięga swoimi początkami XIV stulecia. Wąska uliczka miała za zadanie łączyć dawny trakt Czerski, czyli dzisiejsze Krakowskie Przedmieście, z ulicą Senatorską. Jej nazwa pochodziła od nazwiska właściciela położonej przy niej posesji – niejakiego Kozła. Domy wzniesione po wschodniej stronie stanowiły zaplecze gospodarcze dla domów stojących frontem do Krakowskiego Przedmieścia. Przez dziesięciolecia zachodnia strona ulicy w dużej mierze zajęta była przez ogrody stojącego przy Senatorskiej pałacu prymasowskiego. Do 1895 r. ulicę Kozią z Krakowskim Przedmieściem łączyła ulica Krótka. Uliczka ta znajdowała się na wysokości dzisiejszej Resursy Obywatelskiej.
Dawniej domy o numerach 3 i 5 zajęte były przez popularny Hotel de Saxe, czyli Hotel Saski. Był to jeden z najstarszych przybytków tego rodzaju w dawnej Warszawie. Hotel był ceniony, miał dobrą reputację i przyciągał zamożnych klientów. Za pomocą przerzuconego nad ulicą łącznika kamienice przy Koziej połączone były ze stojącą przy Krakowskim Przedmieściu kamienicą nr 39. Oferujący około 100 pokoi hotel należał do największych w Warszawie. Z czasem jednak zabudowania hotelowe ograniczyły się do kamienic przy Koziej, a znaczenie hotelu spadło. U podstaw stanęły brak nowoczesnej infrastruktury oraz pojawienie się atrakcyjniejszej konkurencji. W ślad za jakością usług hotelowych obniżyła się jakość kuchni. W końcu XIX w. ulicę nazwano Junkierską, co miało związek ze znajdującą się w pałacu prymasowskim szkołą rosyjskich junkrów. Historyczną nazwa ulicy została przywrócona w 1919 r.
