18 maja 1970 r. zakończyły się prace przy przesuwaniu pałacu Lubomirskich na placu Żelaznej Bramy.
Gmach, od czasu wzniesienia aż do 1970 r., stał na osi północ-południe miasta i taką lokalizację należy mieć na uwadze, przyglądając się jego historii. Pierwotnie była to barokowa budowla, której wygląd znamy z namalowanego przez Bernarda Bellotta zw. Canalettem w 1775 r. obrazu pt. „Plac Żelaznej Bramy”.
Elewacja frontowa obiektu zwrócona była w kierunku ulicy Ptasiej, od ulicy poprzedzały go oficyny i reprezentacyjna brama. W XVIII stuleciu właścicielem rezydencji był architekt Johann Sigmund Deybel. Jest wielce prawdopodobne, że to za jego czasów, ze względu na przeprowadzoną na tyłach obiektu Oś Saską, ogrodowa elewacja pałacu stała się elewacją frontową. W połowie XVIII w. pałac przeszedł w ręce rodziny Lubomirskich, dla których w latach 60. rozbudowano go według projektu Jakuba Fontany. Przebudowa rezydencji w stylu klasycystycznym miała miejsce dopiero ok. 1790 r. Według projektu Jakuba Hempla pałac uzyskał wtedy modną klasycystyczną szatę, z kolumnadą stanowiącą wyjątkową ozdobę krajobrazu ówczesnej Warszawy.
Pałac Lubomirskich w XIX stuleciu często zmieniał właścicieli i swoje przeznaczenie, ostatecznie stał się czynszówką pod wynajem, co mocno odbiło się na jego architekturze. Obiekt, którego elewacja „zniknęła” z czasem za szyldami i reklamami, wraz z sąsiednimi Halami Mirowskimi oraz Gościnnym Dworem stał się częścią handlowego zaplecza tej części miasta. Zbrodnią na historycznej bryle była nadbudowa z okresu międzywojennego, zrealizowana według projektu Wacława Moszkowskiego.
Ruiny pałacu po wojnie przeznaczono pierwotnie na Muzeum Archeologiczne. Potem, po odbudowie, zdecydowano się przekazać obiekt wojsku. W 1970 r. gmach obrócono o 75 stopni. Kosztowna akcja przesuwania pałacu trwała od 30 marca do 18 maja tegoż roku. Obrócony pałac stanowi dziś symboliczne zamknięcie Osi Saskiej.