Inicjatywa wzniesienia nowej synagogi w Warszawie pojawiła się już w latach 50. XIX w., a pomysłodawcami byli postępowi przedstawiciele żydowskiej społeczności miasta. Plac pod budowę przy Tłomackiem zakupiono w 1872 r. i w tym samym czasie ogłoszono konkurs architektoniczny. Zarówno pierwsza, jak i druga edycja konkursu nie przyniosły satysfakcjonującego rozwiązania. Ostatecznie zadanie przygotowania projektu budowli otrzymał Leandro Marconi. Kamień pod wzniesienie synagogi położono 2 czerwca 1876 r. W dzień oddania do użytku, 26 września 1878 r., w święto Rosz ha-Szana, jeszcze na kilka godzin przed wieczornymi uroczystościami w synagodze zgromadził się tłum.
Obiekt przy Tłomackiem został wzniesiony w stylu klasycystycznym. Wnętrze mogło pomieścić ponad 2000 osób. Koszt budowy gmachu szacowano na 362 tys. rubli. Przed wejściem do obiektu ustawiono monumentalne menory. Schody wiodły do portyku zwieńczonego frontonem. Nad portykiem we fryzie umieszczono napis po hebrajsku: „Niech Ten, który umieścił swoje Imię w tym domu, umieści między Wami miłość i braterstwo, pokój i przyjaźń”.
Nad trzyma pierwszymi od frontu przęsłami dachu górował belweder z kopułą inspirowaną koroną Tory. Po obu stronach korpusu głównego wzniesiono połączone z nim galeriami pawilony. Nawę środkową przekryto sklepieniem kolebkowym. Nawy boczne od nawy środkowej oddzielały szeregi kolumn korynckich dźwigających belkowanie. Na emporze znajdował się babiniec. Aron ha-kodesz, ujęty dwiema menorami, został umieszczony w półkolistej absydzie. Jego autorem, tak jak i bimy, był rzeźbiarz Teodor Gundelach. Przy dekorowaniu synagogi pracowali także m.in. rzeźbiarz Andrzej Pruszyński i sztukator Franciszek Roth.
W piątek o zmierzchu do synagogi na Tłomackiem mogli też wchodzić chrześcijanie. Panowie zajmowali miejsca na parterze, kobiety wchodziły na babiniec. Odbywały się tu również nabożeństwa patriotyczne związane z rocznicami i innymi ważnymi dla narodu polskiego wydarzeniami.
Zdewastowany przez Niemców budynek synagogi przez czas okupacji był składem przedmiotów zrabowanych z getta. Wysadzenie obiektu przez okupanta 16 maja 1943 r. miało być symbolicznym przypieczętowaniem upadku powstania w getcie.
