Klasztor przechodził rozmaite dzieje, dni szczęścia i upadku, kilkakrotnie strawił go pożar. Był odbudowywany i w różnym czasie rozbudowywany. Po ostatnim rozbiorze Polski Prusacy urządzili w części frontowej klasztoru odwach. W latach 1818-1820 na zlecenie rządu Królestwa Polskiego, ówczesny namiestnik, generał Józef Zajączek, zlecił upiększenie fasady odwachu. Do bezstylowej elewacji dodano wówczas wysuniętą w stronę Krakowskiego Przedmieścia charakterystyczną dwupiętrową galerię arkadową, zaprojektowaną przez Piotra Aignera. Galeria wzorowana była na fasadzie teatru Marcellusa w Rzymie. Wojsko zajmowało budynek do 1867 r. po czym przejęły go władze miasta. W 1869 r. pozwolenie na dzierżawę pomieszczeń i przeszklenie arkad otrzymało Towarzystwo Zachęty Sztuk Pięknych. W 1884 r. gmach został kupiony od władz miasta i gruntownie przebudowany na potrzeby Muzeum Przemysłu i Rolnictwa. Powstała wówczas wielka Sala Odczytowa, która istnieje do dziś. Oprócz funkcji wystawienniczych i oświatowych Muzeum posiadało kilka pracowni badawczych, z których Stacja Oceny Nasion i Pracownia Chemiczna były najważniejszymi. To tutaj swoje początki mają takie instytucje jak Muzeum Etnograficzne, Państwowy Instytut Geologiczny oraz Instytut Meteorologii.
Zniszczenia gmachu we wrześniu 1939 r. spowodowało zawieszenie działalności Muzeum w czasach okupacji. W trakcie powstania warszawskiego budynek został ponownie spalony. Jego odbudowa była prowadzona w latach 1946-1954 pod kierownictwem Beaty Trylińskiej. Z uwagi na koszty przywrócono elewacji wygląd sprzed 1869 r. W 1951 r. decyzją Prezydium Rady Ministrów ówczesnego Rządu Muzeum Przemysłu i Rolnictwa zostało zlikwidowane, a jego majątek przejęły instytucje państwowe. W listopadzie 1955 r. gmach pomuzealny otrzymała Centralna Biblioteka Rolnicza, która zapisała kolejny rozdział w historii tego miejsca. Jeden z pracowników Biblioteki wspominał po latach początki jej działalności: „Kiedy w pierwszych dniach 1956 r. bibliotekarze objęli gmach przy Krakowskim Przedmieściu 66 część była jeszcze niewykończona, w zachodniej części budynku kładzione były posadzki a marmury kieleckie piękne, zielone, były polerowane przez robotnice z przedsiębiorstwa budowlanego. Trzeba było czekać pół roku, zanim udostępniono czytelnię czytelnikom, a pierwsze odwiedziny odnotowane zostały w sprawozdaniu jak wielkie święto”.
Fot. wyróżniona – Odwach przy ulicy Krakowskie Przedmieście 66. Fot. Karol Beyer, ok. 1858 r. Ze zbiorów Muzeum Narodowego w Warszawie.
