Edificato nel 1439, è stato casa madre e centro di diffusione dell'Osservanza agostiniana in Lombardia. Il decreto della Municipalità di Crema del 20 luglio 1797 ne ha diposto la soppressione e ha stabilito il trasferimento al suo interno dell'Ospedale degli Infermi. Ceduto al Comune nel 1957, è oggi sede del museo e della biblioteca civica.

La biblioteca, conservava un cospicuo patrimonio librario già nel XV secolo. Nel convento sin dal 1442 era stato istituito uno studium a cui era annesso uno scriptorium in cui lavoravano copisti e miniatori non appartenenti alla comunità monastica, a cui era di volta in volta commissionata la scrittura di libri liturgici o di studio. Notizie dettagliate sull'attività dello scrittorio e sul posseduto della nascente biblioteca sono contenute nel Liber expensarum fabricae in cui sono riportate le spese per l'acquisto di pergamena e carta, cuoio e borchie per legature, e i pagamenti a copisti e miniatori per l'acquisto di libri scritti o da scrivere in convento (Piastrella 2005, pp. 218-222).

All'inizio del XVI secolo, nel clima di sospetto sorto nei confronti dei conventi agostiniani, visti come focolai nella riforma luterana, cominciò una ricerca dei libri potenzialmente pericolosi nelle biblioteche dell'Ordine, messa in atto dagli stessi superiori, che investì anche il convento di Crema. A questo periodo risale la redazione di un elenco dei libri contenuti nelle biblioteca e custoditi nelle celle di ciascun frate, inviato a Roma e conservato nel manoscritto Vat. lat. 11285 (Dornetti 2013, pp. 235-237).

Un catalogo e un indice dei manoscritti furono redatti nel 1764 da Tommaso Verani, chiamato a riorganizzare le biblioteche dell'ordine. Nei suoi scritti, conservati nel fondo Bosio della Biblioteca Civica di Torino, si ha un preciso ragguaglio della consistenza del patrimonio librario a quell'epoca e del suo ordinamento (Cantoni Alzati 1988, pp. 153-156). I libri erano organizzati per sezione tematica a cui corrispondeva una segnatura costituita da lettere indicanti la materia seguite da numerazione progressiva. All'interno di ciascuna sezione erano compresi manoscritti, incunaboli e stampe, che pertanto non avevano una collocazione distinta negli scaffali. Il Verani censì i manoscritti e gli incunaboli accorpandoli in una specifica sezione designata con la lettera L, che costituì un fondo a sé stante. Procedette alla schedatura di tutti i manoscritti ad eccezione di quelli legati con gli stampati, apponendovi una nuova segnatura, e compilò un catalogo in cui riportava accanto alla nuova segnatura quella con cui il volume era stato fino ad allora contraddistinto. Dal catalogo, come era sua consuetudine nei lavori di riordinamento, estrasse un Indice alfabetico per autori (Alzati 1988, pp. 153-156).

La biblioteca fu oggetto di dispersione già prima del 1797. Nel 1763 Padre Castellamonti, incaricato prima del Verani di procedere a un riordinamento, riuscì a vendere vari volumi a un nobile veneto, che rivestiva il ruolo di Vicario pretorio (pertanto identificabile con Giovanni Antonio Lotti o con Girolamo Vincenzo Fusi), inserendoli tra gli scarti e i duplicati.

Nel 1785 buona parte dei libri furono acquistati da Giuseppe Beltrami, illustre letterato e collezionista bergamasco che nel 1790 fu costretto dalle difficoltà economiche a mettere la sua biblioteca all'asta. I volumi passarono al Capitolo della Cattedrale e da qui alla Biblioteca Civica di Bergamo.

Nel 1797, secondo la ricostruzione dell'erudito Degrada, buona parte della biblioteca dovette essere acquisita in Francia. Una parte del patrimonio librario divenne proprietà della famiglia Schiavini di Crema e poi degli Schiavini Cassi di Pesaro, e successivamente fu acquistata dall'antiquario Bourlot di Torino. Almeno alcuni volumi dovettero essere acquisiti tra il 1913 e il 1943 dal giurista torinese Federico Patetta, che successivamente donò una parte cospicua dei suoi manoscritti alla Biblioteca Vaticana, dove costituirono uno specifico fondo.

Un catalogo della biblioteca del convento fu in possesso del bibliofilo Gaetano Degrada, che lo utilizzò nel suo studio sull'Ordine degli Eremitani di Crema, pubblicato nel periodico «Gli interessi cremaschi», e alla sua morte finì nel mercato antiquariale insieme alla sua biblioteca. Quanto al patrimonio librario rimasto nel convento, questo passò all'Ospedale degli Infermi e dal 1972 è confluito nella Biblioteca Civica di Crema (Perolini 1972, pp. 29-31; Alzati 1988, pp. 156-158).

Sulla biblioteca e la sua collezione libraria cfr.: C. Piastrella, Il convento agostiniano di Crema ed i primi manoscritti della sua dotazione libraria, in Società, cultura, luoghi al tempo di Ambrogio da Calepio, a cura di M. Mencaroni Zoppetti - E. Gennaro, Bergamo 2005, pp. 207-222; V. Dornetti, Per l'onore degli studi e di Sant'Agostino. Osservazioni sulla biblioteca del convento agostiniano di Crema nel tardo Quattrocento, in «Insula Fulcheria» 43 (2013), pp. 227-250; C. Corsetti, La Libreria del S. Agostino a Crema, in «Insula Fulcheria» 43 (2013), pp. 261-272. Sulla dispersione dei volumi, che ha preceduto e seguito la soppressione del 1797, cfr.: M. Perolini, La soppressione del convento di S. Agostino in Crema, Crema 1972; G. Cantoni Alzati Verani, L'erudito Tommaso Verani e la biblioteca agostiniana di Crema nel Settecento, in «Insula Fulcheria» 18 (1988), pp. 147-189.