Durante i suoi numerosi soggiorni all'esterno, ebbe modo di accrescere la sua collezione libraria, raccolta nel castello di Weistropp. La collezione si componeva di più di cinquemila edizioni per un totale di circa 17.000 esemplari, con una preponderanza di testi liturgici e di storia religiosa. Commissionò ad Anatole Alès (1840-1903) la compilazione del catalogo delle opere di carattere religioso, che comprendevano libri d'ore, rari incunaboli e molti rituali. Il catalogo fu pubblicato in due volumi: il primo uscì nel 1878 e il secondo (Supplement) nel 1884, quest'ultimo per volontà del nipote Roberto (1848-1907). Carlo Ludovico fece realizzare quattro ex libris nel corso degli anni - fra il 1814 e il 1880 - riportanti le sue diverse cariche, da Principe ereditatio a S. A. R. Duca di Lucca, a quello finale della Bibliothèque liturgique ... con l'aggiunto del titolo di Comte de Villafranca, titolo che assunse all'atto della sua abdicazione nel 1849. Il catalogo compilato da Alès comprende indici divisi per diocesi, per ordini religiosi e per stampatori e le descrizioni sono numerate da 1 a 344 per la parte edita nel 1878 e da 344 a 377 per il Supplement. Parte della collezione fu posta in vendita da Hoepli nel 1932 a Parigi (Hôtel Drouot, lunedì 30 maggio e mercoledì 1° giugno).