Malgrado la facciata sobria, Palazzo Mattei nasconde una splendida collezione di reperti antichi nel cortile, tra cui busti e statue di epoca romana e rinascimentale, ed una bellissima serie di affreschi all'interno. Non tutti, però, nel corso del tempo, ne apprezzarono i tesori. Nel 1822 soggiornò infatti qui il celebre poeta Giacomo Leopardi, che in una lettera al fratello scrisse: "dell'orrendo disordine, confusione, nullità, minutezza insopportabile e trascuratezza indicibile, e delle altre spaventose qualità che regnano in questa casa".