Il palazzo del Monte di Pietà fu fondato da Ludovico il Moro in quella che un tempo si chiamava contrada dei Tre Monasteri. Successivamente, uno di questi tre monasteri del toponimo, ovvero il convento di Santa Chiara, è stato inglobato nel rimaneggiamento dell'edificio. Qualcosa di questo convento si può tuttavia vedere ancora oggi. Sul retro del palazzo si trova infatti un salone con frammenti di affreschi.