La Torre dei Frangipane, da tutti chiamata Torre della Scimmia, deve il suo singolare nome ad una leggenda popolare, immortalata dal romanziere americano Nathaniel Hawthorne nei suoi appunti di viaggio in Italia e nel più noto romanzo "Il Fauno di marmo". La leggenda narra che il palazzo era abitato da un nobile, che aveva un unico figlio e una scimmia. Un giorno, l’animale prese il bimbo e salì in cima alla torre. Il padre disperato affidò le sue preghiere alla Madonna: docilmente, la scimmia ridiscese e riportò il bambino nel suo lettino. La folla radunata gridò al miracolo e il papà da quel giorno, come testimonianza di grazia ricevuta, volle che in cima alla torre ardesse perpetuamente una lampada.