La denominazione Torre dell'Olio probabilmente risale al secolo XVI e si riferisce all'evento, o leggenda, che ebbe Annibale protagonista. Si è creduto, e si crede tuttora, che nel 217 a.C. gli spoletini abbiano gettato olio bollente sui cartaginesi che tentavano di invadere la città entrando dalla porta che, successivamente riedificata, venne detta Porta Fuga. Reduce da una vittoria sui romani al Trasimeno, Annibale sperava di prendere facilmente anche Spoleto e di proseguire senza difficoltà alla conquista di Roma. Ma l'inaspettata e cruenta aggressione spoletina aveva oltremodo indebolito il suo esercito; per guadagnare tempo e rinforzare le truppe, invece di marciare dritto su Roma, andò verso il Piceno. La deviazione diede a Fabio Massimo il tempo di organizzare un'adeguata difesa.