La Caserma Guelfa è un edificio che si trova lungo la Strada Statale 16 in prossimità dell'incrocio con via del Mare. Si tratta di un edificio fortificato a pianta quadrangolare del XVI secolo con corpi d'angolo a "puntone" e chiostro interno, ed un portale d'ingresso in pietra che presenta uno stemma della città di Ascoli. Inizialmente aveva la destinazione di Ospizio al Porto, Hostaria e nuovi magazzini per il deposito delle merci, successivamente assunse il ruolo di ultimo avamposto pontificio prima del Regno delle Due Sicilie. Per questo è popolarmente definita come la "Dogana Pontificia".