Po spleti uličiek starého mesta natrafíme na polostrovček Sv. Františka, kde sa týči rovnomenný kláštor s príslušným kostolom. Podľa historických prameňov vo Vieste žil urodzený manželský pár, Algragio a Narda, ktorí v roku 1438 založili a na vlastné náklady podporovali mníšsku rehoľu klarisiek Sv. Kataríny Alexandríjskej.
Kláštor nemal dlhé trvanie. Pravdepodobne ho zničili už Turci po invázii v roku 1480, no viac pravdepodobné je, že bol vypálený v roku 1554 po zúrivom vyplienení mesta pirátom Dragutom. V každom prípade, od roku 1554 až do neskorého 17. storočia neexistujú o dávnom kláštore žiadne svedectvá.
Zmienka o kláštore Sv. Františka sa vynára až po ničivom zemetrasení z 31. mája 1646, kedy boli zničené aj steny kráľovského hradu a vzácne hlavné priečelie katedrály. Okrem toho historické kroniky uvádzajú, že škody utrpeli aj kláštor Sv. Marka kde sídlili celestíni a kláštor Sv. Františka, ktorý obýval rád menších bratov.
Podľa všetkého po invázii Draguta klarisky opustili kláštor a v 17. storočí vďaka obyvateľom mesta boli privolaní Menší bratia, aby sa postarali o obnovenie kláštora. Odvtedy bol však kláštor vystavený stálym finančným problémom a aj napriek príspevkom obyvateľov bol pravdepodobne zrušený.
V 17. storočí sa vždy 2. júla na františkánskom kláštornom dvore zhromažďoval ľud a po príhovore miestodržiteľa sa volil nový starosta, správca miestnej pokladnice a dvaja zástupcovia. Vyberalo sa z dvadsiatich štyroch jazdcov a právo voliť mali iba urodzené rodiny.
Čo sa dialo za múrmi kláštora vyšlo na povrch v roku 1775, keď bol dozorca františkánov obvinený z prevádzania žien všetkých vrstiev, ktoré sa tak chytili do ´pasce´ františkánov, aby im poslúžili na drvenie olív. Po zverejnení tohto obvinenia bol na žiadosť biskupa jeden vchod, vedúci do ´pasce´, sprístupnený verejnosti, čo však ešte viac narušilo chod kláštora.
Kláštor bol zrušený na žiadosť Giocchina Murata v roku 1809 a bola tu zriadená zbrojnica, ktorá pretrvala asi do roku 1840. V roku 1846 zmizli aj posledné zbrane a iný vojenský materiál a bývalý kláštor zostal na dlhý čas opustený.
V starom kláštore bolo zriadené vojenské väzenie, ktoré neskôr poslúžilo ako väzenie pre celý okres.
Podľa miestnej tradície je kostol Sv. Františka spätý s uctievaním Sv. Antona z Padovy. V kostole sa nachádza jeho drevená socha, ktorú vynášajú na procesie vždy 13. júna pri príležitosti osláv mesta po tzv. ´trinástke´ (trinásť predchádzajúcich náboženských slávností, ktoré sa konajú na počesť Svätých). V tento deň sa medzi veriacimi po každej omši rozdeľuje posvätený chlieb.
Budova starého kláštora dnes slúži mníškam z rádu Sv. Srdca, ktoré ju obývajú od roku 1921. Je to charitatívny náboženský spolok, ktorý pomáha opusteným deťom nájsť domov v slušných rodinách.