Das Städtchen, das auf einem felsigen Vorgebirge am äußersten Ostrand des Gargano gelegen ist, besteht aus einem auf der Felsspitze San Francesco gelegenem altem Ortskern, der typisch mittelalterlich ist und einem modernen Teil, der sich entlang der Küstenlinie zwischen den Stranden von San Lorenzo im Nordwesten und Castello im Süden entwickelt hat. In dem Meeresarm, der vor derFelsspitze Santa Croce liegt, ist die kleine Insel San Felice mit einem Leuchtturm. Eine erste Besiedlung auf dem Gebiet des heutigen Vieste hat in der Periode zwischen dem 10. und dem 6. Jahrhundert vor Christus stattgefunden; ungewiß ist die Herkunft seines Namens, den einige von dem Vorhandensein eines der Vesta geweihten Tempels, andere vom Namen Apeneste ableiten, den es in römischer Epoche gehabt haben soll. Im 16. und 17.
Jahrhundert müssen einige Plünderungen durch die türkischen Korsaren stattgefunden haben, von denen die tragiscfiste die von 1554 war, als 7000 Einwohner verschleppt und Hunderte auf einem Fels geköpft wurden, der noch heute im Stadtzentrum zu sehen ist. Zeugnis dieser blutigen Periode sind die verschiedenen an der Küste verstreuten Wachtürme und das Castello auf dem Gipfel des Städtchens, das von Friedrich II. (1240) gebaut wurde, und dann wegen der durch die Türken bestehenden Gefahr im 15. Jahrhundert mit Mauereinfriedung wiederaufgebaut worden ist. Von beachtlichem Interesse ist die Cattedrale, die in der Form der apulischen Romanik auf dem Areal eines alten heidnischen Tempels errichtet worden ist. Von Vieste aus kann man im Boot die zahlreichen Höhlen besichtigen, die sich entlang der Nordostküste desgarganischen Ausläufers befinden: die grotta della campana, die grotta San Nicola, die grotta dell'Abate, die grotta dell'Acqua und la Salata