Il paese di San Vito è nato attorno all'attuale Santuario, frutto di numerosi interventi edilizi susseguitisi nei secoli. La prima "fabbrica", realizzata intorno all'anno 300, è stata una piccola cappella dedicata a San Vito Martire, patrono del paese. Narra la leggenda che il giovane Vito, patrizio mazarese figlio di un alto funzionario di Roma, sia dovuto fuggire dalla sua città natale assieme alla nutrice Crescenzia e all'istitutore Modesto, che lo avevano convertito al cristianesimo, per sottrarsi alle persecuzioni ordinate da Diocleziano; dopo due giorni di navigazione verso nord, una tempesta costrinse la nave di Vito ad approdare in un golfo ridossato dal vento, riparato da un capo roccioso ben conosciuto dai naviganti del tempo (Egitarso o Egitallo il suo nome) e qui i tre avrebbero cercato di convertire gli abitanti del villaggio Conturrana, che sorgeva a circa tre chilometri dal mare, sotto un'alta rocca.