Attualmente intitolata a Sant’Agostino, la chiesa pare sia sorta su un’altra, eretta nel 1594, e dedicata a Santa Maria delle Grazie, a sua volta derivata dall’ampliamento e rifacimento della chiesa rupestre di San Guglielmo da Vercelli (XIII sec.)  costruita, all’epoca, su uno sperone roccioso e a picco sul torrente Gravina.

La stessa chiesa di Sant’Agostino, nel corso degli anni, ha subito trasformazioni, in particolare in occasione del terremoto del 1734, quando si decise, fra l’altro, il suo allungamento ed ampliamento. La definitiva struttura architettonica, che oggi si può ammirare, risale al 1750, anno in cui venne consacrata dall’Arcivescovo Mons. Antinori (come si rileva dall’iscrizione posta sull’ingresso della sagrestia).

La facciata è un pregevole esempio di architettura settecentesca. Tutti gli spazi sono ritmati da un fascio di lesene e cornici marcapiano. Al centro spicca la statua di Sant’Agostino; ai lati i  SS. Pietro e Paolo; in alto, un’altra statua di Santo Vescovo, tutte databili al XVIII sec.

L’interno è a croce latina e si sviluppa in un’unica navata, con pilastri compositi e cupola emisferica mascherata, all’esterno, da un’originale lanterna. Le pareti sono completamente decorate con stucchi bianchi e ritmate da altari laterali, alcuni in tufo, altri in marmo.

Entrando, sulla sinistra, il  primo altare reca dipinta una Crocifissione di autore ignoto del XVIII secolo; proseguendo, l’altare dedicato alla Madonna delle Grazie (1595), il cui affresco proviene probabilmente dall’antica chiesa cinquecentesca.

Tra il secondo ed il terzo altare si erge il pulpito ligneo, databile attorno al XVIII secolo, mentre il terzo altare reca una tela del XVIII secolo raffigurante la Madonna delle Grazie assieme a Santi.

Anche nella navata destra troviamo un altare dedicato alla Madonna delle Grazie, quindi un altare dedicato alla SS: Trinità, ed un ultimo ancora dedicato alla Madonna delle Grazie.

Pregevoli sono le due acquasantiere (XVIII sec.), il fonte battesimale (XVII sec.) ed il Crocifisso ligneo collocato sull’altare maggiore, databile XVI secolo. Questi ultimi due pezzi provengono dalla vicina chiesa di San Pietro Barisano.

Nella sagrestia sono custodite diverse tele, tra cui spicca una icona del XV secolo raffigurante una Madonna con Bambino, provenienti da chiese vicine ormai sconsacrate, quali San Pietro Barisano, Santa Maria delle Grazie e l’antico convento agostiniano.

Dietro l’altare maggiore un discreto coro ligneo del ‘700 e, ad una certa altezza, un organo a canne del 1770, restaurato dal restauratore materano Nicola Canosa e di recente inaugurato.

Dalla sinistra dell’altare maggiore si accede a ciò che resta dell’antica cripta di San Guglielmo, che la tradizione vuole costruita dallo stesso Santo vercellese nel XIII secolo, durante una visita a San Giovanni da Matera. Sopravvivono ancora resti di affreschi seicenteschi: una SS. Trinità, una Madonna; sono inoltre visibili le prime tracce di sviluppo della chiesa di Sant’agostino.

Adiacente alla chiesa, l’antico convento dei Padri Agostiniani, fondato nel 1593 e famoso per aver ospitato, tra il 1761 e il 1798, il Capitolo Generale dell’ordine Agostiniano. Dimesso il convento, i locali ebbero usi diversi, come quartiere delle truppe, carcere per prigionieri di guerra, ricovero per sfollati.