Data la sua posizione particolare, gli unici prospetti visibili sono quelli laterali, di cui quello corrispondente alla navata di sinistra si affaccia sul dirupo, creando un effetto spettacolare.

L'ingresso si trova sul lato che corrisponde alla navata destra della chiesa. Ad esso si giunge attraversando le strette stradine del borgo antico e, nell'ultimo tratto, una ripida scalinata.

Il portale di ingresso è preceduto da quattro gradini che, secondo una iscrizione incisa su uno di essi, dovrebbe essere stata ricostruita nel 1866 per volontà di Domenico Zaccagnini.

Ai due lati il portale in pietra è arricchito da tre strette colonnine a tortiglioni unite tra loro da un unico capitello, nella cui parte centrale è scolpita l'immagine di un volto umano. Lateralmente i capitelli sono decorati a motivi floreali.

Sulle colonnine è poggiato l'architrave, sul quale è scolpita, in bassorilievo, una croce.

La lunetta del portale è arricchita da una cornice a motivi floreali, che termina con la scultura di un volto umano a sinistra e quella di un'anfora a destra.

Sullo stesso prospetto nel quale si apre il portale principale; sul fondo si trova un'altra piccola porta in legno, molto semplice. A dare luce all'interno vi sono quattro piccole finestre ovali su ogni lato.
Sulla roccia, raggiungibile tramite una stretta scalinata, si innalza il bel campanile quadrato a due livelli, di cui quello più alto presenta finestre campanarie con arco a tutto sesto. Il campanile termina con una cuspide rivestita in maiolica verde e gialla.

Entrando dal portale principale, per raggiungere il livello della chiesa si salgono sei gradini. 

Sulla sinistra si incontra una stretta scalinata che porta alla zona della cantoria, nella quale si trova un organo in legno. 

Anche il parapetto è in legno, decorato con l'immagine di alcuni strumenti musicali.

La chiesa è a tre navate, divise tra loro da imponenti pilastri di forma quadrangolare. 

Nella navata di destra in sequenza si incontrano un crocifisso ligneo, una cappella in stucco che custodisce in una nicchia la statua della Madonna e una teca di vetro che ospita la statua di San Michele. Subito dopo la teca vi è la porta di ingresso secondaria. 

Salendo due gradini si accede al presbiterio, con una cappella che accoglie la statua di Sant'Antonio restaurata nel 1907 ed altre piccole nicchie nel quale sono custodite altre piccole statue ed ex voto. 

La zona dell'altare centrale è delimitata sui tre lati da una cancellata in ferro. 
L'imponente altare è in parte in pietra, in parte in stucco decorato a finto marmo. Sull'altare è stata posta la statua del Cristo. In epoca recente è stato aggiunto un altare in marmo, per permettere al prete di celebrare la messa rivolgendosi ai fedeli e non più dando loro le spalle. 

Dietro l'altare maggiore vi è la zona del coro, dove fino a mezzo secolo fa si trovava un coro in legno per i "dodici apostoli", membri dell'omonima congregazione. Purtroppo il coro e molti altri tesori custoditi nella chiesa, tra i quali un imponente lampadario a candele, sono andati misteriosamente perduti. Oggi la zona dietro l'altare è adibita a ripostiglio per gli oggetti necessari all'esercizio delle funzioni sacre.

Da questo locale, sulla destra, si accede alla vecchia sacrestia, in totale abbandono, nella quale è ancora affisso l'elenco dei parroci che si sono succeduti a San Silvestro e un curioso foglio nel quale sono indicate le questue che i parroci dovevano preparare nei diversi periodi dell'anno.

Alla sinistra dell'altare centrale, tramite una cancellata si accede ad un altro ambiente, nel quale è stato costruito un altare dedicato alla Madonna. Originariamente questa parte della chiesa era un giardino che dava sullo strapiombo: alcuni artigiani del luogo, membri della Congregazione dei Dodici Apostoli, hanno proceduto alla fine dello scorso secolo a creare questa stanza.

Resta ancora l'antica porta di ingresso alla chiesa, che oggi costituisce l'accesso alla zona retrostante l'altare maggiore.
Nella navata di sinistra vi sono altri tre piccoli altari, ognuno dei quali custodisce, in piccole nicchie, una statua della Madonna. In quello centrale vi è la statua della Madonna Addolorata.