Se encuentra a la vera del antiguo camino de Albarracín a Molina y se trata de una ermita de similares características a las de Cirujeda: una larga nave con la portada de medio punto desplazada a los pies y unos pequeños ventanucos en la cabecera. Se encuentra documentada por primera vez en 1502, si bien es fácil suponer que es anterior, tal vez de los siglos XIV o XV, teniendo en cuenta que en esta época bajomedieval prolifera la devoción a este santo con motivo de los repetidos brotes de peste que azotan a la Península.
Si la ermita de Cirujeda dependía en su mantenimiento de la iglesia de Alustante, ésta de San Sebastián dependía del concejo de Alustante, por lo que es probable que su construcción fuera debida a algún voto local en agradecimiento a dicho santo. Por cierto, cerca de esta ermita se encontraba el pairón de San Sebastián, hoy desaparecido.
Entre 1770 y 1775 se advirtió al concejo y vecinos del lugar en repetidas ocasiones por parte de los visitadores diocesanos que, de no arreglarse la ermita, “por lo mal parada que se halla”, sería demolida, trasladando altar y retablo a la iglesia y vendiendo los despojos, aplicando su importe al caudal de la iglesia. Finalmente acabó arreglándose cumpliendo así el mandato diocesano en 1775, momento del que datan los potentes contrafuertes de la ermita.
En su interior se pueden admirar restos de una techumbre de tradición mudéjar en el presbiterio y se conserva un retablo basado en una gran tabla renacentista que representa a San Sebastián y a San Fabián, el otro santo que suele acompañar al primero en advocaciones de iglesias y ermitas, hasta el punto de que, por antonomasia, ellos son “los santos” o “los mártires” en la cultura popular de esta zona del Sistema Ibérico. Es decir, que si encontramos una ermita, un pairón, o una iglesia llamada popularmente de “los santos” o de “los mártires”, casi sin duda está dedicada a ellos.
Aparte de su fiesta (20 de enero), en la ermita se celebraba una rogativa el tercer día de las letanías menores (miércoles anterior a la Ascensión); asimismo, en el prado que quedaba antiguamente frente a la ermita, se hacía una comida popular entre los siete pueblos que acudían a reverenciar al Santo Cristo de las Lluvias.