Corría el año 1458 y según cuentan los anales de la historia, fue por revelación divina, como se halló la imagen de Nuestra Señora de Consolación.La imagen era de piedra estofada y policromada, de un poco más de un metro de altura, de factura bizantina, y de su costado izquierdo “asomaba” el Redentor.Nuestros antepasados ocultaron la imagen en una cueva hoy llamada “Cueva de la Virgen” en el año 1125, año en que fueron llevados a Marruecos casi todos los cristianos mozárabes. Estuvo, pues, la imagen oculta trescientos treinta y tres años.

Hacen constar los historiadores que, a raíz del milagroso hallazgo de la imagen, se construyó una pequeña ermita en el mismo sitio donde estaba oculta, y que ..."posteriormente con las limosnas y devoción de los fieles de aquella villa se ha hecho un templo muy capaz y costoso (Ximena Jurado “Anales del Obispado de Jaén  (1652)”, -se ha de entender que la construcción de esta pequeña ermita se realizó en las proximidades, pues debido a lo escarpado del terreno donde se encuentra la cueva, no era lugar adecuado para ello-.Al ser éste, territorio fronterizo con el Reino de Granada, en el año 1471 se libró una batalla contra el ejército sarraceno, en las inmediaciones de la ermita, siendo don Diego López Pacheco, el que comandara el ejército cristiano que venció a los invasores.Agradecido a la Virgen de Consolación, a quien se encomendara para lograr el feliz resultado de la misma, mandó ampliar la iglesia a costa suya.

 Hoy es la Sacristía del Santuario y se puede leer una inscripción con letras góticas que dice: Esta obra mando fascer el muy ilustre e muy magnifico señor don diego López Pacheco, Duque de Escalona, Marques de Villena, conde de Santisteban, Mayordomo Mayor de la  Reina Nuestra Señora, estando por Capitán General en esta tierra frontera con Granada, por los muy altos e esclarecidos e poderosos príncipes Don Fernando e… (la inscripción en su final se halla mutilada porque le falta la última palabra, que seguramente sería el nombre de Isabel, y tal vez la fecha de construcción).

La actual imagen de la Virgen de Consolación, data de 1940 y es de autor desconocido, aunque tiene ligera influencia de la escuela granadina. Es una escultura de vestir en madera policromada. La Ermita, que volvió a abrirse al culto el 8 de septiembre de 1940, ha experimentado sucesivas mejoras desde esa fecha hasta nuestros días, todo ello debido a la generosidad de los fieles devotos de la Santísima Virgen.