Entrando por la carretera que une Alcañiz con Valderrobres y accediendo por la primera entrada a La Fresneda se encuentra un desvío perfectamente señalizado que llega al convento por una pista en muy buenas condiciones.

Los restos del antiguo convento de frailes Mínimos están localizados en un bello paraje bastante distante de la población, a unos 5 km., por el barranco de Canales.

Según cuenta la leyenda, una pastorcilla de Valjunquera encontró en esta cueva del monte de la Mangranera la figura de una Virgen. Se la llevó a su pueblo, pero al cabo de unos días la imagen desapareció y la volvieron a encontrar en este lugar por lo que se decidió levantar aquí una pequeña ermita bajo la advocación de la Virgen de Gracia.
Posteriormente, en 1580, la villa y la Encomienda de La Fresneda cedieron la ermita y su terreno a la Orden de Mínimos de San Francisco de Paula, lo que marcaría el principio de una relación con el pueblo que duraría casi 300 años. Pero, las dificultades de habitabilidad que presentaba la ermita original llevó a los frailes a fundar un convento dentro de la población en el que se instalaron en 1595.
Sin embargo, el asentamiento urbano no significó el olvido de este Santuario. Tras varios pleitos por la posesión del terreno fallados a su favor, los religiosos construyeron aquí un nuevo convento en el s. XVIII, de sillería, distribuido en cuatro plantas y provisto de celdas y servicios para la comunidad y los peregrinos. Además, estaba comunicado internamente con la capilla de la Virgen. A partir de 1795 también construyen, integrando la capilla original, una gran iglesia de tres naves de estilo barroco con elementos neoclásicos en la fachada. La cabecera se apoya en la cueva con una girola entre ésta y el altar mayor. La cubierta era de bóveda de cañón con lunetos. 
Aunque se encuentra en un estado avanzado de ruina, es uno de los santuarios más destacados de la provincia. Por ello, en el 2001 fue declarado Bien de Interés Cultural.
La población de La Fresneda conserva la tradición de organizar la romería el primer fin de semana de mayo al Convent, o Santuario de la Virgen de Gracia de la Cueva o, también llamado, el Desierto de La Fresneda.