El torreón templario se ubica en  plaza de la Virgen, adosada a la iglesia de la Virgen del Agua. Se trataba de una torre de sillar  albarrana o “baraní” (soltera) ya que estaba sola, separada del cuerpo de la muralla.
Durante el medievo tenía una doble función, de atalaya (torre de aviso) y defensiva como apoyo al castillo. Por su carácter defensivo se accedía por una puerta situada a 3,5 metros del suelo, lo que obligaba a entrar a través de una escalera móvil.

Posteriormente fue integrada por el municipio según crecía. Sus estancias fueron utilizadas como registro, notaría y  mazmorras ya que en 1834 el municipio fue nombrado cabeza de partido judicial. Estas funciones las tuvo   hasta 1960. Se adosó la vivienda del carcelero al torreón. Se utilizó, también, como toriles ya que en la plaza se realizaban las vaquillas de las fiestas. En la actualidad es un centro de interpretación sobre la Orden del Temple.
El recorrido expositivo del torreón se inicia en la planta sótano sonde se dan a conocer los inicios del Temple, se sigue por la planta calle en la que está el Scriptorium” o biblioteca temática. En la primera planta se repasa el periodo de auge del temple conociendo sus construcciones, tecnología, actividades económicas, formas de defensa…La segunda planta está dedicada al final del temple y la última está dedicada a la historia de Castellote.  De la etapa como prisión  quedan las macizas puertas de madera, las letrinas  sobre “el calabozo de la mierda”, aberturas pequeñas en las puertas por donde metían la comida y de su última etapa inscripciones, en suelo,  de los presos de la guerra civil y la postguerra.
En la plaza donde se ubica, hay una casa con una balconada de hierro y rafes labrados de una forma especial. La parte baja  tiene unas tablas que, según parece servían para tapar la parte baja de las faldas de las señoras cuando se asomaban al balcón.
Queda un trozo de muralla que enlazaría con el abrevadero de   La Dama de las Sargantanas; tras la muralla, estaba el pueblo viejo y el castillo. Era la plaza de toros o de vaquillas, se cerraba con los remolques y se soltaba la vaca desde el sitio de la cárcel.