Todo apunta a que su origen se remonta a época visigoda, construyéndose para defensa de la ciudad. En el siglo 1171, en época musulmana, se mandó a construir el puente de barcas para unir las dos orillas del río y este fue fijado con cadenas a los muros del castillo.
En 1178 el infante don Sancho intenta sin éxito conquistar el castillo. Y ya en 1248 se reconquista la ciudad y con ella también el castillo. El rey Fernando III concede su custodia a la orden militar de San Jorge pero poco a poco va disminuyendo su utilidad militar y comienza un periodo de decadencia y abandono que duró doscientos años.
En 1481 el Tribunal de la Inquisición lo convierte en su sede hasta que en 1626 abandonan el edificio por su mal estado, causado principalmente por el deterioro de sus muros debido a las continuas crecidas del río. En 1627 le fue cedido al Conde Duque de Olivares, que lo reparó y utilizó hasta 1639 que el edificio retornó a la Inquisición pero esta lo abandona definitivamente en 1785 por los mismos motivos que lo hizo anteriormente.
En 1823 el crecimiento y las necesidades urbanísticas obligaron a las autoridades a su demolición para el ensanche de las vías públicas. Se crea la plaza del Altozano y sobre los restos del castillo se construye una plaza de abastos, hoy conocido como Mercado de Triana.
En 1992 se realizaron obras para la remodelación del mercado y salieron a la luz importantes restos arqueológicos del castillo donde unos años más tarde se instaló el Centro de interpretación de la Tolerancia.
El castillo, de planta rectangular, estuvo protegido por diez torres, entre las que destacó la torre del homenaje, junto al río. Y entre sus estancias destacan los restos de la cuadra, la casa del portero, la del nuncio y la del notario, la cocina, los cuartos de los familiares, las cárceles, la capilla, la casa del inquisidor, la bodega y el muro de la reflexión, este último en un análisis a modo de enfrentamiento entre los males de la Inquisición y la Declaración Universal de los Derechos Humanos.
