El núcleo original del siglo X tenía quince torres repartidas en sus cuatro murallas, de tamaños y alturas similares, a excepción de las torres de las esquinas que pierden su figura rectangular para adaptar sus ángulos a la forma de la fortaleza. Hoy día faltan dos torres en el flanco este, que no fueron reconstruidas tras quedar arruinadas. Las torres son macizas y se elevan por encima de la muralla.
Fue restaurado en la primera mitad del siglo XVII, como consecuencia de mantener la actividad defensiva del castillo debido a la piratería berberisca que asolaba las costas durante los siglos XVI y XVII.En el siglo XVIII parte de las murallas fueron adaptadas para la instalación de artillería, y durante la Guerra de la Independencia sirvió de acuartelamiento a las tropas hispano-británicas que defendieron Tarifa del ejército francés en los años 1811 y 1812.
