卡塞雷斯的历史可以说就是一部基督徒和穆斯林斗争史。“早在西哥特人统治时期，在原先由古伊比利亚人占据的地方建立的诺尔巴独裁者的罗马殖民地，它已是第二大重要城市。公元9世纪，阿拉伯人占据了这座殖民城市，并称之为‘卡斯里’，即要塞。复地运动时期，基督教徒的内部斗争引发了基督徒和穆斯林之间新的争端。这一城市在4个不同的时期几度易主。公元12世纪时，在来自马格里布的阿尔莫哈德人的统治下，修筑了大型城御系统，同时城市在这段时期繁荣扩张，卡塞雷斯再度成为伊斯兰教的据点。公元1229年，古来昂王国国王阿方索九世最终从摩尔人手中夺取了卡塞雷斯。从14世纪到16世纪，随着复地运动的结束、大批西班牙绅士的拥入以及美洲大陆的发现，这个封建城市建造了一些大型建筑。”

　　而这部历时千年的斗争史遗留至今最直接的证据，就是卡塞雷斯老城的建筑和城市布局，走在老城中，就像在参观一座大型的“建筑历史博物馆”。1986年被列入《世界遗产目录》的报告评语是：“受到各种包括阿拉伯伊斯兰教艺术、北欧哥特式、意大利文艺复兴式以及美洲新大陆艺术等不同甚至相对抗的风格影响而分外独特。”

　　可追溯到阿尔莫哈德人统治时期的中世纪，不规则道路网重叠分布在依稀尚存的罗马时代的规则轴线上。伸向广场的狭窄街道不断宽窄变幻。12公里长的梯形城墙环绕着这个城市，最初由罗马人设计并建造的这道城墙在阿尔莫哈德人的改造下，外刷捣实粘土，使之更符合阿拉伯人建造城防工事的标准。除了这一城防系统外，属于卡塞雷斯第一次城市发展时期的建筑寥寥无几。然而，在第二次城市发展时期建造的大量城防建筑——宫殿、塔楼以及石屋——都保存下来，并随着美洲大陆的开发，不断修建新的宫殿而得到补充。卡塞雷斯的城墙是阿尔莫哈德人在西班牙构筑城防工事的有力见证。