Поскольку в предложении всё же есть определяемое существительное лестница, прилагательное единственной и причастный оборот сохранившейся со времени постройки собора не теряют функцию определений. Однако запятая между ними не требуется, так как определение единственной относится не непосредственно к существительному лестницы, а к сочетанию причастного оборота и существительного, то есть к сочетанию сохранившейся со времени постройки собора [лестницы]. Случай в целом аналогичен примерам из пункта 7 параграфа 10.1 справочника по пунктуации Д. Э. Розенталя: заячий наполовину потёртый воротник; большой собранный автором материал и т. п.

Верно: Потому что в то время, когда шла отчаянная сеча у ворот, на городские стены, с которых почти все защитники убежали на подмогу, легли концы длинных штурмовых лестниц.