Ответы справочной службы
Правильно: в Ельце, в городе Ельце.
Справочники
§ 84. Прилагательные с суффиксом ск, образованные от слов с основой на гласную + ск, оканчиваются на -сский, напр.: дамасский (от Дамаск), этрусский (этруски), сан-францисский (Сан-Франциско), баусский (Бауска); но: баскский (от баски), оскский (от оски — древняя племенная группа). В прилагательных с тем же суффиксом, образованных от слов с основой на ст, эта основа целиком сохраняется, т. е. пишется -стский, напр.: марксистский (от марксист), фашистский (фашист), брестский ...
....: немецкий (от немец), елецкий (Елец), бронницкий...
Журнал
Сложности со склонением возникают не только когда мы хотим упомянуть иностранную фамилию, но и когда сталкиваемся с простой русской фамилией, если она выглядит не совсем обычно. Например, представляет собой падежную форму прилагательного во множественном числе и заканчивается на -ых или -их. Какие правила действуют в этом случае?
...Сложности со склонением возникают не только когда мы...
...;свою очередь восходят к топонимам: Елецких (Елец...