Словари
Ответы справочной службы
Возможны оба варианта.
Сочетание разных возрастов ошибочным не является, употреблялось оно и раньше. Вот примеры из художественной литературы: На широкой поляне, окруженной древними дубами и непроходимым ломом, стояло несколько земляных куреней; а между ними на опрокинутых пнях, на вывороченных корнях, на кучах сена и сухих листьев лежало и сидело множество людей разных возрастов, в разных одеждах. А. Толстой, Князь Серебряный (1842–1862). Здесь же, у калитки, на утренней прогулке, семиклассники дожидались проезда ежедневного дилижанса, в котором, вдоль, слева и справа, сидели премиленькие девочки разных возрастов и в разных костюмах. А. Куприн, Юнкера (1932). Все мы, кондукторы, люди разных возрастов, характеров и взглядов, больше всего боялись, чтобы какая-нибудь из этих женщин не нашла при нас родного искалеченного человека. К. Паустовский, Повесть о жизни. Беспокойная юность (1954). Под водительством Касьянки подружки ее, девчонки разных возрастов и калибров, обливают водой длинный тесовый стол, поставленный на три опоры. В. Астафьев, Царь-рыба (1974).
Справочники
ЛИШЬ, частица и союз 1. Частица. То же, что «исключительно, только». Не требует постановки знаков препинания. Жить и сгорать у всех в обычае, // Но жизнь тогда лишь обессмертишь, // Когда ей к свету и величию // Своею жертвой путь прочертишь. Б. Пастернак, Смерть сапера. От соседних таких же невзрачных, с замшелыми крышами хат ее можно было отличить лишь по тому, что вместо калитки в изгороди была подвешена дверца от немецкого автомобиля.
...было отличить лишь по тому, что вместо калитки...
