Первые два варианта вполне возможны.
Верно: ...века (в единственном числе).
Верен первый вариант.
Правильно: в конце XIX – начале XX века.
Правильно: ...начала ХХ века.
Правильна форма единственного числа с наращением: конца 19-го – начала 20-го века.
Корректно: ...по 1910 год; ...в начале ХХ века.