Правильно: в конце XIX – начале XX века.
Первые два варианта вполне возможны.
Верен первый вариант.
Корректно: ...по 1910 год; ...в начале ХХ века.
Правильно: ...начала ХХ века.
Верно: ...века (в единственном числе).
Следует писать через тире: конец февраля – начало марта.
Верно: в течение XIX — начала XX века.