Правильно: во второй половине III – начале II тысячелетия до н. э., в конце ХІХ – начале ХХ века.

Если эти слова не являются названием мероприятия, то прописные буквы не нужны, например: Нам в детсаду вообще рассказывали очень много важных вещей: о втором съезде РКП (б), о взятии Зимнего дворца, о коварных происках троцкистско-бухаринской оппозиции, и только наша воспитательница тетя Паня читала нам какие-то истории про зайчат, поросят и волков (В. Войнович).

Порядковые числительные и следующие за ними слова конгресс, съезд и подобные могут входить в состав названия. В этом случае по общему правилу с прописной буквы нужно писать первое слово названия и все входящие в него имена собственные. Если числительное написать словом, то его первая буква должна быть прописной, а последующего существительного – строчной, например: Второй конгресс славистов. Писать ли слова конгресс и подобные с прописной, если числительное записано цифрой, – в правилах не оговаривается. В практике письма встречаются оба варианта. Написание типа II Конгресс славистов соответствует модели с прилагательными типа международный, всероссийский (I Международный конкурс им. П. И. Чайковского).

В деепричастиях прошедшего времени, как и в глаголах прошедшего времени, перед суффиксом сохраняется та же гласная, что и в инфинитиве: увидев, увидел.