Правильно: на Украине.
Правильно: дождь идет в субботу.
Это явление можно назвать разновидностью омонимии (или, как художественный прием, паронимическая аттракция).
Оба написания корректны.
Правильно: Старый Свет (о Европе), Новый Свет (об Америке).
Со строчной и с кавычками.
Лучше всего: Он живет в Москве. В городе Москве - это канцелярский вариант.