Корректно: по Первой улице.
Что именно ПО или НА улице Бабушкина? Идти - по улице, жить - на улице.
Корректно: дома на Советской улице.
Названия склоняются: на Лесной улице.
Корректно: улицы Воздвиженку и Большую Никитскую. Названия улиц в сочетании с родовым словом улица обычно склоняются, если название – женского рода. Названия улиц мужского рода обычно не склоняются: на улице Балчуг, по улице Кузнецкий Мост; несклонение здесь объясняется тем, что род обобщающего нарицательного слова (улица) и род топонима не совпадают.
Строгие указания на этот счет нам неизвестны.
Названия улиц в сочетании с родовым словом улица обычно склоняются, если название – женского рода: на улице Волхонке, на улице Таганской, на улице Молодежной, на улице Московской. Названия улиц мужского рода обычно не склоняются: на улице Балчуг, по улице Кузнецкий Мост; несклонение здесь объясняется тем, что род обобщающего нарицательного слова (улица) и род топонима не совпадают.
Разнобой в предыдущих ответах устранен.
Правильно: на улице Перерве.
Правильнее: на Московской улице.
