Стилистически нейтрально: идти по улице; дом, расположенный на улице...; жительница дома, расположенного на улице... Вариант дом по улице – канцеляризм.
Правильно: проживать на такой-то улице, идти по улице.
Корректно: по Первой улице.
Что именно ПО или НА улице Бабушкина? Идти - по улице, жить - на улице.
Правильно: на Арбате, на улице Арбат.
Корректно: дома на Советской улице.
Правильно: на улице Перерве.
Правильнее: на Московской улице.