Правильно: проживать на такой-то улице, идти по улице.
Корректно: дома на Советской улице.
Что именно ПО или НА улице Бабушкина? Идти - по улице, жить - на улице.
Правильно: на Арбате, на улице Арбат.
Правильнее: на Московской улице.
Корректно: по Первой улице.
Стилистически нейтрально: идти по улице; дом, расположенный на улице...; жительница дома, расположенного на улице... Вариант дом по улице – канцеляризм.
Правильно: по Байкальской улице. Предложенные Вами варианты также используются, но - в канцелярской речи.