Правильно: проживать на такой-то улице, идти по улице.
Корректно: дома на Советской улице.
Что именно ПО или НА улице Бабушкина? Идти - по улице, жить - на улице.
Правильно: на Арбате, на улице Арбат.
Корректно: по Первой улице.
Правильнее: на Московской улице.
Правильно: на улице Перерве.
Правильно: по Байкальской улице. Предложенные Вами варианты также используются, но - в канцелярской речи.